| 1 |
1
(1) 정면 및 양 측면 얼굴을 나타내는 입력 영상에 특징점(land-mark)을 표기하여 삼각형 메쉬(mesh)를 형성하는 단계;(2) 상기 특징점을 표기한 입력 영상 중 정면 얼굴에 대하여 AAM(Active Appearance Model)에 의한 학습과정에서 정의되는 AAM 모델 파라미터로부터 2차원의 AAM 얼굴모델을 생성하는 단계;(3) 상기 생성된 AAM 얼굴모델에 2차원 변환 파라미터를 적용하고 상기 입력 영상에 피팅(fitting)하는 단계;(4) 상기 입력 영상의 정면 및 양 측면 얼굴로부터 3차원의 얼굴 깊이 정보를 추정하는 단계;(5) 상기 AAM 얼굴모델에 상기 추정된 얼굴 깊이 정보를 z축으로 추가하여 3차원의 얼굴모델을 생성하는 단계;(6) 상기 생성된 3차원의 얼굴모델에 3차원 변환 파라미터를 적용하고 상기 입력 영상에 피팅(fitting)함으로써, 임의의 얼굴 포즈 및 표정을 갖는 입력 영상으로부터 얼굴 파라미터를 추정하는 단계;(7) 3차원으로 변화하는 얼굴 포즈 및 표정에 따라 입력되는 영상 프레임마다 상기 단계 (1) 내지 단계 (6)을 반복 수행하여 상기 2차원 및 3차원 변환 파라미터를 갱신하는 단계; 및(8) 자기 가림이 발생한 영역에 대해 메쉬의 방향성을 판별하여, 2차원에 투영된 삼각형으로 정의되는 얼굴 모델 메쉬의 방향이 반대의 방향성을 가질 경우 삼각형 내의 얼굴 질감을 평균 질감으로 대체하여 가려진 메쉬에 대한 가중치를 0으로 처리하는 단계를 포함하는 것을 특징으로 하는, AAM 및 추정된 깊이 정보를 이용하는 3차원 얼굴 포즈 및 표정 변화 추정 방법
|
| 2 |
2
삭제
|
| 3 |
3
제1항에 있어서, 상기 단계 (1)에서,상기 특징점은 86개이고, 상기 메쉬는 138개인 것을 특징으로 하는, AAM 및 추정된 깊이 정보를 이용하는 3차원 얼굴 포즈 및 표정 변화 추정 방법
|
| 4 |
4
제1항에 있어서, 상기 단계 (2)는,(2-1) 상기 특징점으로부터 추출되는 정면 얼굴의 형태 벡터를 Procustes Analysis 방법을 이용하여 평균 얼굴 형태 로 정렬하고, PCA(Principal Component Analysis)를 적용하여 형태 모델을 생성하는 단계로서, 상기 형태 모델은 형태고유 벡터와 형태 파라미터의 선형결합으로 정의되는, 형태 모델 생성 단계;(2-2) 상기 정면 얼굴을 상기 평균 얼굴 형태 로 와핑(warping)하여 형태를 정규화한 후, 질감 벡터에 대해 PCA를 적용하여 질감 모델을 생성하는 단계로서, 상기 질감 모델은 질감 고유 벡터와 질감 파라미터의 선형 결합과 평균 질감 벡터의 합으로 정의되는, 질감 모델 생성 단계;(2-3) 상기 형태 모델과 질감 모델을 결합하기 위해 상기 형태 파라미터와 질감 파라미터를 연결하고, PCA를 수행함으로써 AAM 모델 고유 행렬과 AAM 모델 파라미터를 생성하는 단계; 및(2-4) 상기 생성된 AAM 모델 파라미터로부터 AAM 얼굴모델을 생성하는 단계를 포함하는 것을 특징으로 하는, AAM 및 추정된 깊이 정보를 이용하는 3차원 얼굴 포즈 및 표정 변화 추정 방법
|
| 5 |
5
제1항에 있어서, 상기 단계 (4)는,(4-1) 상기 정면 얼굴로부터 3차원 얼굴 형태의 x,y축을 정의하는 단계;(4-2) 상기 양 측면 얼굴로부터 깊이 정보를 정의하는 단계; 및(4-3) 상기 측면 얼굴의 영상을 정면 얼굴의 영상으로 정렬하는 단계를 포함하는 것을 특징으로 하는, AAM 및 추정된 깊이 정보를 이용하는 3차원 얼굴 포즈 및 표정 변화 추정 방법
|
| 6 |
6
제5항에 있어서, 상기 단계 (4-3)은,상기 정면 얼굴 및 측면 얼굴은 3차원 얼굴 형태에서 y축만을 공유하며, 하기의 수학식에 의해 y축 간의 에러 E를 최소화함으로써 정렬하는 것을 특징으로 하는, AAM 및 추정된 깊이 정보를 이용하는 3차원 얼굴 포즈 및 표정 변화 추정 방법
|
| 7 |
7
제1항에 있어서, 상기 단계 (7)은,상기 단계 (6)에서 하기의 수학식에 따라 추정되는 얼굴 파라미터 p가 최적화될 때까지 반복 수행되는 것을 특징으로 하는, AAM 및 추정된 깊이 정보를 이용하는 3차원 얼굴 포즈 및 표정 변화 추정 방법
|
