| 1 |
1
3차원 얼굴 데이터베이스를 통해 입력된 3차원 얼굴 메쉬의 모든 버텍스에 대해 다른 메쉬들과의 대응 관계를 설정하고 평균 3차원 얼굴 모델을 생성하고, 상기 평균 3차원 얼굴 모델과 얼굴 모델간의 공분산 행렬의 주성분 분석을 통해 기하 모델 및 텍스쳐 분산 모델을 생성하는 전처리부;
비디오카메라로부터 입력된 얼굴 연기 동영상 중에서 정면을 응시하는 무표정 상태의 얼굴 영상 프레임에 상기 전처리부에서 생성한 평균 3차원 얼굴 모델을 투영하여 연기자의 3차원 얼굴 모델을 생성하는 얼굴모델생성부;
애니메이션 제어 모델을 가진 3차원 얼굴 모델 템플릿을 상기 얼굴모델생성부에서 생성한 연기자의 3차원 얼굴 모델에 전이시켜 애니메이션 제어 모델을 갖춘 연기자의 3차원 얼굴모델을 생성하는 전이부;
상기 전이부에 의해 전이된 상기 애니메이션 제어 모델을 갖춘 연기자의 3차원 얼굴 모델을 표정 연기가 있는 얼굴 애니메이션 비디오 프레임에 투영시키는 투영부;
상기 투영부에 의해 투영된 오차를 계산하는 오차계산부; 및
상기 오차계산부에 의해 계산된 오차가 최소화되는 방향으로 조인트를 이동 또는 회전 변환하여 메쉬를 변형하는 메쉬변형부를 포함하는 것을 특징으로 하는 한 대의 비디오 카메라를 이용한 3차원 얼굴 모델 및 애니메이션 생성 시스템
|
| 2 |
2
제1항에 있어서,
상기 전처리부 및 상기 얼굴모델생성부가 처리하는 과정은 3차원 얼굴 스캐닝을 이용하여 대체가능한 것을 특징으로 하는 한 대의 비디오 카메라를 이용한 3차원 얼굴 모델 및 애니메이션 생성 시스템
|
| 3 |
3
제1항 또는 제2항에 있어서,
상기 오차계산부와 상기 메쉬변형부에서의 동작을 얼굴 연기가 들어있는 비디오의 모든 프레임에 대해 반복하여 애니메이션을 생성하는 것을 특징으로 하는 한 대의 비디오 카메라를 이용한 3차원 얼굴 모델 및 애니메이션 생성 시스템
|
| 4 |
4
3차원 얼굴 데이터베이스를 통해 입력된 3차원 얼굴 메쉬의 모든 버텍스에 대해 다른 메쉬들과의 대응 관계를 설정하고 평균 3차원 얼굴 모델을 생성하고, 상기 평균 3차원 얼굴 모델과 얼굴 모델간의 공분산 행렬의 주성분 분석을 통해 기하 모델 및 텍스쳐 분산 모델을 생성하는 전처리단계; 및
애니메이션 제어 모델을 가진 3차원 얼굴 모델 템플릿을 얼굴모델생성부에서 생성한 연기자의 3차원 얼굴 모델에 전이시키고, 상기 애니메이션 제어 모델을 갖춘 연기자의 3차원 얼굴 모델을 표정 연기가 있는 얼굴 애니메이션 비디오 프레임에 투영시켜 오차를 계산하고 상기 오차가 최소화되는 방향으로 조인트를 이동 또는 회전 변환하여 메쉬를 변형하는 애니메이션 형성 단계를 포함하는 것을 특징으로 하는 한 대의 비디오 카메라를 이용한 3차원 얼굴 모델 및 애니메이션 생성 방법
|
| 5 |
5
제4항에 있어서,
상기 애니메이션 형성 단계는,
얼굴 연기한 동영상 중에서 비디오 카메라가 획득한 정면을 응시하는 무표정 상태의 얼굴 모델 프레임에 상기 평균 3차원 얼굴 모델을 투영하여 연기자의 3차원 얼굴 모델을 생성하는 3차원 얼굴 모델 생성단계;
상기 애니메이션 제어 모델을 가진 3차원 얼굴 모델 템플릿을 상기 연기자의 3차원 얼굴 모델에 전이하여 애니메이션 제어 모델을 갖춘 연기자의 3차원 얼굴모델을 생성하는 연기자의 3차원 얼굴 모델 생성단계;
상기 애니메이션 제어 모델을 갖춘 연기자의 3차원 얼굴 모델을 표정 연기가 있는 얼굴 애니메이션 비디오 프레임에 투영시켜 생성한 영상과 표정 연기가 있는 비디오 프레임과의 오차를 계산하는 계산단계;
상기 계산단계에서 계산된 오차가 최소오차 범위 내에 있는지의 여부를 판단하는 판단단계;
상기 판단단계에서 판단하여 최소오차 범위 내에 있는 경우로 판단되면, 얼굴 연기의 3차원 애니메이션을 작성하는 애니메이션작성단계; 및
상기 판단단계에서 판단하여 최소오차 범위 외에 있는 경우로 판단되면, 오차가 최소화되는 방향으로 조인트를 이동 및 회전 변환하여 메쉬를 변형하는 메쉬변형단계를 포함하는 것을 특징으로 하는 한 대의 비디오 카메라를 이용한 3차원 얼굴 모델 및 애니메이션 생성 방법
|
| 6 |
6
제5항에 있어서,
상기 전처리 단계와 상기 3차원 얼굴 모델 생성단계는 3차원 얼굴 스캐닝하는 단계로 대체가능한 것을 특징으로 하는 한 대의 비디오 카메라를 이용한 3차원 얼굴 모델 및 애니메이션 생성 방법
|
| 7 |
7
제5항에 있어서,
상기 계산단계, 상기 판단단계, 상기 애니메이션작성단계 및 메쉬변형단계를 최소 오차 범위가 될 때까지 반복하는 것을 특징으로 하는 한 대의 비디오 카메라를 이용한 3차원 얼굴 모델 및 애니메이션 생성 방법
|
| 8 |
8
제4항 또는 제5항에 있어서,
상기 애니메이션 제어 모델을 가진 3차원 얼굴 모델 템플릿을 상기 연기자의 3차원 얼굴 모델에 전이하는 단계에서, 얼굴 중 표정변화에 대해 움직임이 없는 특징들의 두 메쉬간 대응관계를 이용하여 전이하는 것을 특징으로 하는 한 대의 비디오 카메라를 이용한 3차원 얼굴 모델 및 애니메이션 생성 방법
|
