| 1 |
1
얼굴 RGB 영상과 피부 요소 영상을 포함하는 데이터셋을 취득하는 단계; 상기 데이터셋을 이용하여 상기 얼굴 RGB 영상에 따른 피부 요소를 분할하는 단계; 및 상기 얼굴 RGB 영상과 상기 분할된 피부의 미세 요소 분할 영상으로부터 미세 요소 조절 기법을 이용하여 얼굴 영상을 합성하는 단계를 포함하고, 상기 데이터셋을 이용하여 상기 얼굴 RGB 영상에 따른 피부 요소를 분할하는 단계는, 주름, 모공, 홍조를 포함하는 피부 요소의 분할 클래스에 대한 분할 네트워크 학습 전 화소 수준의 분할을 영역 수준의 분할로 변환하고, 피부 요소 화소를 확장하여 피부 요소 분할 맵을 생성하며, 상기 피부 요소 화소의 확장 방법은 피부 요소 화소 주위의 화소에 피부 요소를 추가하고, 3D 휴먼 모델링을 위한 멀티모달 얼굴 텍스처를 생성하기 위해 빛의 반사와 굴곡, 피부 요소를 표현하도록 얼굴의 색상을 결정하는 난반사 텍스처와 피부 표면에서의 빛 반사와 거칠기를 나타내는 캐비티 맵 및 법선 맵을 생성하고, 상기 난반사 텍스처와 캐비티 맵 및 법선 맵을 포함하는 상기 피부 요소 분할 맵이 분할 네트워크에 입력되어 학습되는 얼굴 텍스처 생성 방법
|
| 2 |
2
삭제
|
| 3 |
3
제1항에 있어서,상기 얼굴 RGB 영상과 상기 분할된 피부의 미세 요소 분할 영상으로부터 미세 요소 조절 기법을 이용하여 얼굴 영상을 합성하는 단계는, 얼굴 RGB 영상과 피부의 미세 요소 분할 영상으로부터 얼굴 라벨 영상을 생성하고 얼굴의 영역을 찾는 얼굴 파싱(face parsing)단계; 상기 생성된 얼굴 라벨 영상에 대하여 피부 미세 요소 분할 맵을 편집하는 미세 요소 조절 단계; 및 상기 생성된 얼굴 라벨 영상으로부터 얼굴 영상을 합성하는 단계를 포함하는 얼굴 텍스처 생성 방법
|
| 4 |
4
제3항에 있어서,상기 피부 미세 요소 분할 맵을 편집하는 미세 요소 조절 단계는, 얼굴 파싱으로 얻은 얼굴 영역 라벨은 유지하고, 피부의 미세 요소 분할 영상으로부터 얻어진 피부의 미세 요소 라벨을 피부 요소 증가 및 피부 요소 감소로 나누어 편집하며, 피부 요소 증가 시 피부 요소가 존재하는 화소를 기준으로 왼쪽, 오른쪽, 위, 아래 화소가 가지는 라벨을 변화시키고, 피부 요소 감소 시 피부 요소가 존재했던 화소의 라벨을 변화시키는 얼굴 텍스처 생성 방법
|
| 5 |
5
얼굴 RGB 영상과 피부 요소 영상을 포함하는 데이터셋을 취득하는 데이터 수집부; 상기 데이터셋을 이용하여 상기 얼굴 RGB 영상에 따른 피부 요소를 분할하는 피부 요소 분할부; 및 상기 얼굴 RGB 영상과 상기 분할된 피부의 미세 요소 분할 영상으로부터 미세 요소 조절 기법을 이용하여 얼굴 영상을 합성하는 얼굴 영상 합성부를 포함하고, 상기 피부 요소 분할부는, 주름, 모공, 홍조를 포함하는 피부 요소의 분할 클래스에 대한 분할 네트워크 학습 전 화소 수준의 분할을 영역 수준의 분할로 변환하고, 피부 요소 화소를 확장하여 피부 요소 분할 맵을 생성하며, 상기 피부 요소 화소의 확장 방법은 피부 요소 화소 주위의 화소에 피부 요소를 추가하고, 3D 휴먼 모델링을 위한 멀티모달 얼굴 텍스처를 생성하기 위해 빛의 반사와 굴곡, 피부 요소를 표현하도록 얼굴의 색상을 결정하는 난반사 텍스처와 피부 표면에서의 빛 반사와 거칠기를 나타내는 캐비티 맵 및 법선 맵을 생성하고, 상기 난반사 텍스처와 캐비티 맵 및 법선 맵을 포함하는 상기 피부 요소 분할 맵이 분할 네트워크에 입력되어 학습되는 얼굴 텍스처 생성 시스템
|
| 6 |
6
삭제
|
| 7 |
7
제5항에 있어서,상기 얼굴 영상 합성부는, 얼굴 RGB 영상과 피부의 미세 요소 분할 영상으로부터 얼굴 라벨 영상을 생성하고 얼굴의 영역을 찾는 얼굴 파싱(face parsing)을 수행하고, 상기 생성된 얼굴 라벨 영상에 대하여 피부 미세 요소 분할 맵을 편집하는 미세 요소 조절을 수행하며, 상기 생성된 얼굴 라벨 영상으로부터 얼굴 영상을 합성하는 얼굴 텍스처 생성 시스템
|
| 8 |
8
제7항에 있어서,상기 얼굴 영상 합성부는, 얼굴 파싱으로 얻은 얼굴 영역 라벨은 유지하고, 피부의 미세 요소 분할 영상으로부터 얻어진 피부의 미세 요소 라벨을 피부 요소 증가 및 피부 요소 감소로 나누어 편집하며, 피부 요소 증가 시 피부 요소가 존재하는 화소를 기준으로 왼쪽, 오른쪽, 위, 아래 화소가 가지는 라벨을 변화시키고, 피부 요소 감소 시 피부 요소가 존재했던 화소의 라벨을 변화시키는 얼굴 텍스처 생성 시스템
|
