| 1 |
1
프로세서를 포함한 컴퓨팅 장치에 수행되는 나이변환 얼굴을 갖는 직업 영상을 생성하는 방법에 있어서, 특정 나이에서의 대상의 얼굴을 포함한 원본영상을 수신하는 단계;상기 대상의 특정 나이 정보, 및 변환될 목표 나이 정보를 수신하는 단계;상기 특정 나이에서의 대상의 얼굴을 상기 목표 나이에서의 대상의 얼굴로 변환하는 단계; 직업이 표현된, 미리 저장된 배경영상에서 직업영상을 생성하는데 사용하기 위한 배경영상을 선택하는 단계; 및상기 선택된 배경영상의 얼굴 영역에 상기 나이변환 얼굴을 합성하여 상기 대상의 직업영상을 생성하는 단계를 포함하는 나이변환 얼굴을 갖는 직업 영상을 생성하는 방법
|
| 2 |
2
제1항에 있어서, 상기 목표 나이에서의 대상의 얼굴로 변환하는 단계는:상기 원본영상의 대상의 얼굴로부터 랜드마크를 추출하는 단계; 상기 랜드마크가 추출된 원본영상의 대상의 얼굴로부터 상기 목표 나이에서의 대상의 얼굴 텍스쳐를 생성하는 단계; 상기 랜드마크가 추출된 원본영상의 대상의 얼굴로부터 상기 목표 나이에서의 대상의 얼굴 모양을 생성하는 단계; 및 상기 목표 나이에서의 대상의 얼굴 텍스쳐 및 얼굴 모양에 기초하여 상기 대상의 나이변환 얼굴을 생성하는 단계를 포함하는 나이변환 얼굴을 갖는 직업 영상을 생성하는 방법
|
| 3 |
3
제2항에 있어서, 상기 목표 나이에서의 얼굴 텍스쳐(texture)를 생성하는 단계는, 상기 랜드마크가 추출된 원본영상의 대상의 얼굴로부터 무모양 얼굴 텍스쳐를 생성하는 단계; 및 상기 무모양 얼굴 텍스쳐를 미리 학습된 텍스쳐 변환 모델에 적용하여 상기 목표 나이에서의 대상의 무모양 얼굴 텍스쳐를 생성하는 단계를 포함하는 나이변환 얼굴을 갖는 직업 영상을 생성하는 방법
|
| 4 |
4
제3항에 있어서, 상기 텍스쳐 변환 모델은, 상기 목표 나이에서의 얼굴 텍스쳐에 해당하는 데이터를 출력하도록 복수의 훈련 샘플을 이용하여 미리 학습된 모델로서, 각 훈련 샘플은 상기 목표 나이에서의 훈련 대상의 얼굴 텍스쳐, 및 훈련 대상의 성별을 포함한 라벨링 데이터를 포함하는 것을 특징으로 하는 나이변환 얼굴을 갖는 직업 영상을 생성하는 방법
|
| 5 |
5
제4항에 있어서, 상기 훈련 대상의 얼굴 텍스쳐는 상기 훈련 대상의 얼굴로부터 획득된 무모양 얼굴 텍스쳐인 것을 특징으로 하는 나이변환 얼굴을 갖는 직업 영상을 생성하는 방법
|
| 6 |
6
제4항에 있어서, 상기 텍스쳐 변환 모델은, 제1 도메인의 입력 데이터에 노이즈를 적용하여 제2 도메인의 변환 데이터를 출력하는 제1 생성기; 및 상기 제1 도메인의 입력 데이터에 노이즈를 적용하여 제3 도메인의 변환 데이터를 출력하는 제2 생성기를 포함하되, 각 생성기는 변환 데이터를 제1 도메인으로 데이터로 재-변환 시 상기 제1 도메인의 입력 데이터로 변환되도록 구성된 것을 특징으로 하는 나이변환 얼굴을 갖는 직업 영상을 생성하는 방법
|
| 7 |
7
제4항에 있어서, 상기 텍스쳐 변환 모델은, 제1 도메인의 입력 데이터에 노이즈 및 조건 정보를 적용하여 제2 도메인 및 제3 도메인을 포함한 복수의 다른 도메인의 변환 데이터를 출력하는 생성기를 포함하는 것을 특징으로 하는 나이변환 얼굴을 갖는 직업 영상을 생성하는 방법
|
| 8 |
8
제2항에 있어서, 상기 목표 나이에서의 대상의 얼굴 모양을 생성하는 단계는:상기 원본영상의 얼굴의 랜드마크에 기초하여 상기 원본영상의 대상의 얼굴 모양 특징을 추출하는 단계; 상기 원본영상의 대상의 얼굴 모양 특징을 미리 학습된 모양 변환 모델에 적용하여 상기 목표 나이에서의 대상의 얼굴 모양 특징을 생성하는 단계; 및상기 목표 나이에서의 대상의 얼굴 모양 특징에 기초하여 상기 목표 나이에서의 대상의 얼굴 모양을 복원하는 단계를 포함하는 나이변환 얼굴을 갖는 직업 영상을 생성하는 방법
|
| 9 |
9
제8항에 있어서, 상기 모양 변환 모델은, 나이와 해당 나이에서의 얼굴 모양 특징 간의 관계를 모델링하여 생성된 것으로서, 상기 목표 나이에서의 나이 함수 값과 상기 원본나이에서의 나이 함수 값 간의 차이 및 상기 원본영상의 대상의 얼굴 모양 특징에 기초하여 상기 목표 나이에서의 대상의 얼굴 모양 특징을 산출하도록 모델링된 것을 특징으로 하는
|
| 10 |
10
제8항에 있어서, 상기 모양 변환 모델은, 상기 목표 나이에서의 얼굴 모양 특징을 출력하도록 복수의 훈련 샘플 및 상기 목표 나이를 나타내는 라벨링 데이터를 이용하여 미리 학습된 모델로서, 각 세트 내 훈련 샘플은 해당 나이에서의 훈련 대상의 얼굴 모양 특징을 포함하는 것을 특징으로 하는 나이변환 얼굴을 갖는 직업 영상을 생성하는 방법
|
| 11 |
11
제8항에 있어서, 상기 모양 변환 모델이 복수의 나이 중 어느 하나의 나이에서의 얼굴 모양 특징을 출력하도록 구성된 경우,상기 모양 변환 모델은 복수의 훈련 샘플 세트를 이용하여 미리 학습된 모델로서, 각 세트는 상기 복수의 나이 중 특정 나이에서의 복수의 훈련 샘플 및 상기 특정 나이를 나타내는 라벨링 데이터를 포함하며, 각 세트 내 훈련 샘플은 해당 나이에서의 훈련 대상의 얼굴 모양 특징을 포함하는 것을 특징으로 하는 나이변환 얼굴을 갖는 직업 영상을 생성하는 방법
|
| 12 |
12
제9항에 있어서, 상기 모양 변환 모델은, 상기 얼굴 모양 특징의 차원이 N차원인 경우(여기서, N은 1이상의 정수), 각 얼굴 모양 특징에 대한 나이 함수에 기초하여 모델링된 것을 특징으로 하는 나이변환 얼굴을 갖는 직업 영상을 생성하는 방법
|
| 13 |
13
제2항에 있어서, 상기 대상의 나이변환 얼굴을 생성하는 단계는,상기 목표 나이에서의 대상의 얼굴 모양에 상기 목표 나이에서의 얼굴 텍스쳐를 와핑(warping)하여, 상기 목표 나이에서의 얼굴을 나이변환 얼굴로서 생성하는 단계를 포함하는 나이변환 얼굴을 갖는 직업 영상을 생성하는 방법
|
| 14 |
14
제1항에 있어서, 상기 배경영상은,상기 직업의 특성을 표현하도록 구성되며, 상기 대상과 상이한, 해당 직업을 갖는 사람의 얼굴의 적어도 일부를 포함하는 것을 특징으로 하는 나이변환 얼굴을 갖는 직업 영상을 생성하는 방법
|
| 15 |
15
제1항에 있어서, 상기 직업영상을 위한 배경영상은,사용자의 입력을 수신하고, 상기 사용자의 입력에 대응하는 배경영상인 것을 특징으로 하는 나이변환 얼굴을 갖는 직업 영상을 생성하는 방법
|
| 16 |
16
제1항에 있어서, 상기 직업영상을 위한 배경영상은, 상기 원본영상의 영상 특성 및 나이변환 영상의 얼굴 특성 중 하나 이상에 기초하여 선택된 것을 특징으로 하는 나이변환 얼굴을 갖는 직업 영상을 생성하는 방법
|
| 17 |
17
제16항에 있어서, 상기 원본영상의 영상 특성은, 조명, 해상도, 및 선명도 중 하나 이상을 포함하는 것을 특징으로 하는 나이변환 얼굴을 갖는 직업 영상을 생성하는 방법
|
| 18 |
18
제16항에 있어서, 상기 나이변환 영상의 얼굴 특성은, 얼굴 형태, 헤어 특성, 귀 모양, 이마 모양, 및 얼굴 포즈 중 하나 이상을 포함하는 것을 특징으로 하는 나이변환 얼굴을 갖는 직업 영상을 생성하는 방법
|
| 19 |
19
제1항에 있어서, 상기 직업영상을 위한 배경영상은, 대상의 성별에 기초하여 선택된 것을 특징으로 하는 나이변환 얼굴을 갖는 직업 영상을 생성하는 방법
|
| 20 |
20
제1항에 있어서, 상기 대상의 직업영상을 생성하는 단계는,상기 배경영상의 얼굴 및 나이변환 얼굴의 랜드마크를 각각 추출하는 단계;추출된 각각의 랜드마크에 기초하여 나이변환 얼굴의 랜드마크를 상기 배경영상의 얼굴 영역에 매핑하는 단계; 상기 나이변환 영상의 얼굴 텍스쳐를 상기 배경영상에 매핑된 랜드마크의 위치를 기반으로 와핑하는 단계; 상기 배경영상의 얼굴 텍스쳐를 상기 배경영상에 매핑된 랜드마크의 위치를 기반으로 와핑하는 단계; 상기 배경영상의 얼굴의 이동한 랜드마크에 기초하여 내부 영역을 필터링하는 합성영역 마스크를 생성하는 단계; 및상기 합성영역 마스크를 사용하여 와핑된 나이변환 영상의 대상의 얼굴 영역을 필터링하고, 상기 필터링된 대상의 얼굴 영역을 상기 배경영상의 얼굴 영역에 이식하는 단계를 포함하는 나이변환 얼굴을 갖는 직업 영상을 생성하는 방법
|
| 21 |
21
제20항에 있어서, 상기 매핑하는 단계는, 각각의 랜드마크가 의미하는 해부학적 얼굴 특징에 기초하여 수행되는 것을 특징으로 하는 나이변환 얼굴을 갖는 직업 영상을 생성하는 방법
|
| 22 |
22
제1항에 있어서, 상기 직업영상을 생성하는 단계는, 상기 선택된 배경영상이 복수의 프레임으로 이루어진 동영상인 경우, 상기 나이변환 얼굴을 상기 복수의 프레임 중 적어도 하나와 합성하는 단계를 포함하는 것을 특징으로 하는 나이변환 얼굴을 갖는 직업 영상을 생성하는 방법
|
| 23 |
23
제22항에 있어서, 나이변환 얼굴을 갖도록 합성된 프레임으로 이루어진 직업 동영상을 생성하는 단계를 더 포함하는 나이변환 얼굴을 갖는 직업 영상을 생성하는 방법
|
| 24 |
24
컴퓨팅 장치에 의해 판독가능하고, 상기 컴퓨팅 장치에 의해 동작 가능한 프로그램 명령어를 저장하는 컴퓨터 판독가능 기록매체로서, 상기 프로그램 명령어가 상기 컴퓨팅 장치의 프로세서에 의해 실행되는 경우 상기 프로세서가 제1항 내지 제23항 중 어느 하나의 항에 따른 나이변환 얼굴을 갖는 직업 영상을 생성하는 방법을 수행하게 하는 컴퓨터 판독가능 기록매체
|
