1 |
1
소스 얼굴 모델의 제1 표정에 대응하는 소스 블렌드쉐입 가중치를 수신하는 단계;상기 소스 블렌드쉐입 가중치에 기초하여 상기 소스 얼굴 모델을 렌더링함으로써, 상기 소스 얼굴 모델의 상기 제1 표정에 대응하는 소스 얼굴 이미지를 생성하는 단계;상기 소스 얼굴 이미지를 타깃 얼굴 모델에 대응하는 영상을 생성하는 제1 신경망에 인가함으로써, 상기 소스 얼굴 모델의 상기 제1 표정에 대응하는 타깃 얼굴 이미지를 생성하는 단계; 및상기 타깃 얼굴 이미지를 상기 타깃 얼굴 모델의 표정에 대응하는 블렌드쉐입 가중치를 추정하는 제2 신경망에 인가함으로써, 상기 타깃 얼굴 모델의 상기 제1 표정에 대응하는 타깃 블렌드쉐입 가중치를 추정하는 단계를 포함하는,리타게팅 방법
|
2 |
2
제1항에 있어서,상기 제1 신경망은,상기 타깃 얼굴 모델의 타깃 얼굴 이미지들을 학습 데이터로 입력하고, 상기 타깃 얼굴 모델의 타깃 얼굴 이미지들이 출력되도록 학습되는,리타게팅하는 방법
|
3 |
3
제1항에 있어서,상기 제2 신경망은,상기 타깃 얼굴 모델의 타깃 얼굴 이미지들을 및 상기 타깃 얼굴 이미지들을 각각의 표정에 대응하는 타깃 블렌드쉐입 가중치들을 학습 데이터로 이용하여 학습되는,리타게팅 방법
|
4 |
4
제3항에 있어서,상기 제2 신경망은,상기 타깃 얼굴 모델의 영상들로부터 추론된 타깃 블렌드쉐입 가중치들이 상기 타깃 블렌드세입 가중치들과 동일하도록 학습되고,상기 추론된 타깃 블렌드쉐입 가중치들을 이용하여 렌더링된 상기 타깃 얼굴 모델의 타깃 얼굴 이미지들이 상기 타깃 얼굴 모델의 타깃 얼굴 이미지들과 동일하도록 학습되는,리타게팅 방법
|
5 |
5
제1항에 있어서,상기 소스 얼굴 이미지를 생성하는 단계는, 미리 정해진 상기 소스 얼굴 모델의 표정들에 대한 블렌드쉐입 가중치 벡터들을 선형 조합한 버텍스 모델을 생성하는 단계; 및상기 버텍스 모델을 이용하여 상기 소스 얼굴 모델을 렌더링하는 단계를 포함하는,리타게팅하는 방법
|
6 |
6
제1항에 있어서,상기 소스 얼굴 모델 및 상기 타깃 얼굴 모델은, 얼굴의 전면부 이미지를 포함하는,리타게팅하는 방법
|
7 |
7
신경망을 학습하는 방법에 있어서,제1 학습 데이터 세트를 획득하는 단계;상기 제1 학습 데이터 세트를 이용하여 타깃 얼굴 모델의 이미지가 출력되도록 제1 신경망을 학습하는 단계;제2 학습 데이터 세트를 획득하는 단계;상기 제2 학습 데이터 세트를 이용하여 상기 타깃 얼굴 모델의 이미지에 대응하는 블렌드쉐입 가중치가 출력되도록 제2 신경망을 학습하는 단계; 및상기 제1 신경망 및 상기 제2 신경망을 연결하는 단계를 포함하는,신경망을 학습하는 방법
|
8 |
8
제7항에 있어서,상기 제1 학습 데이터 세트는,소스 얼굴 모델에 대응하는 소스 얼굴 이미지들; 및상기 타깃 얼굴 모델에 대응하는 타깃 얼굴 이미지들을 포함하는,신경망을 학습하는 방법
|
9 |
9
제8항에 있어서,상기 제1 신경망을 학습하는 단계는,상기 소스 얼굴 이미지들이 입력 및 출력으로 동일하도록 오토 인코더 및 소스 디코더를 학습하는 단계; 및상기 타깃 얼굴 이미지들이 입력 및 출력으로 동일하도록 상기 오토 인코더 및 타깃 디코더를 학습하는 단계를 포함하는,신경망을 학습하는 방법
|
10 |
10
제7항에 있어서,상기 제2 학습 데이터는,상기 타깃 얼굴 모델에 대응하는 타깃 얼굴 이미지들 및 상기 타깃 얼굴 이미지들 각각의 표정에 대응하는 타깃 블렌드쉐입 가중치들을 포함하는,신경망을 학습하는 방법
|
11 |
11
제10항에 있어서,상기 제2 신경망을 학습하는 단계는,입력되는 상기 타깃 블렌드 쉐입 가중치들 및 상기 타깃 얼굴 이미지들로부터 상기 제2 신경망을 통해 추론되는 추론 타깃 블렌드쉐입 가중치들이 동일하도록 상기 제2 신경망을 학습하는 단계; 및상기 타깃 얼굴 이미지들 및 상기 추론 타깃 블렌드쉐입 가중치들로부터 렌더링되는 추론 타깃 얼굴 이미지들이 동일하도록 상기 제2 신경망을 학습하는 단계를 포함하는,신경망을 학습하는 방법
|
12 |
12
하드웨어와 결합되어 제1항 내지 제11항 중 어느 하나의 항의 방법을 실행시키기 위하여 컴퓨터 판독 가능 매체에 저장된 컴퓨터 프로그램
|
13 |
13
리타게팅을 위한 장치에 있어서,하나 이상의 프로세서;메모리; 및상기 메모리에 저장되어 있으며 상기 하나 이상의 프로세서에 의하여 실행되도록 구성되는 하나 이상의 프로그램을 포함하고,상기 프로그램은,소스 얼굴 모델의 제1 표정에 대응하는 소스 블렌드쉐입 가중치를 수신하는 단계;상기 소스 블렌드쉐입 가중치에 기초하여 상기 소스 얼굴 모델을 렌더링함으로써, 상기 소스 얼굴 모델의 상기 제1 표정에 대응하는 소스 얼굴 이미지를 생성하는 단계;상기 소스 얼굴 이미지를 타깃 얼굴 모델에 대응하는 이미지를 생성하는 제1 신경망에 인가함으로써, 상기 소스 얼굴 모델의 상기 제1 표정에 대응하는 타깃 얼굴 이미지를 생성하는 단계; 및상기 타깃 얼굴 이미지를 상기 타깃 얼굴 모델의 표정에 대응하는 블렌드쉐입 가중치를 추정하는 제2 신경망에 인가함으로써, 상기 타깃 얼굴 모델의 상기 제1 표정에 대응하는 타깃 블렌드쉐입 가중치를 추정하는 단계를 포함하는,장치
|
14 |
14
제13항에 있어서,상기 제1 신경망은,상기 타깃 얼굴 모델의 타깃 얼굴 이미지들을 학습 데이터로 입력하고, 상기 타깃 얼굴 모델의 타깃 얼굴 이미지들이 출력되도록 학습되는,장치
|
15 |
15
제13에 있어서,상기 제2 신경망은,상기 타깃 얼굴 모델의 타깃 얼굴 이미지들을 및 상기 타깃 얼굴 이미지들을 각각의 표정에 대응하는 타깃 블렌드쉐입 가중치들을 학습 데이터로 이용하여 학습되는,장치
|
16 |
16
제15항에 있어서,상기 제2 신경망은,상기 타깃 얼굴 모델의 이미지들로부터 추론된 타깃 블렌드쉐입 가중치들이 상기 타깃 블렌드세입 가중치들과 동일하도록 학습되고,상기 추론된 타깃 블렌드쉐입 가중치들을 이용하여 렌더링된 상기 타깃 얼굴 모델의 타깃 얼굴 이미지들이 상기 타깃 얼굴 모델의 타깃 얼굴 이미지들과 동일하도록 학습되는,장치
|
17 |
17
리타게팅을 위한 신경망을 학습하는 장치에 있어서,하나 이상의 프로세서;메모리; 및상기 메모리에 저장되어 있으며 상기 하나 이상의 프로세서에 의하여 실행되도록 구성되는 하나 이상의 프로그램을 포함하고,상기 프로그램은,제1 학습 데이터 세트를 획득하는 단계;상기 제1 학습 데이터 세트를 이용하여 타깃 얼굴 모델의 이미지가 출력되도록 제1 신경망을 학습하는 단계;제2 학습 데이터 세트를 획득하는 단계;상기 제2 학습 데이터 세트를 이용하여 상기 타깃 얼굴 모델의 이미지에 대응하는 블렌드쉐입 가중치가 출력되도록 제2 신경망을 학습하는 단계; 및상기 제1 신경망 및 상기 제2 신경망을 연결하는 단계를 포함하는,장치
|
18 |
18
제17항에 있어서,상기 제1 학습 데이터 세트는,소스 얼굴 모델에 대응하는 소스 얼굴 이미지들; 및상기 타깃 얼굴 모델에 대응하는 타깃 얼굴 이미지들을 포함하는,신경망을 학습하는 방법
|
19 |
19
제18항에 있어서,상기 제1 신경망을 학습하는 단계는,상기 소스 얼굴 이미지들이 입력 및 출력으로 동일하도록 오토 인코더 및 소스 디코더를 학습하는 단계; 및상기 타깃 얼굴 이미지들이 입력 및 출력으로 동일하도록 상기 오토 인코더 및 타깃 디코더를 학습하는 단계를 포함하는,장치
|
20 |
20
제17항에 있어서,상기 제2 학습 데이터는,상기 타깃 얼굴 모델에 대응하는 타깃 얼굴 이미지들 및 상기 타깃 얼굴 이미지들 각각의 표정에 대응하는 타깃 블렌드쉐입 가중치들을 포함하는,장치
|
21 |
21
제20항에 있어서,상기 제2 신경망을 학습하는 단계는,입력되는 상기 타깃 블렌드 쉐입 가중치들 및 상기 타깃 얼굴 이미지들로부터 상기 제2 신경망을 통해 추론되는 추론 타깃 블렌드쉐입 가중치들이 동일하도록 상기 제2 신경망을 학습하는 단계; 및상기 타깃 얼굴 이미지들 및 상기 추론 타깃 블렌드쉐입 가중치들로부터 렌더링되는 추론 타깃 얼굴 이미지들이 동일하도록 상기 제2 신경망을 학습하는 단계를 포함하는,장치
|