| 1 |
1
복수의 입력 이미지들 각각에 대응하여, 이미지의 콘텐츠에 관한 특징을 추출하는 콘텐츠 인코더에 기초하여, 해당하는 입력 이미지의 콘텐츠 잠재 코드를 추출하는 단계; 및 이미지의 스타일에 관한 특징을 추출하는 스타일 인코더에 기초하여, 상기 해당하는 입력 이미지의 스타일 잠재 코드를 추출하는 단계;모핑(morphing) 제어에 관한 파라미터에 기초하여, 상기 복수의 입력 이미지들에 대응하여 추출된 콘텐츠 잠재 코드들을 가중 합함으로써, 콘텐츠 특징 벡터를 획득하는 단계;상기 모핑 제어에 관한 파라미터에 기초하여, 상기 복수의 입력 이미지들에 대응하여 추출된 스타일 잠재 코드들을 가중 합함으로써, 스타일 특징 벡터를 획득하는 단계; 및디코더에 기초하여, 상기 콘텐츠 특징 벡터 및 상기 스타일 특징 벡터를 디코딩함으로써, 모핑 이미지를 생성하는 단계를 포함하는,이미지 처리 방법
|
| 2 |
2
제1항에 있어서,상기 모핑 제어에 관한 파라미터는 콘텐츠 모핑 제어에 관한 파라미터 및 스타일 모핑 제어에 관한 파라미터를 포함하고,상기 콘텐츠 특징 벡터를 획득하는 단계는상기 콘텐츠 모핑 제어에 관한 파라미터에 기초하여, 상기 복수의 입력 이미지들에 대응하여 추출된 콘텐츠 잠재 코드들을 가중 합함으로써, 상기 콘텐츠 특징 벡터를 획득하는 단계를 포함하고,상기 스타일 특징 벡터를 획득하는 단계는상기 스타일 모핑 제어에 관한 파라미터에 기초하여, 상기 복수의 입력 이미지들에 대응하여 추출된 스타일 잠재 코드들을 가중 합함으로써, 상기 스타일 특징 벡터를 획득하는 단계를 포함하는,이미지 처리 방법
|
| 3 |
3
제1항에 있어서,상기 복수의 입력 이미지들은 제1 이미지 및 제2 이미지를 포함하고,상기 콘텐츠 특징 벡터를 획득하는 단계는콘텐츠 모핑 제어에 관한 파라미터에 기초하여, 상기 제1 이미지에 대응하여 추출된 제1 콘텐츠 잠재 코드 및 상기 제2 이미지에 대응하여 추출된 제2 콘텐츠 잠재 코드를 보간(interpolate)하는 단계를 포함하며,상기 스타일 특징 벡터를 획득하는 단계는스타일 모핑 제어에 관한 파라미터에 기초하여, 상기 제1 이미지에 대응하여 추출된 제1 스타일 잠재 코드 및 상기 제2 이미지에 대응하여 추출된 제2 스타일 잠재 코드를 보간하는 단계를 포함하는,이미지 처리 방법
|
| 4 |
4
제1항에 있어서,상기 모핑 제어에 관한 파라미터는상기 복수의 입력 이미지들에 대응하는 가중치들을 포함하는,이미지 처리 방법
|
| 5 |
5
제1항에 있어서,상기 모핑 이미지를 생성하는 단계는상기 스타일 특징 벡터를 매핑 네트워크에 인가하여, 처리된 스타일 특징 벡터를 획득하는 단계; 및상기 디코더에 기초하여, 상기 처리된 스타일 특징 벡터 및 상기 콘텐츠 특징 벡터를 디코딩함으로써, 모핑 이미지를 생성하는 단계를 포함하는,이미지 처리 방법
|
| 6 |
6
제1항에 있어서,상기 이미지의 콘텐츠는 상기 이미지 내 객체의 포즈, 상기 이미지 내 상기 객체의 위치 및 상기 객체를 촬영한 카메라의 구도에 관한 정보를 포함하고,상기 이미지의 스타일은 상기 이미지 내 객체의 외관에 관한 정보를 포함하는,이미지 처리 방법
|
| 7 |
7
제1항에 있어서,상기 복수의 입력 이미지들은상기 콘텐츠 및 상기 스타일 중 적어도 하나가 서로 다른이미지 처리 방법
|
| 8 |
8
제1항에 있어서,상기 모핑 이미지는상기 복수의 입력 이미지들의 콘텐츠에 관한 특성들 중 적어도 하나의 콘텐츠에 관한 특성의 조합을 포함하고,상기 복수의 입력 이미지들의 스타일에 관한 특성들 중 적어도 하나의 스타일에 관한 특성의 조합을 포함하는,이미지 처리 방법
|
| 9 |
9
제1항에 있어서,상기 복수의 입력 이미지들은 비디오를 구성하는 복수의 프레임들을 포함하고,상기 모핑 이미지는 상기 비디오에서 상기 복수의 프레임들의 중간 프레임을 포함하는,이미지 처리 방법
|
| 10 |
10
제1 이미지, 제2 이미지 및 모핑 제어에 관한 파라미터에 기초한 정답 모핑 이미지를 포함하는 학습 데이터를 획득하는 단계;상기 제1 이미지, 상기 제2 이미지 및 상기 모핑 제어에 관한 파라미터를 모핑 생성기에 입력함으로써, 출력 모핑 이미지를 획득하는 단계; 및상기 학습 데이터에 포함된 이미지들 중 적어도 하나 및 상기 출력 모핑 이미지에 의한 손실 함수(loss)에 기초하여, 상기 모핑 생성기를 학습시키는 단계를 포함하고,상기 손실 함수는상기 학습 데이터에 포함된 이미지와 상기 모핑 생성기에서 획득된 상기 출력 모핑 이미지의 판별에 관한 적대적 손실(adversarial loss); 및상기 학습 데이터에 포함된 이미지의 픽셀들 및 상기 출력 모핑 이미지의 픽셀들 사이의 차이에 관한 픽셀 단위의 재구성 손실(pixel-wise reconstruction loss)중 적어도 하나에 기초하여 결정되는,학습 방법
|
| 11 |
11
제10항에 있어서,상기 적대적 손실은상기 학습 데이터에 포함된 이미지들 중 어느 하나의 클래스 레이블 정보가 조건으로 설정된 조건부 적대적 손실(conditional 적대적 loss)을 포함하는,학습 방법
|
| 12 |
12
제10항에 있어서,상기 적대적 손실은상기 모핑 제어에 관한 파라미터, 상기 제1 이미지 및 상기 출력 모핑 이미지의 판별에 관한 적대적 손실, 및 상기 제2 이미지 및 출력 모핑 이미지의 판별에 관한 적대적 손실에 기초하여 결정되고,상기 픽셀 단위의 재구성 손실은상기 학습 데이터에 포함된 이미지들 중 상기 모핑 제어에 관한 파라미터에 대응하는 정답 이미지 및 상기 출력 모핑 이미지에 기초하여 결정되는,학습 방법
|
| 13 |
13
제10항에 있어서,상기 모핑 제어에 관한 파라미터는 콘텐츠 모핑 제어에 관한 파라미터 및 스타일 모핑 제어에 관한 파라미터를 포함하고,상기 출력 모핑 이미지를 획득하는 단계는상기 제2 이미지의 콘텐츠 및 상기 제1 이미지의 스타일을 포함하는 제1 출력 모핑 이미지를 획득하는 단계; 및상기 제1 이미지의 콘텐츠 및 상기 제2 이미지의 스타일을 포함하는 제2 출력 모핑 이미지를 획득하는 단계를 포함하고,상기 모핑 생성기를 학습시키는 단계는상기 제1 출력 모핑 이미지 및 상기 제1 이미지의 판별에 관한 적대적 손실 및 상기 제2 출력 모핑 이미지 및 상기 제2 이미지의 판별에 관한 적대적 손실에 기초하여 상기 생성기를 학습시키는 단계를 포함하는,학습 방법
|
| 14 |
14
제13항에 있어서,상기 모핑 생성기를 학습시키는 단계는상기 모핑 생성기에 상기 제2 출력 모핑 이미지 및 상기 제2 이미지를 입력하여, 상기 제2 출력 모핑 이미지의 콘텐츠 및 상기 제2 이미지의 스타일을 포함하는 제3 출력 모핑 이미지를 획득하는 단계;상기 모핑 생성기에 상기 제1 출력 모핑 이미지 및 상기 제1 이미지를 입력하여, 상기 제1 출력 모핑 이미지의 콘텐츠 및 상기 제1 이미지의 스타일을 포함하는 제4 출력 모핑 이미지를 획득하는 단계;상기 제3 출력 모핑 이미지 및 제2 이미지에 기초한 적대적 손실 및 픽셀 단위의 재구성의 손실에 기초하여, 상기 모핑 생성기를 학습시키는 단계; 및상기 제4 출력 모핑 이미지 및 제1 이미지에 기초한 적대적 손실 및 픽셀 단위의 재구성의 손실에 기초하여, 상기 모핑 생성기를 학습시키는 단계를 포함하는,학습 방법
|
| 15 |
15
하드웨어와 결합되어 제1항 내지 제14항 중 어느 하나의 항의 방법을 실행시키기 위하여 매체에 저장된 컴퓨터 프로그램
|
| 16 |
16
복수의 입력 이미지들 각각에 대응하여, 해당하는 이미지를 인코딩함으로써, 콘텐츠 잠재 코드를 추출하고, 상기 해당하는 이미지를 인코딩함으로써, 스타일 잠재 코드를 추출하 고,모핑(morphing) 제어에 관한 파라미터에 기초하여, 상기 복수의 입력 이미지들에 대응하여 추출된 콘텐츠 잠재 코드들을 가중 합함으로써, 콘텐츠 특징 벡터를 획득하고,상기 모핑 제어에 관한 파라미터에 기초하여, 상기 복수의 입력 이미지들에 대응하여 추출된 스타일 잠재 코드들을 가중 합함으로써, 스타일 특징 벡터를 획득하며,상기 콘텐츠 특징 벡터 및 상기 스타일 특징 벡터에 기초하여, 모핑 이미지를 생성하는,적어도 하나의 프로세서를 포함하는,이미지 처리 장치
|
| 17 |
17
제16항에 있어서,상기 모핑 제어에 관한 파라미터는 콘텐츠 모핑 제어에 관한 파라미터 및 스타일 모핑 제어에 관한 파라미터를 포함하고,상기 프로세서는상기 콘텐츠 특징 벡터를 획득함에 있어서,상기 콘텐츠 모핑 제어에 관한 파라미터에 기초하여, 상기 복수의 입력 이미지들에 대응하여 추출된 콘텐츠 잠재 코드들을 가중 합함으로써, 상기 콘텐츠 특징 벡터를 획득하고,상기 스타일 특징 벡터를 획득함에 있어서,상기 스타일 모핑 제어에 관한 파라미터에 기초하여, 상기 복수의 입력 이미지들에 대응하여 추출된 스타일 잠재 코드들을 가중 합함으로써, 상기 스타일 특징 벡터를 획득하는,이미지 처리 장치
|
| 18 |
18
제16항에 있어서,상기 복수의 입력 이미지들은 제1 이미지 및 제2 이미지를 포함하고,상기 프로세서는,상기 콘텐츠 특징 벡터를 획득함에 있어서,콘텐츠 모핑 제어에 관한 파라미터에 기초하여, 상기 제1 이미지에 대응하여 추출된 제1 콘텐츠 잠재 코드 및 상기 제2 이미지에 대응하여 추출된 제2 콘텐츠 잠재 코드를 보간(interpolate)하고,상기 스타일 특징 벡터를 획득함에 있어서,스타일 모핑 제어에 관한 파라미터에 기초하여, 상기 제1 이미지에 대응하여 추출된 제1 스타일 잠재 코드 및 상기 제2 이미지에 대응하여 추출된 제2 스타일 잠재 코드를 보간하는,이미지 처리 장치
|
| 19 |
19
제16항에 있어서,상기 프로세서는,상기 모핑 이미지를 생성함에 있어서,상기 스타일 특징 벡터를 매핑 네트워크에 인가하여, 처리된 스타일 특징 벡터를 획득하고,상기 처리된 스타일 특징 벡터 및 상기 콘텐츠 특징 벡터를 디코딩함으로써, 상기 모핑 이미지를 생성하는,이미지 처리 장치
|
| 20 |
20
제16항에 있어서,상기 모핑 제어에 관한 파라미터는상기 복수의 입력 이미지들에 대응하는 가중치들을 포함하는,이미지 처리 장치
|
