| 1 |
1
얼굴 융합 영상을 생성하는 방법에 있어서,입력 영상을 수신하는 단계;타겟 영상과 상기 입력 영상에서 얼굴 주요 특징점들을 추출하는 단계;얼굴 마스크 영역을 기반으로 타겟 영상의 얼굴 제거 영상을 생성하는 단계;상기 입력 영상에서 사용자 얼굴 영상을 추출하는 단계;상기 사용자 얼굴 영상을 상기 얼굴 마스크 영역에 대응되도록 변환하는 단계;상기 변환된 사용자 얼굴 영상을 상기 타겟 영상에 합성하여 얼굴 합성 영상을 생성하는 단계;상기 얼굴 합성 영상의 특징맵을 추출하는 단계;상기 얼굴 합성 영상의 특징맵과 상기 타겟 영상의 특징맵에 기초하여 조합 특징맵을 생성하는 단계;상기 조합 특징맵에 기초하여 얼굴 융합 결과 영상을 생성하는 단계; 및상기 생성된 얼굴 융합 결과 영상을 제공하는 단계를 포함하는 방법
|
| 2 |
2
제1항에 있어서,상기 타겟 영상은,전시장에서 전시되는 작품 영상을 포함하고,상기 입력 영상은,상기 전시장을 방문한 관람객을 포함하는 사용자의 영상을 포함하는방법
|
| 3 |
3
제1항에 있어서,상기 얼굴 마스크 영역을 포함하는 타겟 영상의 얼굴 제거 영상을 생성하는 단계는,상기 타겟 영상의 얼굴 영역에서 기타 객체(other object)가 존재하는 경우, 상기 얼굴 영역에서 상기 기타 객체를 추출하는 단계; 및상기 추출된 기타 객체를 저장하는 단계를 포함하는 방법
|
| 4 |
4
제1항에 있어서,상기 변환된 사용자 얼굴 영상을 상기 타겟 영상에 합성하여 얼굴 합성 영상을 생성하는 단계는,상기 타겟 영상의 얼굴 영역에서 기타 객체가 존재하는 경우, 상기 얼굴 합성 영상에 추출된 상기 기타 객체를 적용하여 상기 기타 객체가 나타난 얼굴 합성 영상을 생성하는 단계를 포함하는 방법
|
| 5 |
5
제3항에 있어서,상기 타겟 영상의 얼굴 영역에서 기타 객체가 존재하는 경우, 상기 얼굴 영역에서 상기 기타 객체를 추출하는 단계는,상기 기타 객체의 분할을 위한 사용자 입력을 입력 받는 단계를 포함하는 방법
|
| 6 |
6
제1항에 있어서,상기 타겟 영상과 입력 영상에서 얼굴 주요 특징점들을 추출하는 단계는,상기 타겟 영상과 입력 영상에서 각각 대응되는 얼굴 주요 특징점들을 동일한 개수로 추출하는 단계를 포함하는 방법
|
| 7 |
7
제1항에 있어서,상기 사용자 얼굴 영상을 상기 얼굴 마스크 영역에 대응되도록 상기 사용자 얼굴 영상을 변환하는 단계는,상기 검출된 얼굴 주요 특징점을 기반으로 제1 삼각 분할을 생성하는 단계;상기 타겟 영상의 얼굴 주요 특징점을 기반으로 제2 삼각 분할을 생성하는 단계; 및상기 제1 삼각 분할을 기반으로 제1 삼각형 패치를 추출하고, 상기 제2 삼각 분할을 기반으로 제2 삼각형 패치를 추출하는 단계를 포함하는 방법
|
| 8 |
8
제7항에 있어서,상기 변환된 사용자 얼굴 영상을 상기 타겟 영상에 합성하여 얼굴 합성 영상을 생성하는 단계는,상기 제1 삼각형 패치의 집합 및 상기 제2 삼각형 패치의 집합을 기반으로 아핀 변환(affine warping)을 수행하는 단계;상기 아핀 변환이 수행된 제1 삼각형 패치의 집합, 및 상기 타겟 영상의 얼굴 제거 영상을 기반으로 얼굴 합성 영상을 생성하는 단계; 및상기 생성된 얼굴 합성 영상의 경계면 및 톤을 보정하는 단계를 포함하는 방법
|
| 9 |
9
제8항에 있어서,상기 제1 삼각형 패치의 집합 및 상기 제2 삼각형 패치의 집합을 기반으로 아핀 변환을 수행하는 단계는,상기 제1 삼각형 패치의 집합의 전부 또는 일부 중 적어도 하나에 대한 아핀 변환을 수행하는 단계를 포함하는 방법
|
| 10 |
10
제1항에 있어서,상기 얼굴 합성 영상의 특징맵과 상기 타겟 영상의 특징맵에 기초하여 조합 특징맵을 생성하는 단계는,상기 타겟 영상 얼굴 마스크 영역에 대응되는 좌표에 해당하는 특징 값과 상기 타겟 영상 특징맵의 대응되는 특징값을 원소별로 더하는 단계를 포함하는 방법
|
| 11 |
11
제1항에 있어서,상기 얼굴 합성 영상의 특징맵과 상기 타겟 영상의 특징맵에 기초하여 조합 특징맵을 생성하는 단계는,상기 특징맵 별 가중치에 기초하여, 상기 얼굴이 상기 타겟 영상에 반영되는 강도를 조절하는 단계를 포함하는 방법
|
| 12 |
12
제1항에 있어서,상기 얼굴 합성 영상의 특징맵과 상기 타겟 영상의 특징맵에 기초하여 조합 특징맵을 생성하는 단계는,두 개의 특징맵을 결합(concatenation)하여 채널의 수가 두 배가 된 특징맵을 사용하는 단계를 포함하는 방법
|
| 13 |
13
얼굴 융합 영상을 생성하는 장치에 있어서,입력 영상을 획득하는 카메라;상기 획득된 입력 영상과 결합될 타겟 영상에 대한 정보를 저장하는 스토리지;상기 타겟 영상과 상기 입력 영상에서 얼굴 주요 특징점들을 추출하고, 얼굴 마스크 영역을 포함하는 타겟 영상의 얼굴 제거 영상을 생성하고, 상기 입력 영상에서 사용자 얼굴 영상을 추출하고, 상기 사용자 얼굴 영상을 상기 얼굴 마스크 영역에 대응되도록 변환하고, 상기 변환된 사용자 얼굴 영상을 상기 타겟 영상에 합성하여 얼굴 합성 영상을 생성하고, 상기 얼굴 합성 영상의 특징맵을 추출하고, 상기 얼굴 합성 영상의 특징맵과 상기 타겟 영상의 특징맵에 기초하여 조합 특징맵을 생성하고, 및 상기 조합 특징맵에 기초하여 얼굴 융합 결과 영상을 생성하는 프로세서; 및상기 생성된 얼굴 융합 결과 영상을 상기 사용자에게 제공하는 디스플레이를 포함하는 장치
|
| 14 |
14
제13항에 있어서,상기 프로세서는,상기 타겟 영상의 얼굴 영역에서 기타 객체가 존재하는 경우, 상기 얼굴 영역에서 상기 기타 객체를 추출하고, 상기 추출된 기타 객체를 저장하는,장치
|
| 15 |
15
제13항에 있어서,상기 프로세서는,상기 타겟 영상의 얼굴 영역에서 기타 객체가 존재하는 경우, 상기 얼굴 합성 영상에 추출된 상기 기타 객체를 적용하여 상기 기타 객체가 나타난 얼굴 합성 영상을 생성하는,장치
|
| 16 |
16
제13항에 있어서,상기 프로세서는,상기 검출된 얼굴 주요 특징점을 기반으로 제1 삼각 분할을 생성하고,상기 타겟 영상의 얼굴 주요 특징점을 기반으로 제2 삼각 분할을 생성하고,상기 제1 삼각 분할을 기반으로 제1 삼각형 패치를 추출하고, 상기 제2 삼각 분할을 기반으로 제2 삼각형 패치를 추출하는,장치
|
| 17 |
17
제16항에 있어서,상기 프로세서는,상기 제1 삼각형 패치의 집합 및 상기 제2 삼각형 패치의 집합을 기반으로 아핀 변환을 수행하고,상기 아핀 변환이 수행된 제1 삼각형 패치의 집합, 및 상기 타겟 영상의 얼굴 제거 영상을 기반으로 얼굴 합성 영상을 생성하고,상기 생성된 얼굴 합성 영상의 경계면 및 톤을 보정하는,장치
|
| 18 |
18
제13항에 있어서,상기 프로세서는,상기 특징맵 별 가중치에 기초하여, 상기 얼굴이 상기 타겟 영상에 반영되는 강도를 조절하는,장치
|
| 19 |
19
제13항에 있어서,상기 프로세서는,상기 타겟 영상 얼굴 마스크 영역에 대응되는 좌표에 해당하는 특징 값과 상기 타겟 영상 특징맵의 대응되는 특징값을 원소별로 더하는 것에 의해 상기 조합 특징맵을 생성하는,장치
|
