| 1 |
1
초해상화 장치에 의해 수행되는 얼굴 영역 초해상화 방법에 있어서,얼굴 영역이 포함된 영상 정보를 지식 증류 기법 기반의 얼굴 초해상화 모델에 입력받는 단계; 및 상기 지식 증류 기법 기반의 초해상화 모델을 이용하여 상기 입력받은 얼굴 영역이 포함된 영상 정보로부터 초해상 영상을 획득하는 단계를 포함하고,상기 지식 증류 기법 기반의 초해상화 모델에서, 사전에 학습이 완료된 선생 모델의 특징맵이 다중 스케일의 구분자에게 실제 입력 데이터로 간주되고, 학습을 시작하는 학생 모델의 특징맵이 상기 다중 스케일의 구분자에게 가짜 입력 데이터로 간주되며,상기 학생 모델은 상기 학생 모델의 특징맵과 상기 선생 모델의 특징맵간의 차이를 줄이도록 학습되는 것을 특징으로 하는, 얼굴 영역 초해상화 방법
|
| 2 |
2
삭제
|
| 3 |
3
삭제
|
| 4 |
4
제1항에 있어서,상기 선생 모델은, 고화질의 영상 정보로부터 추정된 랜드마크 정보를 사용하여 사전 훈련된 네트워크의 각 레이어에서 추출된 특징맵에서의 왼쪽 눈, 오른쪽 눈, 코, 입 영역을 잘라내어 고정된 크기로 재조정을 실시하고, 상기 영상 정보로부터 재조정이 실시된 샘플링된 영역에 K-means 알고리즘을 적용하여 영역 별 클러스터를 생성함에 따라 딕셔너리 정보를 구축하는, 것을 특징으로 하는 얼굴 영역 초해상화 방법
|
| 5 |
5
제1항에 있어서,상기 선생 모델은, 인코더-디코더 네트워크의 구조로 구성되어 상기 얼굴 영역을 포함하는 영상 정보로부터 상기 인코더에서 추출된 특징맵에 구축한 딕셔너리 정보를 전이하도록 설계된것을 특징으로 하는 얼굴 영역 초해상화 방법
|
| 6 |
6
제5항에 있어서,상기 선생 모델은, 상기 인코더의 각 레이어에서 추출된 특징맵으로부터 추정된 랜드마크 정보를 이용하여 상기 얼굴 영역을 포함하는 영상 정보로부터 눈, 코, 입의 위치 영역을 추정하고, 상기 구축된 딕셔너리 정보의 분포와 상기 추정된 눈, 코, 입의 위치 영역의 분포를 조정하기 위하여 상기 구축된 딕셔너리 정보의 분포에 대해 정규화를 수행하는, 것을 특징으로 하는 얼굴 영역 초해상화 방법
|
| 7 |
7
제6항에 있어서, 상기 선생 모델은, 상기 인코더의 각 레이어에서 추출된 특징맵에서 추정한 위치 영역과 정규화된 딕셔너리 정보의 집합에서 영역 별 컨피던스 스코어(confidence score, CS)를 통해 가장 높을 값을 가지는 딕셔너리 정보를 상기 추출된 특징맵에 주입하여 새로운 특징맵을 형성하고, 상기 형성된 새로운 특징맵을 사전 정보(prior conditions)로 간주하여 SFT(spatial feature transform) 모듈을 통해 업샘플링을 수행함에 따라 초해상화 영상을 생성하는, 것을 특징으로 하는 얼굴 영역 초해상화 방법
|
| 8 |
8
제1항에 있어서, 상기 학생 모델은, 인코더-디코더 네트워크의 구조로 구성되어 SFT 모듈을 수행한 선생 모델과 학생 모델의 특징맵의 분포의 차이를 줄이는 학습을 수행하도록 설계된, 것을 특징으로 하는 얼굴 영역 초해상화 방법
|
| 9 |
9
제8항에 있어서, 상기 학생 모델은, 상기 학생 모델에서 생성되는 특징맵을 다중 스케일의 구분자가 실제 입력으로 판별하도록 적대적 학습을 진행하여 딕셔너리 정보를 가지고 있는 선생 모델의 특징맵의 분포를 학습하는 것을 특징으로 하는 얼굴 영역 초해상화 방법
|
| 10 |
10
초해상화 장치에 있어서,얼굴 영역이 포함된 영상 정보를 지식 증류 기법 기반의 얼굴 초해상화 모델에 입력받는 영상 입력부; 및 상기 지식 증류 기법 기반의 초해상화 모델을 이용하여 상기 입력받은 얼굴 영역이 포함된 영상 정보로부터 초해상 영상을 획득하는 초해상 영상 획득부를 포함하고,상기 지식 증류 기법 기반의 초해상화 모델에서, 사전에 학습이 완료된 선생 모델의 특징맵이 다중 스케일의 구분자에게 실제 입력 데이터로 간주되고, 학습을 시작하는 학생 모델의 특징맵이 상기 다중 스케일의 구분자에게 가짜 입력 데이터로 간주되며,상기 학생 모델은 상기 학생 모델의 특징맵과 상기 선생 모델의 특징맵간의 차이를 줄이도록 학습되는 것을 특징으로 하는, 초해상화 장치
|
