| 1 |
1
비디오 컬러화 장치가 이용하는 비디오 컬러화 방법에 있어서,복수의 흑백 영상(multiple black-and-white images) 중의 하나인 지정 화면(indicated frame)으로부터 분할추출 모델을 이용하여 분할 맵(segmentation map)을 추출하고, 사전에 트레이닝된 딥러닝(deep learning) 기반 ALP 추출부를 이용하여 상기 분할 맵으로부터 ALP(Adaptive Local Parameter)를 생성하는 과정;상기 지정 화면으로부터 전역특성 추출 모델을 이용하여 전역특성 맵(global feature map)을 추출하고, 사전에 트레이닝된 딥러닝 기반 AGP 추출부를 이용하여 상기 전역특성 맵으로부터 AGP(Adaptive Global Parameter)를 생성하는 과정; 및상기 ALP 및 상기 AGP를 이용하는 적응적 융합 변환(Adaptive Fusion Transform: AFT)에 기반하는, 사전에 트레이닝된 딥러닝 기반 추론 모델을 이용하여 상기 복수의 흑백 영상으로부터 컬러화된 화면(colorized frame)을 생성하는 과정을 포함하는 것을 특징으로 하는 비디오 컬러화 방법
|
| 2 |
2
제1항에 있어서, 상기 AFT는,상기 ALP를 이용하여 상기 지정 화면의 국부적인 특성이 반영된 국부특성 개선화면, 및 상기 AGP를 이용하여 상기 지정 화면의 전역적인 특성이 반영된 전역특성 개선화면을 생성하고, 상기 국부특성 개선화면과 상기 전역특성 개선화면을 적응적으로(adaptively) 가중합(weighted sum)함으로써 상기 국부적인 특성 및 상기 전역적인 특성을 융합(fusion)하는 것을 특징으로 하는 비디오 컬러화 장치
|
| 3 |
3
제2항에 있어서,상기 추론 모델이 상기 컬러화된 화면을 생성하는 과정은,상기 복수의 흑백 영상을 획득하여 전역 특성(global feature)을 융합한 밀집 특성(dense feature)을 생성하는 단계;상기 밀집 특성을 인코더에 입력하고, 콘볼루션(convolution)에 기반하는 잔차 생성(residue generation) 기능을 이용하여 상기 밀집 특성이 다운샘플링(down-sampling)된 인코더 출력을 생성하는 단계;상기 잔차 생성 기능을 이용하여 상기 인코더 출력으로부터 병목(bottleneck) 출력을 생성하는 단계;상기 병목 출력을 디코더에 입력하고, 상기 AFT 및 상기 잔차 생성 기능을 이용하여 상기 병목 출력이 업샘플링(up-sampling)된 디코더 출력을 생성하는 단계; 및상기 디코더 출력의 특성을 개선하여 상기 컬러화된 화면을 생성하는 단계 를 포함하는 것을 특징으로 하는 비디오 컬러화 방법
|
| 4 |
4
제9항에 있어서,상기 디코더는,적어도 하나의 RUB(Residual Up Block)와 RSB(Residual Skip Block)의 짝(pair)을 포함하고, 상기 RUB와 RSB의 짝을 이용하여 상기 디코더 출력을 생성하되, 상기 RSB 각각의 후단에 상기 AFT을 수행하는 레이어를 포함하는 것을 특징으로 하는 비디오 컬러화 방법
|
| 5 |
5
제1항에 있어서,상기 분할추출 모델 및 상기 전역특성 추출 모델 각각은,딥러닝 모델로 구현되되, 상기 추론 모델에 대한 학습을 수행하기 전에 기트레이닝되는(pre-trained) 것을 특징으로 하는 비디오 컬러화 방법
|
| 6 |
6
비디오 컬러화 장치의 학습방법에 있어서,ALP(Adaptive Local Parameter) 및 AGP(Adaptive Global Parameter)를 이용하는 적응적 융합 변환(Adaptive Fusion Transform: AFT)에 기반하는, 딥러닝 기반 추론 모델인 생성기를 이용하여 복수의 흑백 영상(multiple black-and-white images)으로부터 컬러화된 화면(colorized frame)을 생성하는 과정;딥러닝 기반 제1 구별기를 이용하여 상기 컬러화된 화면과 GT(Ground Truth) 화면을 구별하는 과정; 딥러닝 기반 제2 구별기를 이용하여 상기 컬러화된 화면이 포함된 복수의 컬러 영상(multiple color image)과 복수의 GT 컬러 영상 간의 시간적 일관성(temporal coherence)을 구별하는 과정; 및상기 생성기, 상기 제1 구별기 및 상기 제2 구별기의 출력을 이용하여 총손실(total loss)을 산정하는 과정을 포함하는 것을 특징으로 하는 학습방법
|
| 7 |
7
제6항에 있어서,상기 복수의 흑백 영상 중의 하나인 지정 화면(indicated frame)으로부터 분할추출 모델을 이용하여 분할 맵(segmentation map)을 추출하고, 딥러닝(deep learning) 기반 ALP 추출부를 이용하여 상기 분할 맵으로부터 상기 ALP를 생성하는 과정; 및상기 지정 화면으로부터 전역특성 추출 모델을 이용하여 전역특성 맵(global feature map)을 추출하고, 딥러닝 기반 AGP 추출부를 이용하여 상기 전역특성 맵으로부터 상기 AGP를 생성하는 과정을 더 포함하는 것을 특징으로 하는 학습방법
|
| 8 |
8
제7항에 있어서, 상기 총손실은,상기 컬러화된 화면과 상기 GT 화면에 대한 상기 제1 구별기의 출력, 상기 복수의 컬러 영상과 상기 복수의 GT 컬러 영상에 대한 상기 제2 구별기의 출력, 및 상기 컬러화된 화면을 기반으로 생성되는 대립적 손실(adversarial loss);상기 컬러화된 화면과 상기 GT 화면에 대하여 상기 제1 구별기가 생성하는 특성 맵(feature map) 간의 차이, 및 상기 복수의 컬러 영상과 상기 복수의 GT 컬러 영상에 대하여 상기 제2 구별기가 생성하는 특성 맵(feature map) 간의 차이에 기반하는 특성 매칭 손실(feature-matching loss); 및상기 컬러화된 화면과 상기 GT 화면 간의 차이에 기반하는 재구성 손실(reconstruction loss)을 포함하는 것을 특징으로 하는 학습방법
|
| 9 |
9
제8항에 있어서, 상기 총손실은, 상기 컬러화된 화면으로부터 생성되는 전역특성 맵과 상기 GT 화면으로부터 생성되는 전역특성 맵에 대한 평균 간의 차이, 및 상기 컬러화된 화면으로부터 생성되는 전역특성 맵과 상기 GT 화면으로부터 생성되는 전역특성 맵에 대한 표준편차의 간의 차이에 기반하는 스타일 손실(style loss);상기 컬러화된 화면으로부터 생성되는 전역특성 맵이 정규화된 맵(normalized map), 및 상기 GT 화면으로부터 생성되는 전역특성 맵이 정규화된 맵 간의 차이에 기반하는 콘텐츠 손실(content loss); 및상기 컬러화된 화면과 상기 GT 화면으로부터 생성되는 전역특성 맵 간의 차이에 기반하는 인지 손실(perceptual loss)을 더 포함하는 것을 특징으로 하는 학습방법
|
| 10 |
10
제8항에 있어서, 상기 총손실은,소벨 연산자(Sobel operator)를 이용하여 산정되는 경계 손실(edge loss)을 포함하되, 상기 경계 손실은 상기 컬러화된 화면과 상기 GT 화면의 경계 맵(edge map) 간의 차이에 기반하는 것을 특징으로 하는 학습방법
|
| 11 |
11
제7항에 있어서, 상기 분할추출 모델 및 상기 전역특성 추출 모델 각각은,딥러닝 기반 신경망(neural network)으로 구현되고, 상기 비디오 컬러화 장치에 대한 학습을 수행하기 전에 기트레이닝되는(pre-trained) 것을 특징으로 하는 학습방법
|
| 12 |
12
제6항에 있어서, 상기 총손실에 포함된 손실 항목의 전부 또는 일부가 감소되는 방향으로 상기 생성기, 상기 제1 구별기 및 상기 제2 구별기 중 적어도 하나의 파라미터를 업데이트하는 과정을 더 포함하는 것을 특징으로 하는 학습방법
|
| 13 |
13
제7항에 있어서,상기 ALP 추출부 및 상기 AGP 추출부 각각은,딥러닝 모델로 구현되고, 상기 생성기, 상기 제1 구별기 및 상기 제2 구별기와 함께 트레이닝되는 것을 특징으로 하는 학습방법
|
| 14 |
14
제1항 내지 제5항 중 어느 한 항에 따른 비디오 컬러화 방법이 포함하는 각 단계를 실행시키기 위하여 컴퓨터로 읽을 수 있는 기록매체에 저장된 컴퓨터프로그램
|
| 15 |
15
제6항 내지 제13항 중 어느 한 항에 따른 비디오 컬러화 장치의 학습방법이 포함하는 각 단계를 실행시키기 위하여 컴퓨터로 읽을 수 있는 기록매체에 저장된 컴퓨터프로그램
|
