| 1 |
1
GAN(Generative Adversarial Network) 기반의 모델을 이용하여 흑백 이미지를 컬러링하기 위한 전자 장치에 있어서,프로세서를 포함하고,상기 프로세서는,휘도 채널(luminance channel)에 관한 제1 정보만 포함하는 흑백 이미지를 획득하고, 및상기 흑백 이미지를 상기 GAN 기반의 모델에 적용함으로써, 색차 채널(chrominance channel)에 관한 제2 정보만 포함하는 슈도 컬러 이미지(pseudo color image)를 생성하도록 설정되고,상기 GAN 기반의 모델은, 인코더 네트워크(encoder network) 및 생성기 네트워크(generator network)를 포함하는 색상화 네트워크(colorization network)를 포함하고,상기 색상화 네트워크는, 상기 인코더 네트워크를 이용하여 상기 흑백 이미지에 대응하는 잠재 공간(latent space)을 형성하고, 상기 생성기 네트워크를 이용하여 상기 잠재 공간으로부터 상기 슈도 컬러 이미지를 생성하고,상기 인코더 네트워크는 복수의 레이어들 및 상기 복수의 레이어들 사이에 구현된 어텐션 모듈(attention module)을 포함하고,상기 어텐션 모듈은 상기 인코더 네트워크 내의 컨볼루션 레이어의 출력을 입력 받아 생성된 출력을, (i) 상기 컨볼루션 레이어의 다음 레이어인 맥스 풀 레이어(max pool layer) 및 (ii) 상기 생성기 네트워크 내에서 상기 어텐션 모듈에 대응하는 연결 레이어(concatenation layer)로 전달하는,전자 장치
|
| 2 |
2
제1 항에 있어서,상기 인코더 네트워크는, GAN inversion 인코더 네트워크인, 전자 장치
|
| 3 |
3
제2 항에 있어서,상기 잠재 공간(latent space)은, 특징 벡터(feature vector)가 아닌, 16x16의 특징 매트릭스(feature matrix)인,전자 장치
|
| 4 |
4
제3 항에 있어서,상기 어텐션 모듈은 channel attention과 spatial attention을 직렬로 구성하는 CBAM(Convolutional Block Attention Module)인,전자 장치
|
| 5 |
5
제4 항에 있어서,상기 GAN 기반의 모델은 pixel wise(L1) 손실 함수(LL1), VGG 손실 함수(LVGG), 및 WGAN 손실 함수(Lwgan)를 모두 고려한 총 손실(Ltotal)을 이용하여 훈련되고, 상기 pixel wise(L1) 손실 함수(LL1), 상기 VGG 손실 함수(LVGG), 상기 WGAN 손실 함수(Lwgan), 및 상기 총 손실(Ltotal)은 하기의 [수학식 1]에 의하여 산출되는,전자 장치
|
| 6 |
6
제5 항에 있어서,상기 프로세서는,상기 GAN 기반 모델을 통하여 상기 흑백 이미지와 상기 슈도 컬러 이미지를 합성함으로써, 최종 컬러 이미지를 생성하도록 설정된,전자 장치
|
