| 1 |
1
영상 변환 네트워크를 이용한 영상 처리하는 전자 장치에 있어서, 사용자 단말과 통신하여, 상기 사용자 단말로부터 조도가 임계 레벨 미만인 야간 영상 및 상기 사용자 단말의 카메라에서 촬영된 주간 영상을 입력 받는 통신부; 및상기 야간 영상을 영상 변환 네트워크에 입력하여 조도가 상기 임계 레벨 이상인 주간 영상을 생성하는 제어부를 포함하고,상기 영상 변환 네트워크는, 상기 야간 영상의 크기를 소정의 비율로 줄여 입력 영상을 생성하는 전처리부;상기 입력 영상에 기초하여 조도를 변환하여 제1 주간 영상을 생성하는 주야 변환 네트워크; 및상기 제1 주간 영상에 기초하여 해상도를 변환하여 최종 영상을 생성하는 해상도 변환 네트워크를 포함하고,상기 주야 변환 네트워크는, 상기 입력 영상으로부터 상기 제1 주간 영상을 생성하는 제1 생성자;상기 제1 주간 영상으로부터 제1 야간 영상을 생성하는 제2 생성자; 및상기 제1 주간 영상이 상기 카메라에서 촬영된 주간 영상인지, 아니면 상기 제1 생성자로부터 생성된 영상인지를 판별하는 판별자;를 포함하고,상기 제1 생성자 및 상기 제2 생성자는,상기 제1 주간 영상이 상기 촬영된 영상인지를 판별한 결과를 나타내는 제1 손실 함수 값 및 상기 제1 야간 영상과 상기 입력 영상 간의 차이를 나타내는 제2 손실 함수 값에 기초하여 학습하고,상기 제1 생성자 및 상기 제2 생성자 각각은, 상기 입력 영상으로부터 채널 수를 늘리고 크기를 줄여 입력 값을 생성하고, 다운 샘플링을 수행하는 적어도 하나의 컨볼루션 레이어를 포함하는 인코더;복수의 잔차 블록(residual block)을 포함하고, 각각의 상기 복수의 잔차 블록은 상기 입력 값에 컨볼루션 연산, 인스턴스 정규화(Instance Normalization), ReLU(Rectified Linear Unit) 함수 연산, 컨볼루션 연산 및 인스턴스 정규화를 순서대로 적용한 결과 값과 상기 잔차 블록의 입력 값을 픽셀 단위로 합하도록 구성되는 변환 블록; 및 상기 변환 블록으로부터 전달받은 결과로부터 상기 입력 영상과 크기 및 채널 수가 동일하도록 변환하고, 업 샘플링을 수행하는 적어도 하나의 트랜스포즈(Transpose) 컨볼루션 레이어를 포함하는 디코더;를 포함하고,상기 판별자는, 상기 입력 영상을 복수의 패치로 분할하는 적어도 하나의 다운 샘플링 블록; 및상기 복수의 패치 각각에 대하여 상기 촬영된 영상일 확률 값을 출력하는 확률 블록;을 포함하고,상기 다운 샘플링 블록은,LReLU를 포함하는 제1 블록, LReLU를 포함하는 제2 블록, LReLU를 포함하는 제3 블록 및 LReLU를 포함하는 제4 블록을 포함하고,상기 해상도 변환 네트워크는, 상기 제1 주간 영상으로부터 해상도가 소정의 임계 수준 이상인 제1 고해상도 영상을 생성하는 생성자; 및상기 제1 고해상도 영상이 상기 촬영된 영상인지, 아니면 상기 생성자로부터 생성된 영상인지를 판별하는 판별자;를 포함하는,전자 장치
|
| 2 |
2
삭제
|
| 3 |
3
삭제
|
| 4 |
4
삭제
|
| 5 |
5
삭제
|
| 6 |
6
삭제
|
| 7 |
7
삭제
|
| 8 |
8
제1항에 있어서,상기 제1 고해상도 영상이 상기 카메라에서 촬영된 주간 영상인지를 판별한 결과를 나타내는 제3 손실 함수 값이 도출되는,전자 장치
|
| 9 |
9
제1항에 있어서,상기 제1 주간 영상에 기초하여 제2 야간 영상을 생성하는 추가 생성자를 더 포함하고, 상기 제2 야간 영상과 상기 입력 영상 간의 차이를 나타내는 제4 손실 함수 값이 도출되는,전자 장치
|
| 10 |
10
영상 변환 네트워크의 학습 방법에 있어서, 제어부가, 사용자 단말로부터 조도가 임계 레벨 미만인 야간 영상 및 상기 사용자 단말의 카메라에서 촬영된 주간 영상을 입력 받는 단계;상기 제어부가, 상기 야간 영상 및 상기 사용자 단말의 카메라에서 촬영된 주간 영상을 영상 변환 네트워크에 입력하는 단계;상기 영상 변환 네트워크가, 상기 야간 영상의 크기를 소정의 비율로 줄여 입력 영상을 생성하는 단계;상기 영상 변환 네트워크에 포함된 제1 네트워크가, 상기 입력 영상 및 상기 카메라에서 촬영된 주간 영상에 기초하여 조도가 상기 임계 레벨 미만인 야간 영상으로부터 조도가 상기 임계 레벨 이상인 주간 영상을 생성하는 방법을 학습하고 제1 주간 영상을 생성하는 단계;상기 영상 변환 네트워크에 포함된 제2 네트워크가, 상기 제1 주간 영상 및 상기 카메라에서 촬영된 주간 영상에 기초하여 해상도가 임계 수준 미만인 저해상도 영상으로부터 해상도가 상기 임계 수준 이상인 고해상도 영상을 생성하는 방법을 학습하고 제1 고해상도 영상을 생성하는 단계; 및상기 제1 네트워크 및 상기 제2 네트워크가, 상기 제1 고해상도 영상에 기초하여 학습하는 단계를 포함하고,상기 주간 영상을 생성하는 방법을 학습하고 제1 주간 영상을 생성하는 단계는, 제1 생성자가 상기 입력 영상에 기초하여 상기 제1 주간 영상을 생성하는 단계; 판별자가, 상기 제1 주간 영상이 상기 카메라에서 촬영된 주간 영상인지를 판별하는 단계; 제2 생성자가, 상기 제1 주간 영상에 기초하여 제1 야간 영상을 생성하는 단계; 및상기 판별자가 판별한 결과를 나타내는 제1 손실 함수 값 및 상기 제1 야간 영상과 상기 입력 영상 간의 차이를 나타내는 제2 손실 함수 값에 기초하여, 상기 제1 생성자 및 상기 제2 생성자가 학습하는 단계;를 포함하고,상기 제1 생성자 및 상기 제2 생성자 각각은, 상기 입력 영상으로부터 채널 수를 늘리고 크기를 줄여 입력 값을 생성하고, 다운 샘플링을 수행하는 적어도 하나의 컨볼루션 레이어를 포함하는 인코더;복수의 잔차 블록(residual block)을 포함하고, 각각의 상기 복수의 잔차 블록은 상기 입력 값에 컨볼루션 연산, 인스턴스 정규화(Instance Normalization), ReLU(Rectified Linear Unit) 함수 연산, 컨볼루션 연산 및 인스턴스 정규화를 순서대로 적용한 결과 값과 상기 잔차 블록의 입력 값을 픽셀 단위로 합하도록 구성되는 변환 블록; 및 상기 변환 블록으로부터 전달받은 결과로부터 상기 입력 영상과 크기 및 채널 수가 동일하도록 변환하고, 업 샘플링을 수행하는 적어도 하나의 트랜스포즈(Transpose) 컨볼루션 레이어를 포함하는 디코더;를 포함하고,상기 판별자는, 상기 입력 영상을 복수의 패치로 분할하는 적어도 하나의 다운 샘플링 블록; 및상기 복수의 패치 각각에 대하여 상기 촬영된 영상일 확률 값을 출력하는 확률 블록;을 포함하고,상기 다운 샘플링 블록은,LReLU를 포함하는 제1 블록, LReLU를 포함하는 제2 블록, LReLU를 포함하는 제3 블록 및 LReLU를 포함하는 제4 블록을 포함하고,상기 고해상도 영상을 생성하는 방법을 학습하고 제1 고해상도 영상을 생성하는 단계는, 생성자가 상기 제1 주간 영상에 기초하여 상기 제1 고해상도 영상을 생성하는 단계; 및판별자가, 상기 제1 고해상도 영상이 상기 촬영된 영상인지를 판별하는 단계;를 포함하는,학습 방법
|
| 11 |
11
삭제
|
| 12 |
12
제10항에 있어서,상기 고해상도 영상을 생성하는 방법을 학습하고 제1 고해상도 영상을 생성하는 단계는, 상기 판별자가 판별한 결과를 나타내는 제3 손실 함수 값에 기초하여, 상기 생성자가 학습하는 단계를 포함하는, 학습 방법
|
| 13 |
13
제10항에 있어서,상기 제1 고해상도 영상에 기초하여 학습하는 단계는, 추가 생성자가, 상기 제1 고해상도 영상에 기초하여 제3 야간 영상을 생성하는 단계;상기 제1 네트워크가 포함하는 두 생성자 중 제1 생성자, 상기 제2 네트워크가 포함하는 생성자, 및 상기 추가 생성자가, 상기 제3 야간 영상과 상기 입력 영상의 간의 차이를 나타내는 제4 손실 함수 값에 기초하여 학습하는 단계를 포함하는, 학습 방법
|
