| 1 |
1
무잡음 영상을 생성하기 위한 장치에 있어서, 기 설정된 속성 영역을 포함하는 입력 이미지로부터 기 설정된 속성 영역을 나타내는 주목형 특징(AF: Attention Feature)을 추출하여 주목형 특징 이미지를 생성하는 주목형서브망의 단일 채널로 이루어지는 인코더와, 상기 주목형 특징 이미지를 기초로 기 설정된 속성 영역이 제거된 배경 이미지를 생성하는 배경서브망과 상기 주목형 특징 이미지를 기초로 기 설정된 속성 영역을 기 설정된 속성이 없을 때의 상태로 복원한 세부 이미지를 생성하는 세부서브망을 포함하는 2개의 채널의 디코더와, 상기 배경 이미지 및 상기 세부 이미지를 결합하여 복원 이미지를 도출하는 결합부로 이루어진 심층신경망을 포함하는 영상처리부;를 포함하되,상기 주목형서브망은 복수의 컨벌루션층을 포함하며, 상기 복수의 컨벌루션층을 통해 상기 입력 이미지를 축소하면서 상기 입력 이미지의 특징을 추출하여 축소특징 이미지를 생성하는 축소특징추출모듈; 및 복수의 주목형복합잔차블록을 포함하며, 상기 복수의 주목형복합잔차블록을 통해 상기 축소특징 이미지로부터 기 설정된 속성 영역을 나타내는 주목형 특징을 추출하여 주목형 특징 이미지를 생성하는 주목형특징추출모듈;를 포함하는 것을 특징으로 하는 무잡음 영상을 생성하기 위한 장치
|
| 2 |
2
삭제
|
| 3 |
3
제1항에 있어서, 상기 주목형복합잔차블록은 주입력 및 제1 잔차 입력을 입력받고 잔차 출력을 출력하는 제1 스테이지와 상기 잔차 출력 및 제2 잔차 입력을 입력받고 주출력을 출력하는 제2 스테이지를 포함하며, 상기 제1 스테이지는 순차로 연결된 제1 잔차망모듈, 제1 배치정규화모듈 및 제1 결합모듈을 포함하며, 상기 제2 스테이지는 순차로 연결된 주목형잔차망모듈, 제2 잔차망모듈, 제2 배치정규화모듈 및 제2 결합모듈을 포함하며, 상기 주입력은 상기 제1 잔차망에 입력되고, 상기 제1 잔차 입력은 상기 제1 결합모듈에 입력되고, 상기 제1 스테이지의 출력인 상기 잔차 출력은 상기 주입력에 대한 상기 제1 잔차망모듈 및 상기 제1 배치정규화모듈의 연산 결과와 상기 제1 잔차 입력의 결합이고, 상기 제2 잔차 입력은 상기 제2 결합모듈에 입력되고, 상기 주출력은 상기 잔차 출력에 대한 상기 주목형잔차망모듈, 상기 제2 잔차망모듈 및 상기 제2 배치정규화모듈의 연산 결과와 상기 제2 잔차 입력의 결합인 것을 특징으로 하는 무잡음 영상을 생성하기 위한 장치
|
| 4 |
4
제1항에 있어서, 상기 복수의 주목형복합잔차블록은 순차로 연결되는 제1 주목형복합잔차블록(ACRB1), 제2 주목형복합잔차블록(ACRB2) 및 제3 주목형복합잔차블록(ACRB3)을 포함하며, 상기 제1 주목형복합잔차블록(ACRB1), 상기 제2 주목형복합잔차블록(ACRB2) 및 상기 제3 주목형복합잔차블록(ACRB3) 각각은 주입력, 제1 잔차 입력 및 제2 잔차 입력을 입력받고, 주출력 및 잔차 출력을 출력하되, 상기 제1 잔차 입력은 상기 제1 주목형복합잔차블록(ACRB1)의 경우, 상기 주입력과 동일하며, 상기 제2 주목형복합잔차블록(ACRB2)의 경우, 상기 제1 주목형복합잔차블록(ACRB1)의 상기 잔차 출력이고, 상기 제3 주목형복합잔차블록(ACRB3)의 경우, 상기 제2 주목형복합잔차블록(ACRB2)의 상기 잔차 출력이고, 상기 제2 잔차 입력은 상기 제1 주목형복합잔차블록(ACRB1), 상기 제2 주목형복합잔차블록(ACRB2) 및 상기 제3 주목형복합잔차블록(ACRB3) 모두 상기 주입력과 동일한 것을 특징으로 하는 무잡음 영상을 생성하기 위한 장치
|
| 5 |
5
제1항에 있어서, 상기 주목형복합잔차블록은 적어도 하나의 잔차망모듈을 포함하며, 상기 잔차망모듈은 입력에 대해 1x1 컨벌루션 연산을 수행하여 입력 특징을 산출한 후, 산출된 입력 특징을 복수의 서브 입력 특징으로 분할하는 입력컨벌루션층; 상기 복수의 서브 입력 특징 각각에 대해 선택적으로 3x3 컨벌루션 연산을 수행하여 복수의 서브 출력 특징을 생성하되, 복수의 서브 출력 특징 중 일부를 잔차 입력으로 상기 3x3 컨벌루션 연산을 수행하여 상기 복수의 서브 입력 특징 각각에 대응하는 복수의 서브 출력 특징을 생성하는 구분컨벌루션층; 및 상기 복수의 서브 출력 특징 모두에 대해 1x1 컨벌루션 연산을 수행하여 출력 특징을 산출하는 출력컨벌루션층을 포함하는 것을 특징으로 하는 무잡음 영상을 생성하기 위한 장치
|
| 6 |
6
제5항에 있어서, 상기 3x3 컨벌루션 연산은 수학식 에 따라 수행되며, 상기 xi는 서브 입력 특징이고, 상기 yi는 서브 출력 특징이고, 상기 i는 서브 입력 특징 및 서브 출력 특징의 인덱스이고, 상기 s는 인덱스의 최대값인 것을 특징으로 하는 무잡음 영상을 생성하기 위한 장치
|
| 7 |
7
제1항에 있어서, 상기 주목형복합잔차블록은 적어도 하나의 주목형잔차망모듈을 포함하며, 상기 주목형잔차망모듈은 입력에 대해 1x1 컨벌루션 연산을 수행하여 입력 특징을 산출한 후, 산출된 입력 특징을 복수의 서브 입력 특징으로 분할하는 입력컨벌루션층; 3x3 컨벌루션 연산을 통해 복수의 서브 출력 특징을 생성하는 복수의 서브 출력 특징을 생성하는 구분컨벌루션층; 및 상기 복수의 서브 출력 특징에 대해 1x1 컨벌루션 연산을 수행하여 출력 특징을 산출하는 출력컨벌루션층; 및 상기 출력 특징을 복수의 채널로 구분하고, 상기 구분된 복수의 채널 간 상호 의존도(inter-dependency)에 따라 상기 구분된 복수의 채널 각각의 집중도(attention)를 산출하고, 산출된 집중도를 해당 채널에 적용하는 압축활성블록;을 포함하는 무잡음 영상을 생성하기 위한 장치
|
| 8 |
8
제7항에 있어서, 상기 압축활성블록은 상기 출력 특징을 소정의 높이(H)와 폭(W)을 가지는 복수의 채널(C)을 가지는 특징 지도로 변환하는 변환입력층; 상기 특징 지도의 상기 복수의 채널(C) 각각을 대표하는 채널 디스크립터를 생성하는 압축층; 상기 복수의 채널 각각의 상기 채널 디스크립터에 대한 복수의 연산을 통해 상기 복수의 채널 각각의 다른 채널과의 의존의 정도를 표현하는 주목도를 산출하는 활성층; 및 상기 주목도를 상기 복수의 채널 각각에 적용하여 상기 특징 지도의 상기 복수의 채널(C) 각각에 상기 집중도를 적용하여 출력하는 집중출력층;을 포함하는 것을 특징으로 하는 무잡음 영상을 생성하기 위한 장치
|
| 9 |
9
제1항에 있어서, 상기 복수의 컨볼루션층은 순차로 연결된 제1 컨벌루션층, 제2 컨벌루션층 및 제3 컨벌루션층을 포함하며, 상기 제1 컨벌루션층, 상기 제2 컨벌루션층 및 상기 제3 컨벌루션층 각각은 가중치가 적용되는 컨볼루션 연산, 배치정규화(batch normalization) 연산 및 정류선형장치(ReLU: rectified linear unit) 연산을 포함하며, 상기 제1 컨벌루션층, 상기 제2 컨벌루션층 및 상기 제3 컨벌루션층 각각의 필터 크기는 3x3이며, 상기 제1 컨벌루션층의 깊이는 64이고, 상기 제2 컨벌루션층의 깊이는 128이고, 상기 제3 컨벌루션층의 깊이는 128인 것을 특징으로 하는 무잡음 영상을 생성하기 위한 장치
|
| 10 |
10
제9항에 있어서, 상기 제3 컨벌루션층의 축소 특징 이미지의 크기가 상기 입력 이미지의 1/4이 되도록 상기 제2 컨벌루션층 및 상기 제3 컨벌루션층의 상기 컨벌루션 연산의 스트라이드(stride)를 2로 설정되는 것을 특징으로 하는 을 포함하는 것을 특징으로 하는 무잡음 영상을 생성하기 위한 장치
|
| 11 |
11
제1항에 있어서, 상기 배경서브망은 복수의 디컨벌루션층 및 결합기를 포함하며, 상기 복수의 디컨벌루션층 통해 디컨벌루션 연산을 수행하여 상기 입력 이미지와 동일한 크기로 상기 주목형 특징 이미지를 확장하고, 상기 결합기를 통해 상기 확장된 주목형 특징 이미지를 상기 입력 이미지와 결합하는 특징확장모듈; 및 복수의 컨벌루션층을 포함하며, 상기 복수의 컨벌루션층을 통해 상기 입력 이미지와 결합된 주목형 특징 이미지에 대해 컨벌루션 연산을 수행하여 상기 입력 이미지에서 상기 기 설정된 속성 영역이 제거된 배경 이미지를 도출하는 배경복원모듈; 을 포함하는 것을 특징으로 하는 무잡음 영상을 생성하기 위한 장치
|
| 12 |
12
제1항에 있어서, 상기 세부서브망은 주목형서브망의 출력인 주목형 특징 이미지를 입력받아 주목형 특징 이미지로부터 기 설정된 속성 영역을 식별하는 복수의 복합잔차블록을 포함하는 특징식별모듈; 및 교번으로 반복되는 복수의 디컨벌루션층과 복수의 컨벌루션층을 포함하며, 상기 입력 이미지의 상기 기 설정된 속성 성분 영역에서 기 설정된 속성을 제거하고 기 설정된 속성이 없는 상태로 세부 성분을 재구성하는 세부복원모듈;을 포함하는 것을 특징으로 하는 무잡음 영상을 생성하기 위한 장치
|
| 13 |
13
제12항에 있어서, 상기 복합잔차블록은 주입력 및 제1 잔차 입력을 입력받고 잔차 출력을 출력하는 제1 스테이지와 상기 잔차 출력 및 제2 잔차 입력을 입력받고 주출력을 출력하는 제2 스테이지를 포함하며, 상기 제1 스테이지는 순차로 연결된 제1 잔차망모듈(RE21), 제2 잔차망모듈(RE22), 제1 배치정규화모듈(BN21) 및 제1 결합모듈(AG21)를 포함하며, 상기 제2 스테이지는 순차로 연결된 제3 잔차망모듈(RE23), 제2 배치정규화모듈(BN22) 및 제2 결합모듈(AG22)을 포함하며, 상기 주입력은 상기 제1 잔차망모듈(RE21)에 입력되고, 상기 제1 잔차 입력은 상기 제1 결합모듈(AG21)에 입력되고, 상기 제1 스테이지의 출력인 상기 잔차 출력은 상기 주입력에 대한 상기 제1 잔차망모듈(RE21) 및 상기 제1 배치정규화모듈(BN21)의 연산 결과와 상기 제1 잔차 입력의 결합이고, 상기 제2 잔차 입력은 상기 제2 결합모듈(AG22)에 입력되고, 상기 주출력은 상기 잔차 출력에 대한 상기 제3 잔차망모듈(RE23), 상기 제2 배치정규화모듈(BN22)의 연산 결과와 상기 제2 잔차 입력의 결합인 것을 특징으로 하는 무잡음 영상을 생성하기 위한 장치
|
| 14 |
14
제12항에 있어서, 상기 복수의 복합잔차블록은 순차로 연결되는 제1 복합잔차블록(CRB1), 제2 복합잔차블록(CRB2), 제3 복합잔차블록(CRB3), 제4 복합잔차블록(CRB4) 및 제5 복합잔차블록(CRB5)을 포함하며, 상기 제1 복합잔차블록(CRB1), 상기 제2 복합잔차블록(CRB2), 상기 제3 복합잔차블록(CRB3), 상기 제4 복합잔차블록(CRB4) 및 상기 제5 복합잔차블록(CRB5) 각각은 주입력, 제1 잔차 입력 및 제2 잔차 입력을 입력받고, 주출력 및 잔차 출력을 출력하되, 상기 제1 잔차 입력은 상기 제1 복합잔차블록(CRB1)의 경우, 상기 주입력과 동일하며, 상기 제2 복합잔차블록(CRB2)의 경우, 상기 제1 복합잔차블록(CRB1)의 상기 잔차 출력이고, 상기 제3 복합잔차블록(CRB3)의 경우, 상기 제2 복합잔차블록(CRB2)의 상기 잔차 출력이고, 상기 제4 복합잔차블록(CRB4)의 경우, 상기 제3 복합잔차블록(CRB3)의 상기 잔차 출력이고, 상기 제5 복합잔차블록(CRB5)의 경우, 상기 제4 복합잔차블록(CRB4)의 상기 잔차 출력이고, 상기 제2 잔차 입력은 상기 제1 복합잔차블록(CRB1), 상기 제2 복합잔차블록(CRB2), 상기 제3 복합잔차블록(CRB3), 상기 제4 복합잔차블록(CRB4) 및 상기 제5 복합잔차블록(CRB5) 모두 상기 주입력과 동일한 것을 특징으로 하는 무잡음 영상을 생성하기 위한 장치
|
| 15 |
15
제12항에 있어서, 기 설정된 속성 영역이 없는 검증(GT: Ground Truth) 이미지에 대응하여 기 설정된 속성 영역을 포함하는 학습용 입력 이미지를 상기 심층신경망에 입력하고, 상기 심층신경망이 상기 학습용 입력 이미지에 대해 복수의 계층 간 가중치가 적용되는 복수의 연산을 통해 배경 이미지 및 세부 이미지를 생성하고, 배경 이미지 및 세부 이미지를 결합하여 복원 이미지를 생성하면, 상기 배경 이미지와 상기 검증 이미지와의 차이를 통해 도출되는 평균 제곱 오차 손실, 상기 복원 이미지와 상기 검증 이미지와의 차이를 통해 도출되는 구조유사지수(SSIM: structured similarity index) 손실 및 L1-norm 손실이 최소가 되도록 상기 심층신경망의 가중치를 수정하는 학습부;를 더 포함하는 것을 특징으로 하는 무잡음 영상을 생성하기 위한 장치
|
| 16 |
16
제15항에 있어서, 상기 학습부는 수학식 를 통해 상기 평균 제곱 오차 손실을 산출하며, 상기 BC는 배경 이미지이고, 상기 GT는 검증 이미지이고, 상기 N은 학습용 입력 이미지의 수인 것을 특징으로 하는 무잡음 영상을 생성하기 위한 장치
|
| 17 |
17
제15항에 있어서, 상기 학습부는 수학식 를 통해 상기 L1-norm 손실을 산출하며, 상기 R은 복원 이미지이고, 상기 GT는 검증 이미지이고, 상기 N은 학습용 입력 이미지의 수인 것을 특징으로 하는 무잡음 영상을 생성하기 위한 장치
|
| 18 |
18
제15항에 있어서, 상기 학습부는 수학식 를 통해 상기 구조유사지수 손실을 산출하며, 상기 R은 복원 이미지이고, 상기 GT는 검증 이미지이고, 을 특징으로 하는 무잡음 영상을 생성하기 위한 장치
|
| 19 |
19
무잡음 영상을 생성하기 위한 방법에 있어서, 심층신경망의 인코더가 단일 채널 상의 주목형서브망을 통해 기 설정된 속성 영역을 포함하는 입력 이미지로부터 기 설정된 속성 영역을 나타내는 주목형 특징을 추출하여 주목형 특징 이미지를 생성하는 단계; 상기 심층신경망의 디코더가 2개의 채널 중 제1 채널 상에서 배경서브망을 통해 상기 주목형 특징 이미지를 기초로 기 설정된 속성이 제거된 배경 이미지를 생성하는 동시에 제2 채널 상에서 세부서브망을 통해 상기 주목형 특징 이미지를 기초로 기 설정된 속성 영역을 기 설정된 속성이 없을 때의 상태로 복원한 세부 이미지를 생성하는 단계; 상기 심층신경망의 결합부가 상기 배경 이미지 및 상기 세부 이미지를 결합하여 복원 이미지를 출력하는 단계;를 포함하되,상기 주목형서브망은 복수의 컨벌루션층을 포함하며, 상기 복수의 컨벌루션층을 통해 상기 입력 이미지를 축소하면서 상기 입력 이미지의 특징을 추출하여 축소특징 이미지를 생성하고,복수의 주목형복합잔차블록을 포함하며, 상기 복수의 주목형복합잔차블록을 통해 상기 축소특징 이미지로부터 기 설정된 속성 영역을 나타내는 주목형 특징을 추출하여 주목형 특징 이미지를 생성하는 것을 특징으로 하는 무잡음 영상을 생성하기 위한 방법
|
| 20 |
20
제19항에 있어서, 상기 주목형 특징 이미지를 생성하는 단계 전, 학습부가 기 설정된 속성 영역이 없는 검증(GT: Ground Truth) 이미지에 대응하여 기 설정된 속성 영역을 포함하는 학습용 입력 이미지를 마련하는 단계; 상기 학습부가 상기 학습용 입력 이미지를 상기 심층신경망에 입력하면, 상기 심층신경망이 상기 학습용 입력 이미지에 대해 복수의 계층 간 가중치가 적용되는 복수의 연산을 통해 배경 이미지 및 세부 이미지를 생성하고, 배경 이미지 및 세부 이미지를 결합하여 복원 이미지를 생성하는 단계; 및 상기 학습부가 상기 배경 이미지와 상기 검증 이미지와의 차이를 통해 도출되는 평균 제곱 오차 손실, 상기 복원 이미지와 상기 검증 이미지와의 차이를 통해 도출되는 구조유사지수(SSIM: structured similarity index) 손실 및 L1-norm 손실이 최소가 되도록 상기 심층신경망의 가중치를 수정하는 단계;를 더 포함하는 것을 특징으로 하는 무잡음 영상을 생성하기 위한 방법
|
