| 1 |
1
프로세서, 상기 프로세서에 의해 실행되는 프로그램을 저장하는 메모리 및 영상 촬영 장치에서 촬영된 입력 영상을 수신하는 영상 수신부를 포함하는 영상 개선 학습 장치의 영상 개선 방법에 있어서,상기 프로세서가,다수의 채널 각각에 대한 채널 영상을 포함하는 상기 입력 영상을 입력 받는 단계;상기 채널 영상을 컨볼루션 연산하여 필터링하는 입력 레지듀얼 블록(Resblock)을 이용하여 영상 개선을 위한 다수의 제1 특징 맵을 추출하는 단계;상기 추출된 다수의 제1 특징 맵을 서로 결합하여 통합 특징 맵을 생성하는 단계;상기 통합 특징 맵을 컨볼루션 연산하여 필터링하는 출력 레지듀얼 블록을 이용하여 제2 특징 맵을 생성하고, 상기 제2 특징 맵을 통해 상기 입력 영상의 왜곡이 개선된 출력 영상을 생성하는 단계;상기 입력 영상, 상기 출력 영상 및 상기 입력 영상의 좌표 도메인을 이용하여 손실 함수를 계산하는 단계; 및상기 손실 함수를 통해 오차를 최소화하기 위한 가중치를 재설정하는 단계를 포함하는 영상 개선 방법
|
| 2 |
2
제1항에 있어서,상기 영상 개선을 위한 다수의 제1 특징 맵을 추출하는 단계는,학습 시 상기 입력 영상의 영향력이 점차 사라지는 현상을 방지하기 위해 다수의 컨볼루션 레이어로 구성된 상기 입력 레지듀얼 블록을 이용하며,상기 입력 레지듀얼 블록의 입력과 상기 다수의 컨볼루션 레이어의 결과의 합으로 상기 제1 특징 맵을 추출하는 것을 특징으로 하는 영상 개선 방법
|
| 3 |
3
제2항에 있어서,상기 영상 개선을 위한 다수의 제1 특징 맵을 추출하는 단계는,상기 입력 영상에 대하여 제1 컨볼루션 연산을 수행함에 따라 컨볼루션 맵을 생성하는 단계;상기 컨볼루션 레이어의 가중치 매개변수가 변화함에 따라 활성화 함수 출력 값의 분포가 변화하는 내부 공변량 변화를 줄이기 위해 상기 출력 값을 정규화하는 단계;상기 생성된 컨볼루션 맵을 기 설정된 함수에 따라 매핑하는 단계; 및상기 매핑된 컨볼루션 맵에 대하여 제2 컨볼루션 연산을 수행함에 따라 상기 제1 특징 맵을 생성하는 단계를 포함하는 영상 개선 방법
|
| 4 |
4
제1항에 있어서,상기 출력 영상을 생성하는 단계는,상기 통합 특징 맵에 대하여 컨볼루션 연산을 수행함에 따라 컨볼루션 출력 맵을 생성하는 단계;컨볼루션 레이어의 가중치 매개변수가 변화함에 따라 활성화 함수 출력 값의 분포가 변화하는 내부 공변량 변화를 줄이기 위해 상기 출력 값을 정규화하는 단계;상기 생성된 컨볼루션 출력 맵을 기 설정된 함수에 따라 매핑하는 단계; 및상기 컨볼루션 출력 맵에 대하여 컨볼루션 연산을 수행함에 따라 제2 특징 맵을 생성하며, 상기 제2 특징 맵을 통해 상기 출력 영상을 생성하는 단계를 포함하는 영상 개선 방법
|
| 5 |
5
삭제
|
| 6 |
6
제1항에 있어서,상기 손실 함수를 계산하는 단계는,상기 출력 영상에 대한 그래디언트 크기의 합으로 형성된 상기 출력 영상의 구조텐서와 상기 입력 영상에 대한 그래디언트 크기의 합으로 형성된 상기 입력 영상의 구조텐서의 차이를 통해 제1 손실 함수를 계산하는 단계; 및상기 출력 영상과 상기 입력 영상의 평균 영상의 차이를 통해 제2 손실 함수를 계산하는 단계를 포함하는 영상 개선 방법
|
| 7 |
7
제6항에 있어서,상기 영상 개선을 위한 다수의 제1 특징 맵을 추출하는 단계는 상기 입력 레지듀얼 블록에 입력되는 다수의 채널 영상 간의 상기 가중치를 공유하며, 손실 함수를 이용하여 상기 가중치를 재 설정하는 것을 특징으로 하는 영상 개선 방법
|
| 8 |
8
제7항에 있어서,상기 출력 영상을 생성하는 단계는 상기 가중치를 재설정하는 단계를 통해 상기 가중치를 조절하여,상기 입력 영상의 채널 별로 서로 다른 객체 정보를 결합하는 단계;상기 입력 영상의 각 채널의 서로 다른 초점 정보를 조합하여 상기 입력 영상의 초점을 개선하는 단계;상기 입력 영상의 각 채널의 서로 다른 노출 정보를 조합하여 노출에 의해 사라진 부분을 복원하는 단계; 및상기 입력 영상의 각 채널의 서로 다른 객체 정보를 조합하여 대조비를 개선하는 단계 중 하나를 수행하여 상기 입력 영상의 왜곡을 개선하는 것을 특징으로 하는 영상 개선 방법
|
| 9 |
9
다수의 채널 각각에 대한 채널 영상을 포함하는 입력 영상을 입력 받는 입력부;상기 채널 영상을 컨볼루션 연산하여 필터링하는 입력 레지듀얼 블록(Resblock)을 이용하여 영상 개선을 위한 다수의 제1 특징 맵을 추출하는 특징 맵 추출부;상기 추출된 다수의 제1 특징 맵을 서로 결합하여 통합 특징 맵을 생성하는 특징 맵 결합부;상기 통합 특징 맵을 컨볼루션 연산하여 필터링하는 출력 레지듀얼 블록을 이용하여 제2 특징 맵을 생성하고, 상기 제2 특징 맵을 통해 상기 입력 영상의 왜곡이 개선된 출력 영상을 생성하는 영상 생성부;상기 입력 영상, 상기 출력 영상 및 상기 입력 영상의 좌표 도메인을 이용하여 손실 함수를 계산하는 손실 함수 계산부; 및상기 손실 함수를 통해 오차를 최소화하기 위한 가중치를 설정하는 가중치 재 설정부를 포함하는 영상 개선 학습 장치
|
| 10 |
10
제9항에 있어서,상기 특징 맵 추출부는,상기 입력 영상에 대하여 제1 컨볼루션 연산을 수행함에 따라 컨볼루션 맵을 생성하는 제1 컨볼루션 필터;컨볼루션 레이어의 가중치 매개변수가 변화함에 따라 활성화 함수 출력 값의 분포가 변화하는 내부 공변량 변화를 줄이기 위해 상기 출력 값을 정규화하는 제1 정규화부;상기 생성된 컨볼루션 맵을 기 설정된 함수에 따라 매핑하는 제1 함수 매핑부; 및상기 매핑된 컨볼루션 맵에 대하여 제2 컨볼루션 연산을 수행함에 따라 상기 제1 특징 맵을 생성하는 제2 컨볼루션 필터를 포함하는 영상 개선 학습 장치
|
| 11 |
11
제9항에 있어서,상기 영상 생성부는,상기 통합 특징 맵에 대하여 컨볼루션 연산을 수행함에 따라 컨볼루션 출력 맵을 생성하는 제3 컨볼루션 필터;컨볼루션 레이어의 가중치 매개변수가 변화함에 따라 활성화 함수 출력 값의 분포가 변화하는 내부 공변량 변화를 줄이기 위해 상기 출력 값을 정규화하는 제2 정규화부; 및상기 생성된 컨볼루션 출력 맵을 기 설정된 함수에 따라 매핑하는 제2 함수 매핑부를 포함하며,상기 영상 생성부는 상기 컨볼루션 출력 맵에 대하여 컨볼루션 연산을 수행함에 따라 제2 특징 맵을 생성하며, 상기 제2 특징 맵을 통해 상기 출력 영상을 생성하는 것을 특징으로 하는 영상 개선 학습 장치
|
| 12 |
12
삭제
|
| 13 |
13
제9항에 있어서,상기 손실 함수 계산부는,(i) 상기 출력 영상에 대한 그래디언트 크기의 합으로 형성된 상기 출력 영상의 구조텐서와 상기 입력 영상에 대한 그래디언트 크기의 합으로 형성된 상기 입력 영상의 구조텐서의 차이를 통해 제1 손실 함수 및 (ii) 상기 출력 영상과 상기 입력 영상의 평균 영상의 차이를 최소화하는 제2 손실 함수를 계산하는 것을 특징으로 하는 영상 개선 학습 장치
|
