| 1 |
1
입력 영상에 기반한 공간적 정보와 상기 입력 영상의 히스토그램(histogram)에 기반한 통계적 특성 정보를 이용하여 다중 변환 함수를 추정하는 변환함수 추정부;상기 추정된 다중 변환 함수의 픽셀 단위 가중치를 생성하고, 상기 생성된 픽셀 단위 가중치에 기반하여 가중치맵을 생성하는 가중치맵 생성부; 및상기 입력 영상을 상기 다중 변환 함수 각각으로 화소값 변환한 영상과 상기 생성된 가중치맵의 가중합으로 상기 입력 영상으로부터 개선 영상을 획득하는 개선 영상 획득부를 포함하는 것을 특징으로 하는영상 개선 장치
|
| 2 |
2
제1항에 있어서,상기 변환함수 추정부는 상기 입력 영상으로부터 특징맵을 추출하고, 컨볼루션(Conv) 블록을 이용하여 상기 추출된 특징맵의 채널을 확장하며, 복수의 SFC(self-fusion convolution) 블록을 이용하여 상기 특징맵의 해상도를 줄이고 채널 수를 증가시키고, 평균 풀링(average pooling) 블록을 이용하여 특정 크기를 가진 제1 특징맵을 생성하는 것을 특징으로 하는영상 개선 장치
|
| 3 |
3
제2항에 있어서,상기 변환함수 추정부는 복수의 SHFE(self-fusion histogram feature extraction) 블록을 이용하여 상기 히스토그램의 제2 특징맵을 추출하고, 상기 제1 특징맵과 상기 제2 특징맵을 결합하여 상기 통계적 특성 정보가 고려된 제3 특징맵을 생성하며, 잔류 어텐션 메커니즘(residual attention mechanism)에 따라 상기 제3 특징맵을 상기 제1 특징맵의 어텐션 특징맵으로 작용하여 제4 특징맵을 생성하는 것을 특징으로 하는 영상 개선 장치
|
| 4 |
4
제3항에 있어서,상기 변환함수 추정부는 상기 생성된 제4 특징맵을 복수의 브랜치 각각으로 전달하고, 상기 복수의 브랜치 각각에서 상기 입력 영상의 특정 채널에 있는 특정 픽셀에 대한 변환함수를 추정하여 상기 다중 변환 함수를 추정하는 것을 특징으로 하는영상 개선 장치
|
| 5 |
5
제1항에 있어서,상기 가중치맵 생성부는 상기 입력 영상과 상기 다중 변환 함수 각각으로 화소값 변환한 영상을 이용하여 상기 변환한 영상에 적용되는 가중치를 출력하여 상기 공간적 정보를 고려한 변환함수 조합으로 상기 가중치맵을 생성하는 것을 특징으로 하는영상 개선 장치
|
| 6 |
6
제1항에 있어서,상기 개선 영상 획득부는 하기 수학식 3를 이용하여 원소 단위 가중합으로 상기 가중합을 획득하고, 상기 획득된 가중합에 따라 상기 입력 영상으로부터 상기 개선 영상을 획득하며,[수학식 3]상기 는 개선 영상을 나타내고, n은 순번을 나타내며, 는 n번째 변환한 영상을 나타내고, 은 n번째 변환한 영상의 픽셀 단위 가중치를 나타내며, ⊙는 원소 단위 곱을 나타내는 것을 특징으로 하는영상 개선 장치
|
| 7 |
7
변환함수 추정부에서, 입력 영상에 기반한 공간적 정보와 상기 입력 영상의 히스토그램(histogram)에 기반한 통계적 특성 정보를 이용하여 다중 변환 함수를 추정하는 단계;가중치맵 생성부에서, 상기 추정된 다중 변환 함수의 픽셀 단위 가중치를 생성하고, 상기 생성된 픽셀 단위 가중치에 기반하여 가중치맵을 생성하는 단계; 및영상 획득부에서, 상기 입력 영상을 상기 다중 변환 함수 각각으로 화소값 변환한 영상과 상기 생성된 가중치맵의 가중합으로 상기 입력 영상으로부터 개선 영상을 획득하는 단계를 포함하는 것을 특징으로 하는영상 개선 방법
|
| 8 |
8
제7항에 있어서,상기 입력 영상에 기반한 공간적 정보와 상기 입력 영상의 히스토그램(histogram)에 기반한 통계적 특성 정보를 이용하여 다중 변환 함수를 추정하는 단계는,상기 입력 영상으로부터 특징맵을 추출하고, 컨볼루션(Conv) 블록을 이용하여 상기 추출된 특징맵의 채널을 확장하며, 복수의 SFC(self-fusion convolution) 블록을 이용하여 상기 특징맵의 해상도를 줄이고 채널 수를 증가시키고, 평균 풀링(average pooling) 블록을 이용하여 특정 크기를 가진 제1 특징맵을 생성하는 단계;복수의 SHFE(self-fusion histogram feature extraction) 블록을 이용하여 상기 히스토그램의 제2 특징맵을 추출하고, 상기 제1 특징맵과 상기 제2 특징맵을 결합하여 상기 통계적 특성 정보가 고려된 제3 특징맵을 생성하며, 잔류 어텐션 메커니즘(residual attention mechanism)에 따라 상기 제3 특징맵을 상기 제1 특징맵의 어텐션 특징맵으로 작용하여 제4 특징맵을 생성하는 단계; 및상기 생성된 제4 특징맵을 복수의 브랜치 각각으로 전달하고, 상기 복수의 브랜치 각각에서 상기 입력 영상의 특정 채널에 있는 특정 픽셀에 대한 변환함수를 추정하여 상기 다중 변환 함수를 추정하는 단계를 포함하는 것을 특징으로 하는영상 개선 방법
|
| 9 |
9
제7항에 있어서,상기 추정된 다중 변환 함수의 픽셀 단위 가중치를 생성하고, 상기 생성된 픽셀 단위 가중치에 기반하여 가중치맵을 생성하는 단계는,상기 입력 영상과 상기 다중 변환 함수 각각으로 화소값 변환한 영상을 이용하여 상기 변환한 영상에 적용되는 가중치를 출력하여 상기 공간적 정보를 고려한 변환함수 조합으로 상기 가중치맵을 생성하는 단계를 포함하는 것을 특징으로 하는영상 개선 방법
|
| 10 |
10
제7항에 있어서,상기 입력 영상을 상기 다중 변환 함수 각각으로 화소값 변환한 영상과 상기 생성된 가중치맵의 가중합으로 상기 입력 영상으로부터 개선 영상을 획득하는 단계는,하기 수학식 3를 이용하여 원소 단위 가중합으로 상기 가중합을 획득하고, 상기 획득된 가중합에 따라 상기 입력 영상으로부터 상기 개선 영상을 획득하는 단계를 포함하고,[수학식 3]상기 는 개선 영상을 나타내고, n은 순번을 나타내며, 는 n번째 변환한 영상을 나타내고, 은 n번째 변환한 영상의 픽셀 단위 가중치를 나타내며, ⊙는 원소 단위 곱을 나타내는 것을 특징으로 하는영상 개선 방법
|
