1 |
1
입력 영상의 밝기 및 대비를 향상시켜 출력 영상을 생성하는 엔코더-디코더 구조 딥러닝 네트워크를 포함하고,상기 엔코더-디코더 구조 딥러닝 네트워크는,상기 입력 영상을 복수개의 계층 순으로 컨볼루션 처리하는 다운 샘플링을 통해 상기 입력 영상 보다 작은 크기를 가지는 컨볼루션 영상들을 생성하는 엔코더부;상기 복수개의 계층의 마지막 계층에서 출력되는 컨볼루션 영상들을 상기 복수개의 계층의 역순으로 디컨볼루션하여 디컨볼루션 영상을 생성하는 업 샘플링을 통해 상기 출력 영상을 생성하는 디코더부;상기 엔코더부의 상기 복수개의 계층의 각 계층에서 출력되는 컨볼루션 영상을 상기 디코더부의 대응되는 계층으로 장기 건너뛰기 연결시키는 장기 건너뛰기 연결부; 및상기 엔코더부의 상기 각 계층에서 출력되는 컨볼루션 영상의 평균 밝기와 목표 밝기 간의 밝기 비율을 산출하고, 상기 밝기 비율을 적용하여 장기 건너뛰기 연결된 컨볼루션 영상의 밝기를 조절하는 밝기 설정부를 포함하고,상기 디코더부는, 상기 디코더부의 각 계층에서 디컨볼루션된 디컨볼루션 영상을 상기 엔코더부의 대응되는 계층으로부터 장기 건너뛰기 연결되어 밝기 조절된 컨볼루션 영상과 조합하여 업 샘플링하도록 구성되는,사용자 맞춤형 영상 밝기 및 대비 조절 장치
|
2 |
2
제1항에 있어서,상기 엔코더부는,상기 입력 영상에 대해 상기 복수개의 계층 순으로 순차적으로 상기 컨볼루션 처리를 행하여 각 계층 별로 컨볼루션 영상을 생성하는 다수의 제1 컨볼루션 처리부; 및상기 다수의 컨볼루션 처리부 사이에 마련되고, 상기 각 계층 별로 생성되는 상기 컨볼루션 영상의 대표 값들을 결정하는 풀링 처리를 행하는 다수의 풀링 처리부를 포함하고,상기 디코더부는,상기 복수개의 계층 중 마지막 계층에서 출력되는 컨볼루션 영상에 대해 상기 복수개의 계층의 역순으로 순차적으로 디컨볼루션 처리를 행하여 디컨볼루션 영상을 생성하는 다수의 디컨볼루션 처리부;상기 다수의 디컨볼루션 처리부 사이에 마련되고, 각 계층 별로 생성되는 디컨볼루션 영상을 상기 목표 밝기에 의해 설정되는 상기 밝기 비율에 따라 밝기 조절된 컨볼루션 영상과 조합 처리하는 조합 처리부; 및상기 다수의 디컨볼루션 처리부 사이에 마련되고, 상기 디컨볼루션 영상과 상기 컨볼루션 영상이 조합 처리된 조합 영상을 컨볼루션 처리하는 제2 컨볼루션 처리부를 포함하고,상기 엔코더부의 각 계층 별로 장기 건너뛰기 연결된 컨볼루션 영상은 상기 밝기 설정부에 의해 밝기 조정되어 상기 디코더부의 대응되는 계층의 조합 처리부로 입력되도록 구성되는, 사용자 맞춤형 영상 밝기 및 대비 조절 장치
|
3 |
3
제2항에 있어서,각각의 제1 컨볼루션 처리부는,상기 입력 영상 또는 이전 계층에서 출력된 n개의 컨볼루션 영상을 미리 설정된 커널 영상을 기반으로 컨볼루션 처리하여 m개의 제1 컨볼루션 영상을 생성하는 제1 컨볼루션부;상기 제1 컨볼루션 영상 중 양의 화소값은 변화 없이 출력하고, 음의 화소값에는 설정 비율을 적용하여 출력하는 수정 선형 처리를 수행하는 제1 수정 선형 처리부;상기 제1 수정 선형 처리부에 의해 수정 선형 처리된 m개의 제1 컨볼루션 영상을 커널 영상을 기반으로 컨볼루션 처리하여 m개의 제2 컨볼루션 영상을 생성하는 제2 컨볼루션부;상기 제2 컨볼루션 영상 중 양의 화소값은 변화 없이 출력하고, 음의 화소값에는 설정 비율을 적용하여 출력하는 수정 선형 처리를 수행하는 제2 수정 선형 처리부;상기 제2 수정 선형 처리부에 의해 수정 선형 처리된 m개의 제2 컨볼루션 영상을 커널 영상을 기반으로 컨볼루션 처리하여 m개의 제3 컨볼루션 영상을 생성하는 제3 컨볼루션부;상기 제1 컨볼루션부에 의해 컨볼루션 처리된 m개의 제1 컨볼루션 영상을 상기 제3 컨볼루션부의 출력단으로 단기 건너뛰기 연결하는 단기 건너뛰기 연결부; 및상기 단기 건너뛰기 연결부에 의해 단기 건너뛰기 연결된 상기 m개의 제1 컨볼루션 영상을 상기 m개의 제3 컨볼루션 영상과 조합하여 조합 컨볼루션 영상을 생성하는 컨볼루션 영상 조합부; 및상기 조합 컨볼루션 영상 중 양의 화소값은 변화 없이 출력하고, 음의 화소값에는 설정 비율을 적용하여 출력하는 수정 선형 처리를 수행하는 제3 수정 선형 처리부를 포함하고,상기 m은 상기 n 보다 큰 정수인, 사용자 맞춤형 영상 밝기 및 대비 조절 장치
|
4 |
4
제3항에 있어서,상기 밝기 설정부는,상기 제1 컨볼루션 영상, 상기 제2 컨볼루션 영상, 상기 제3 컨볼루션 영상 및 상기 조합 컨볼루션 영상 중 어느 하나의 컨볼루션 영상의 평균 밝기와, 상기 목표 밝기 간의 밝기 비율을 산출하고, 상기 밝기 비율을 적용하여 상기 장기 건너뛰기 연결되는 컨볼루션 영상의 밝기를 조절하도록 구성되는,사용자 맞춤형 영상 밝기 및 대비 조절 장치
|
5 |
5
제1항에 있어서,상기 목표 밝기는, 사용자에 의해 설정되는 밝기 값이거나, 미리 설정되거나 사용자에 의해 입력되는 참조 영상에 의해 설정되는 밝기 값인, 사용자 맞춤형 영상 밝기 및 대비 조절 장치
|
6 |
6
제5항에 있어서,상기 참조 영상을 기반으로 상기 목표 밝기를 설정하는 목표 밝기 설정부를 더 포함하고,상기 목표 밝기 설정부는, 상기 참조 영상의 평균 밝기를 산출하여 상기 목표 밝기를 산출하는, 사용자 맞춤형 영상 밝기 및 대비 조절 장치
|
7 |
7
제1항에 있어서,상기 엔코더-디코더 구조 딥러닝 네트워크를 훈련 데이터를 이용하여 2단계 학습하는 전이 학습부를 더 포함하고,상기 전이 학습부는,동일한 위치에서 촬영된 다양한 밝기의 학습 영상들의 쌍을 포함하는 제1 학습 영상 쌍들을 기반으로, 상기 엔코더-디코더 구조 딥러닝 네트워크의 상기 복수개의 계층 전체를 학습하는 제1 학습부; 및대상 장소에 설치된 카메라에 의해 촬영된 제1 밝기의 학습 영상과 상기 제1 밝기보다 어두운 제2 밝기의 학습 영상을 포함하는 제2 학습 영상 쌍을 기반으로, 상기 엔코더-디코더 구조 딥러닝 네트워크의 상기 복수개의 계층 중 일부 계층 만을 학습하는 제2 학습부를 포함하는,사용자 맞춤형 영상 밝기 및 대비 조절 장치
|
8 |
8
제7항에 있어서,상기 일부 계층은,상기 복수개의 계층 중 상기 엔코더부와 상기 디코더부 사이의 병목 계층, 상기 엔코더부의 복수개의 계층 중 상기 병목 계층과 인접한 계층, 상기 디코더부의 복수개의 계층 중 상기 병목 계층과 인접한 계층 및 상기 디코더부의 복수개의 계층 중 마지막 계층인,사용자 맞춤형 영상 밝기 및 대비 조절 장치
|
9 |
9
엔코더-디코더 구조 딥러닝 네트워크를 이용하여 입력 영상의 밝기 및 대비를 향상시켜 출력 영상을 생성하는 사용자 맞춤형 영상 밝기 및 대비 조절 방법으로서,상기 엔코더-디코더 구조 딥러닝 네트워크의 엔코더부에 의해, 상기 입력 영상을 복수개의 계층 순으로 컨볼루션 처리하는 다운 샘플링을 통해 상기 입력 영상 보다 작은 크기를 가지는 컨볼루션 영상들을 생성하는 단계;상기 엔코더-디코더 구조 딥러닝 네트워크의 디코더부에 의해, 상기 복수개의 계층의 마지막 계층에서 출력되는 컨볼루션 영상들을 상기 복수개의 계층의 역순으로 디컨볼루션하여 디컨볼루션 영상을 생성하는 업 샘플링을 통해 상기 출력 영상을 생성하는 단계;상기 엔코더-디코더 구조 딥러닝 네트워크의 장기 건너뛰기 연결부에 의해, 상기 엔코더부의 상기 복수개의 계층의 각 계층에서 출력되는 컨볼루션 영상을 상기 디코더부의 대응되는 계층으로 장기 건너뛰기 연결시키는 단계; 및상기 엔코더-디코더 구조 딥러닝 네트워크의 밝기 설정부에 의해, 상기 엔코더부의 상기 각 계층에서 출력되는 컨볼루션 영상의 평균 밝기와 목표 밝기 간의 밝기 비율을 산출하고, 상기 밝기 비율을 적용하여 장기 건너뛰기 연결된 컨볼루션 영상의 밝기를 조절하는 단계를 포함하고,상기 업 샘플링을 통해 상기 출력 영상을 생성하는 단계는,상기 디코더부에 의해, 상기 디코더부의 각 계층에서 디컨볼루션된 디컨볼루션 영상을 상기 엔코더부의 대응되는 계층으로부터 장기 건너뛰기 연결되어 밝기 조절된 컨볼루션 영상과 조합하여 업 샘플링하는 단계를 포함하는,사용자 맞춤형 영상 밝기 및 대비 조절 방법
|
10 |
10
제9항에 있어서,상기 컨볼루션 영상들을 생성하는 단계는,상기 엔코더부의 다수의 제1 컨볼루션 처리부에 의해, 상기 입력 영상에 대해 상기 복수개의 계층 순으로 순차적으로 상기 컨볼루션 처리를 행하여 각 계층 별로 컨볼루션 영상을 생성하는 단계; 및상기 다수의 컨볼루션 처리부 사이에 마련된 다수의 풀링 처리부에 의해, 상기 각 계층 별로 생성되는 상기 컨볼루션 영상의 대표 값들을 결정하는 풀링 처리를 행하는 단계를 포함하고,상기 업 샘플링을 통해 상기 출력 영상을 생성하는 단계는,상기 디코더부의 다수의 디컨볼루션 처리부에 의해, 상기 복수개의 계층 중 마지막 계층에서 출력되는 컨볼루션 영상에 대해 상기 복수개의 계층의 역순으로 순차적으로 디컨볼루션 처리를 행하여 디컨볼루션 영상을 생성하는 단계;상기 다수의 디컨볼루션 처리부 사이에 마련된 조합 처리부에 의해, 각 계층 별로 생성되는 디컨볼루션 영상을 상기 목표 밝기에 의해 설정되는 상기 밝기 비율에 따라 밝기 조절된 컨볼루션 영상과 조합 처리하는 단계; 및상기 다수의 디컨볼루션 처리부 사이에 마련된 제2 컨볼루션 처리부에 의해, 상기 디컨볼루션 영상과 상기 컨볼루션 영상이 조합 처리된 조합 영상을 컨볼루션 처리하는 단계를 포함하고,상기 엔코더부의 각 계층 별로 장기 건너뛰기 연결된 컨볼루션 영상은 상기 밝기 설정부에 의해 밝기 조정되어 상기 디코더부의 대응되는 계층의 조합 처리부로 입력되는, 사용자 맞춤형 영상 밝기 및 대비 조절 방법
|
11 |
11
제10항에 있어서,상기 각 계층 별로 컨볼루션 영상을 생성하는 단계는,상기 제1 컨볼루션 처리부의 제1 컨볼루션부에 의해, 상기 입력 영상 또는 이전 계층에서 출력된 n개의 컨볼루션 영상을 미리 설정된 커널 영상을 기반으로 컨볼루션 처리하여 m개의 제1 컨볼루션 영상을 생성하는 단계;상기 제1 컨볼루션 처리부의 제1 수정 선형 처리부에 의해, 상기 제1 컨볼루션 영상 중 양의 화소값은 변화 없이 출력하고, 음의 화소값에는 설정 비율을 적용하여 출력하는 수정 선형 처리를 수행하는 단계;상기 제1 컨볼루션 처리부의 제2 컨볼루션부에 의해, 상기 제1 수정 선형 처리부에 의해 수정 선형 처리된 m개의 컨볼루션 영상을 커널 영상을 기반으로 컨볼루션 처리하여 m개의 제2 컨볼루션 영상을 생성하는 단계;제1 컨볼루션 처리부의 제2 수정 선형 처리부에 의해, 상기 제2 컨볼루션 영상 중 양의 화소값은 변화 없이 출력하고, 음의 화소값에는 설정 비율을 적용하여 출력하는 수정 선형 처리를 수행하는 단계;상기 제1 컨볼루션 처리부의 제3 컨볼루션부에 의해, 상기 제2 수정 선형 처리부에 의해 수정 선형 처리된 m개의 컨볼루션 영상을 커널 영상을 기반으로 컨볼루션 처리하여 m개의 제3 컨볼루션 영상을 생성하는 단계;상기 제1 컨볼루션 처리부의 단기 건너뛰기 연결부에 의해, 상기 제1 컨볼루션부에 의해 컨볼루션 처리된 m개의 컨볼루션 영상을 상기 제3 컨볼루션부의 출력단으로 단기 건너뛰기 연결하는 단계;상기 제1 컨볼루션 처리부의 컨볼루션 영상 조합부에 의해, 상기 단기 건너뛰기 연결부에 의해 단기 건너뛰기 연결된 상기 m개의 컨볼루션 영상을 상기 m개의 제3 컨볼루션 영상과 조합하여 조합 컨볼루션 영상을 생성하는 단계; 및상기 제1 컨볼루션 처리부의 제3 수정 선형 처리부에 의해, 상기 조합 컨볼루션 영상 중 양의 화소값은 변화 없이 출력하고, 음의 화소값에는 설정 비율을 적용하여 출력하는 수정 선형 처리를 수행하는 단계를 포함하고,상기 m은 상기 n 보다 큰 정수인, 사용자 맞춤형 영상 밝기 및 대비 조절 방법
|
12 |
12
제9항에 있어서,상기 목표 밝기는, 사용자에 의해 설정되는 밝기 값이거나, 미리 설정되거나 사용자에 의해 입력되는 참조 영상에 의해 설정되는 밝기 값인, 사용자 맞춤형 영상 밝기 및 대비 조절 방법
|
13 |
13
제12항에 있어서,목표 밝기 설정부에 의해, 상기 참조 영상을 기반으로 상기 목표 밝기를 설정하는 단계를 더 포함하고,상기 목표 밝기를 설정하는 단계는, 상기 참조 영상의 평균 밝기를 산출하여 상기 목표 밝기를 산출하는 단계를 포함하는,사용자 맞춤형 영상 밝기 및 대비 조절 방법
|
14 |
14
제9항에 있어서,전이 학습부에 의해, 상기 엔코더-디코더 구조 딥러닝 네트워크를 훈련 데이터를 이용하여 2단계 학습하는 단계를 더 포함하고,상기 학습하는 단계는,상기 전이 학습부의 제1 학습부에 의해, 동일한 위치에서 촬영된 다양한 밝기의 학습 영상들의 쌍을 포함하는 제1 학습 영상 쌍들을 기반으로, 상기 엔코더-디코더 구조 딥러닝 네트워크의 상기 복수개의 계층 전체를 학습하는 단계; 및상기 전이 학습부의 제2 학습부에 의해, 대상 장소에 설치된 카메라에 의해 촬영된 제1 밝기의 학습 영상과 상기 제1 밝기보다 어두운 제2 밝기의 학습 영상을 포함하는 제2 학습 영상 쌍을 기반으로, 상기 상기 복수개의 계층 중 일부 계층 만을 학습하는 단계를 포함하는,사용자 맞춤형 영상 밝기 및 대비 조절 방법
|
15 |
15
제14항에 있어서,상기 일부 계층은,상기 복수개의 계층 중 상기 엔코더부와 상기 디코더부 사이의 병목 계층, 상기 엔코더부의 복수개의 계층 중 상기 병목 계층과 인접한 계층, 상기 디코더부의 복수개의 계층 중 상기 병목 계층과 인접한 계층 및 상기 디코더부의 복수개의 계층 중 마지막 계층인,사용자 맞춤형 영상 밝기 및 대비 조절 방법
|
16 |
16
제9항 내지 제15항 중 어느 한 항의 사용자 맞춤형 영상 밝기 및 대비 조절 방법을 실행하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체
|