| 1 |
1
인공신경망(Artificial neural network)을 이용한 단일 영상 고해상도 복원(Single Image Super-Resolution) 방법에 있어서, 입력된 영상을 전처리하여 저해상도 영상 및 자가 고해상도(Self High-Resolution) 영상을 제공하는 단계; 상기 저해상도 영상 및 상기 자가 고해상도 영상에 대하여 기설정된 학습 데이터를 이용하여 잔여영상을 복원하는 단계; 및 상기 저해상도 영상 및 상기 자가 고해상도 영상과 잔여영상을 복원한 영상을 통해 상기 입력된 영상을 고해상도 영상으로 복원하는 단계를 포함하고, 상기 저해상도 영상 및 상기 자가 고해상도 영상에 대하여 기설정된 학습 데이터를 이용하여 잔여영상을 복원하는 단계는, 전체 잔여영상 복원 네트워크를 통해 외부 예시영상 기반으로 직렬로 연결된 복수의 잔여 블록(residual block) 구조를 통해 넓은 수용 영역과 잔여영상 학습을 이용하여 상기 저해상도 영상의 전반적인 전체 영상구조의 고주파 성분을 복원하는 단계; 및 지역 잔여영상 복원 네트워크를 통해 내부 예시영상 기반의 상기 자가 고해상도 영상을 주변 화소의 간섭 없이 인코딩되도록 3개의 1x1 컨볼루셔널 레이어(convolutional layer)를 활용하여 반복적으로 나타나거나 영상 전체에 분포되어 있는 세밀한 지역적 영상구조의 고주파 성분을 복원하는 단계를 포함하고, 상기 내부 예시영상 및 상기 외부 예시영상의 상호보완 관계를 이용하여 영상을 고해상도 복원하며, 상기 입력된 영상을 전처리하여 저해상도 영상 및 자가 고해상도(Self High-Resolution) 영상을 제공하는 단계는, 보간 기술을 통해 보간된 상기 저해상도 영상을 전반적인 영상구조를 유지하기 위한 가이드 영상으로 제공하고, 상기 내부 예시영상 기반의 고해상도 복원 기술을 이용하여 복원한 상기 자가 고해상도 영상을 지역적 영상구조의 세밀한 부분을 복원하기 위해 제공하며, 상기 외부 예시영상 및 내부 예시영상의 상호보완 관계를 이용하여 깊은(deep) 컨볼루셔널 신경망(Convolutional Neural Network, CNN) 기반으로 상기 입력된 영상을 고해상도 복원하는 것을 특징으로 하는 인공신경망을 이용한 단일 영상 고해상도 복원 방법
|
| 2 |
2
삭제
|
| 3 |
3
인공신경망(Artificial neural network)을 이용한 단일 영상 고해상도 복원(Single Image Super-Resolution) 시스템에 있어서, 입력된 영상을 전처리하여 저해상도 영상 및 자가 고해상도(Self High-Resolution) 영상을 제공하는 영상 제공부; 상기 저해상도 영상 및 상기 자가 고해상도 영상에 대하여 기설정된 학습 데이터를 이용하여 잔여영상을 복원하는 잔여영상 복원부; 및 상기 저해상도 영상 및 상기 자가 고해상도 영상과 잔여영상을 복원한 영상을 통해 상기 입력된 영상을 고해상도 영상으로 복원하는 고해상도 복원부를 포함하고, 상기 잔여영상 복원부는, 외부 예시영상 기반으로 직렬로 연결된 복수의 잔여 블록(residual block) 구조를 통해 넓은 수용 영역과 잔여영상 학습을 이용하여 상기 저해상도 영상의 전반적인 전체 영상구조의 고주파 성분을 복원하는 전체 잔여영상 복원 네트워크; 및 내부 예시영상 기반의 상기 자가 고해상도 영상을 주변 화소의 간섭 없이 인코딩되도록 3개의 1x1 컨볼루셔널 레이어(convolutional layer)를 활용하여 반복적으로 나타나거나 영상 전체에 분포되어 있는 세밀한 지역적 영상구조의 고주파 성분을 복원하는 지역 잔여영상 복원 네트워크를 포함하고, 상기 내부 예시영상 및 상기 외부 예시영상의 상호보완 관계를 이용하여 영상을 고해상도 복원하며, 상기 영상 제공부는, 보간 기술을 통해 보간된 상기 저해상도 영상을 전반적인 영상구조를 유지하기 위한 가이드 영상으로 제공하고, 상기 내부 예시영상 기반의 고해상도 복원 기술을 이용하여 복원한 상기 자가 고해상도 영상을 지역적 영상구조의 세밀한 부분을 복원하기 위해 제공하며, 상기 외부 예시영상 및 내부 예시영상의 상호보완 관계를 이용하여 깊은(deep) 컨볼루셔널 신경망(Convolutional Neural Network, CNN) 기반으로 상기 입력된 영상을 고해상도 복원하는 것을 특징으로 하는 인공신경망을 이용한 단일 영상 고해상도 복원 시스템
|
| 4 |
4
삭제
|
| 5 |
5
제3항에 있어서, 상기 지역 잔여영상 복원 네트워크는, 컨볼루셔널 레이어(convolutional layer)와 ReLu(Rectified Linear Unit) 함수로 이루어진 복수의 화소 부호화 레이어로 구성되어, 출력 특징 맵은 주변 화소 정보의 간섭 없이 부호화된 상기 자가 고해상도 영상의 화소 정보를 전달하는 것을 특징으로 하는 인공신경망을 이용한 단일 영상 고해상도 복원 시스템
|
| 6 |
6
제3항에 있어서, 상기 전체 잔여영상 복원 네트워크는, 상기 자가 고해상도 영상의 계단 왜곡 현상에 의해 왜곡된 전반적인 전체영상구조를 보완하여 왜곡 없는 고해상도 영상구조 복원하도록 외부 예시영상 기반의 넓은 수용영역을 갖도록 직렬로 연결된 복수의 상기 잔여 블록(residual block)이 형성되는 것을 특징으로 하는 인공신경망을 이용한 단일 영상 고해상도 복원 시스템
|
| 7 |
7
제6항에 있어서, 상기 전체 잔여영상 복원 네트워크는, 상기 잔여 블록을 통해 스킵 컨넥션(skip-connection)과 집단 정규화(Batch Normalization) 레이어를 이용하여 안정적인 그래디언트(gradient) 값의 학습 과정을 수행하고, 각각의 상기 잔여 블록을 통해 입력 특징 맵은 복수의 컨볼루셔널 레이어를 통과하며, 출력 특징 맵의 수는 입력 특징 맵의 수와 동일하게 유지되고, 소정 크기의 수용 영역은 N개의 잔여 블록과 마지막으로 컨볼루셔널 레이어를 통과하여 크기가 확장됨에 따라 전체 잔여영상을 복원하여 고해상도 영상구조를 복원하는 것을 특징으로 하는 인공신경망을 이용한 단일 영상 고해상도 복원 시스템
|
