| 1 |
1
화질 개선의 대상이 되는 대상 프레임을 포함한 일련의 연속된 입력 프레임을 수신하는 입력부;상기 입력 프레임 내 적어도 하나의 더미(Dummy) 프레임을 외삽하여 상기 입력 프레임을 재구성하고, 재구성된 입력 프레임을 컨볼루션 신경망에 적용하여 상기 대상 프레임의 화소값의 변화 특징을 산출하는 학습부; 및상기 대상 프레임 및 상기 변화 특징을 기반으로 상기 대상 프레임에 대한 화질 개선을 수행하는 제어부를 포함하는 것을 특징으로 하는 영상 처리장치
|
| 2 |
2
제 1항에 있어서,상기 입력부는,상기 대상 프레임을 중심으로 이전 N(N=자연수)개의 프레임 및 이후 N개의 프레임으로 이루어진 상기 입력 프레임을 수신하는 것을 특징으로 하는 영상 처리장치
|
| 3 |
3
제 1항에 있어서,상기 학습부는,상기 입력 프레임 전후에 각각 하나 이상의 상기 더미 프레임을 외삽하여 상기 입력 프레임을 재구성하는 것을 특징으로 하는 영상 처리장치
|
| 4 |
4
제 3항에 있어서,상기 더미 프레임은, 제로 프레임인 것을 특징으로 하는 영상 처리장치
|
| 5 |
5
제 1항에 있어서,상기 학습부는, 상기 변화 특징으로서, 상기 대상 프레임에 대응되는 고해상도 잔차 신호를 산출하고,상기 제어부는, 상기 대상 프레임을 목표 해상도로 업샘플링하고, 업샘플링된 대상 프레임 내 상기 고해상도 잔차 신호를 적용하여 상기 대상 프레임에 대한 화질 개선을 수행하는 것을 특징으로 하는 영상 처리장치
|
| 6 |
6
제 5항에 있어서,상기 학습부는, 상기 대상 프레임을 구성하는 N2(N=2이상의 자연수)개의 영역 각각에 대응되는 상기 고해상도 잔차 신호를 산출하고,상기 제어부는, 각각의 영역에 대하여 산출된 고해상도 잔차 신호를 조합한 조합 신호를 상기 업샘플링된 대상 프레임 내 적용하는 것을 특징으로 하는 영상 처리장치
|
| 7 |
7
제 6항에 있어서,상기 복수 개의 영역은,상기 목표 해상도에 따라 기 정의되는 것을 특징으로 하는 영상 처리장치
|
| 8 |
8
제 1항에 있어서,상기 컨볼루션 신경망은,3D 컨볼루션 신경망으로서, 제1 내지 제N 컨볼루션 계층으로 이루어지며, 각각의 컨볼루션 계층은 입력 프레임을 서로 상이한 필터 계수를 갖는 복수 개의 필터를 이용하여 컨볼빙하여 상기 대상 프레임의 화소값의 변화 특징을 나타내는 특징 맵을 생성하는 것을 특징으로 하는 영상 처리장치
|
| 9 |
9
제 8항에 있어서,상기 제1 컨볼루션 계층은 상기 재구성된 입력 프레임을 수신하여 최초 특징 맵을 생성하고, 제2 내지 제N 컨볼루션 계층은 선행 컨볼루션 계층으로부터 생성된 특징 맵을 입력 프레임으로서 수신하여 새로운 특징 맵을 생성하는 것을 특징으로 하는 영상 처리장치
|
| 10 |
10
제 8항에 있어서,상기 제1 내지 제N 컨볼루션 계층은, 상기 입력 프레임을 서로 상이한 필터 계수를 갖는 복수 개의 필터를 이용하여 컨볼빙하여 복수 개의 특징 맵을 생성하되,상기 제N 컨볼루션 계층은, 상기 대상 프레임에 대한 목표 해상도에 기반하여 필터 갯수가 상이하게 결정되는 것을 특징으로 하는 영상 처리장치
|
| 11 |
11
제 10항에 있어서,상기 제2 내지 제N 컨볼루션 계층은,선행 컨볼루션 계층으로부터 입력받은 복수 개의 특징 맵을 조합하고, 조합된 특징 맵을 상기 복수 개의 필터를 이용하여 컨볼빙하는 것을 특징으로 하는 영상 처리장치
|
| 12 |
12
제 11항에 있어서,상기 제2 내지 제N 컨볼루션 계층 중 상기 제N 컨볼루션 계층을 제외한 적어도 하나의 컨볼루션 계층은 상기 조합된 특징 맵을 상기 복수 개의 필터에 적용 시 상기 조합된 특징 맵 내 적어도 하나의 더미 프레임을 외삽하는 것을 특징으로 하는 영상 처리장치
|
| 13 |
13
영상 처리장치의 영상 화질 개선방법에 있어서,화질 개선의 대상이 되는 대상 프레임을 포함한 일련의 연속된 입력 프레임을 수신하는 과정;상기 입력 프레임 내 적어도 하나의 더미 프레임을 외삽하여 상기 입력 프레임을 재구성하고, 재구성된 입력 프레임을 컨볼루션 신경망에 적용하여 상기 대상 프레임의 화소값의 변화 특징을 산출하는 과정; 및상기 대상 프레임 및 상기 변화 특징을 기반으로 상기 대상 프레임에 대한 화질 개선을 수행하는 과정을 포함하는 것을 특징으로 하는 영상 화질 개선방법
|
