| 1 |
1
현재 프레임의 화질을 개선하기 위해, 영상 복호화 장치가 수행하는 방법에 있어서,상기 현재 프레임 및 적어도 하나의 참조 프레임을 획득하는 단계;딥러닝(deep learning) 기반 검출 모델을 이용하여 상기 참조 프레임 및 상기 현재 프레임으로부터 상기 참조 프레임 상의 참조 영역을 검출하고, 검출 맵을 생성하는 단계; 및상기 검출 맵을 기반으로 상기 참조 영역을 상기 현재 프레임에 합성하여 개선 프레임을 생성하는 단계를 포함하는 것을 특징으로 하는 방법
|
| 2 |
2
제1항에 있어서, 상기 참조 프레임을 획득하는 단계는, 참조 픽처 리스트에 I 프레임(Intra frame)이 포함되어 있는 경우, 상기 I 프레임을 상기 참조 프레임으로 선택하는 것을 특징으로 하는 방법
|
| 3 |
3
제2항에 있어서, 상기 참조 프레임을 획득하는 단계는, 상기 참조 픽처 리스트에 포함된 참조 프레임 후보들 중에서, 시간적 계층(temporal layer)이 가장 낮은 프레임을 상기 참조 프레임으로 선택하거나, POC(Picture of Count)가 상기 현재 프레임에 가장 근접된 프레임을 상기 참조 프레임으로 선택하거나, 가장 낮은 양자화 파라미터(quantization parameter)로 부호화된 프레임을 상기 참조 프레임으로 선택하는 것을 특징으로 하는 방법
|
| 4 |
4
제1항에 있어서, 상기 검출 맵을 생성하는 단계는,상기 참조 영역을 플래그 1로 표시하고, 상기 참조 영역에 포함되지 않는 나머지 영역을 플래그 0으로 표시한 이진 맵(binary map)을 생성하는 것을 특징으로 하는 방법
|
| 5 |
5
제4항에 있어서,상기 개선 프레임을 생성하는 단계는, 상기 검출 맵의 이진 플래그가 1인 경우, 상기 참조 영역의 픽셀로 상기 현재 프레임의 픽셀을 대체하고, 상기 이진 플래그가 1이 아닌 경우, 상기 현재 프레임의 픽셀 값을 유지하는 것을 특징으로 방법
|
| 6 |
6
제4항에 있어서, 상기 개선 프레임을 생성하는 단계는, 상기 검출 맵의 이진 플래그가 1인 경우, 상기 참조 영역의 픽셀로 상기 현재 프레임의 픽셀을 대체하고, 상기 이진 플래그가 1이 아닌 경우, 상기 현재 프레임에 기설정된 함수를 적용하여 픽셀 값을 생성하는 것을 특징으로 방법
|
| 7 |
7
제1항에 있어서, 상기 검출 맵을 생성하는 단계는,기설정된 범위의 픽셀 값으로, 상기 참조 영역과 상기 참조 영역에 포함되지 않는 나머지 영역의 픽셀을 나타냄으로써 픽셀 단위의 검출 맵을 생성하는 것을 특징으로 하는 방법
|
| 8 |
8
제7항에 있어서, 상기 개선 프레임을 생성하는 단계는, 상기 픽셀 단위의 검출 맵 상의 픽셀 값을 이용하여, 상기 현재 프레임과 상기 참조 프레임을 픽셀 단위로 가중합하여, 상기 개선 프레임을 생성하는 것을 특징으로 하는 방법
|
| 9 |
9
제7항에 있어서, 상기 개선 프레임을 생성하는 단계는, 상기 픽셀 단위의 검출 맵 상의 픽셀 값을 이용하여, 기설정된 함수가 각각 적용된 현재 프레임과 참조 프레임을 픽셀 단위로 가중합하여, 상기 개선 프레임을 생성하는 것을 특징으로 하는 방법
|
| 10 |
10
제1항에 있어서, 상기 검출 맵을 생성하는 단계는,M(M은 2 이상의 자연수) 개의 참조 프레임들이 존재하는 경우, 상기 검출 모델을 M 번 이용하여, 상기 M 개의 참조 프레임들 각각의 참조 영역을 검출하고, 대응하는 M 개의 검출 맵을 생성하는 것을 특징으로 하는 방법
|
| 11 |
11
제10항에 있어서, 상기 개선 프레임을 생성하는 단계는, 상기 M 개의 검출 맵이 이진 맵인 경우, 해당되는 이진 플래그가 1인 참조 영역들의 픽셀 값을 가중합하여 상기 현재 프레임의 픽셀을 대체하고, 상기 M 개의 검출 맵의 모든 이진 플래그가 0인 경우, 상기 현재 프레임의 픽셀 값을 유지하는 것을 특징으로 하는 방법
|
| 12 |
12
제1항에 있어서, 상기 검출 모델은, CNN(Convolutional Neural Network) 모델로 구현되고, 상기 현재 프레임 및 참조 프레임의 결합(concatenation)을 입력으로 받아들여 상기 검출 맵을 생성하는 것을 특징으로 하는 방법
|
| 13 |
13
현재 프레임 및 적어도 하나의 참조 프레임을 획득하는 입력부;딥러닝(deep learning) 기반 검출 모델을 이용하여 상기 참조 프레임 및 상기 현재 프레임으로부터 상기 참조 프레임 상의 참조 영역을 검출하고, 검출 맵을 생성하는 참조영역 검출부; 및상기 검출 맵을 기반으로 상기 참조 영역을 상기 현재 프레임에 합성하여 상기 현재 프레임의 화질을 개선하는 참조영역 합성부를 포함하는 것을 특징으로 하는, 화질 개선장치
|
| 14 |
14
제13항에 있어서,상기 참조 영역 검출부는,상기 참조 영역을 플래그 1로 표시하고, 상기 참조 영역에 포함되지 않는 나머지 영역을 플래그 0으로 표시한 이진 맵(binary map)을 생성하는 것을 특징으로 하는, 화질 개선장치
|
| 15 |
15
제14항에 있어서,상기 참조영역 합성부는, 상기 검출 맵의 이진 플래그가 1인 경우, 상기 참조 영역의 픽셀로 상기 현재 프레임의 픽셀을 대체하고, 상기 이진 플래그가 1이 아닌 경우, 상기 현재 프레임의 픽셀 값을 유지하는 것을 특징으로 하는, 화질 개선장치
|
| 16 |
16
제14항에 있어서, 상기 참조영역 합성부는, 상기 검출 맵의 이진 플래그가 1인 경우, 상기 참조 영역의 픽셀로 상기 현재 프레임의 픽셀을 대체하고, 상기 이진 플래그가 1이 아닌 경우, 상기 현재 프레임에 기설정된 함수를 적용하여 픽셀 값을 생성하는 것을 특징으로 하는, 화질 개선장치
|
