| 1 |
1
비트스트림으로부터 현재블록에 대한 움직임벡터, 및 잔차 값들을 복호화하는 엔트로피 복호화부;상기 움직임벡터에 의해 지시되는 참조픽처 내의 참조 샘플들을 이용하여 상기 현재블록에 대한 제1 예측 샘플들을 생성하는 인터 예측부;상기 움직임벡터, 상기 참조 샘플들, 및 상기 제1 예측 샘플들의 전부 또는 일부를 이용하여 제2 예측 샘플들을 생성하는 VPN(Video Prediction Network); 및상기 제2 예측 샘플들에 상기 잔차 값들을 가산하여 상기 현재블록에 대한 복원블록을 생성하는 가산기를 포함하는 것을 특징으로 하는, 영상 복호화 장치
|
| 2 |
2
제1항에 있어서, 상기 VPN은, 심층신경망 기반의 제1 영상복원 모델(image restoration model)을 포함하고, 상기 제1 영상복원 모델은 상기 제1 예측 샘플들을 입력으로 받아들여 상기 제2 예측 샘플들을 생성하되, 상기 제2 예측 샘플들이 상기 현재블록의 원본 영상에 근접하도록 트레이닝되는 것을 특징으로 하는, 영상 복호화 장치
|
| 3 |
3
제1항에 있어서, 상기 VPN은, 심층신경망 기반의 제2 영상복원 모델을 포함하고, 상기 제2 영상복원 모델은 상기 제1 예측 샘플들, 과거 참조 샘플들, 미래 참조 샘플들, 및 상기 움직임벡터를 입력으로 받아들여 상기 제2 예측 샘플들을 생성하되, 상기 제2 예측 샘플들이 상기 현재블록의 원본 영상에 근접하도록 트레이닝되는 것을 특징으로 하는, 영상 복호화 장치
|
| 4 |
4
제1항에 있어서, 상기 움직임벡터는,AMVP(Advanced Motion Vector Prediction) 모드 또는 머지(merge) 모드를 적용하여 획득되되, 영상 부호화 장치로부터 수신한 플래그를 기반으로 상기 VPN의 적용 여부가 결정되는 것을 특징으로 하는, 영상 복호화 장치
|
| 5 |
5
제1항에 있어서, 상기 현재블록의 인터 예측 모드가 AMVP 모드 또는 머지 모드이고, 상기 현재블록의 주변 블록이 상기 VPN을 이용하여 예측된 경우, 움직임벡터 후보 리스트에서 상기 주변 블록에 대응하는 움직임벡터의 우선 순위를 높게 설정되는 것을 특징으로 하는, 영상 복호화 장치
|
| 6 |
6
제1항에 있어서, 머지 모드에 따른 인터 예측이 수행되는 경우, 상기 인터 예측부는, 움직임벡터 후보 리스트에서 주변 블록을 선택하고, 상기 선택된 주변 블록에 해당하는 움직임벡터가 지시하는 상기 참조픽처 내의 참조 샘플들을 이용하여 상기 현재블록에 대한 제1 예측 샘플들을 생성하고, 상기 VPN은, 상기 움직임벡터, 상기 참조 샘플들, 및 상기 제1 예측 샘플들의 전부 또는 일부를 이용하여 가상 블록을 생성하고, 상기 가상블록을 상기 현재블록에 대한 제2 예측 샘플들로 이용하는 것을 특징으로 하는, 영상 복호화 장치
|
| 7 |
7
제6항에 있어서, 상기 움직임벡터 후보 리스트에 포함된 기존의 주변 블록이 아닌, 상기 가상 블록이 선택되어 상기 제2 예측 샘플들로 이용되는 경우, 상기 가상 블록을 지시하기 위해, 상기 움직임벡터 후보 리스트에 추가된 신규 인덱스를 이용하되, 상기 가상 블록에 대한 움직임벡터는 0 벡터로 설정되는 것을 특징으로 하는, 영상 복호화 장치
|
| 8 |
8
비트스트림으로부터 현재블록에 대한 움직임벡터, 및 잔차 값들을 복호화하는 엔트로피 복호화부;상기 움직임벡터에 의해 지시되는 참조픽처 내의 참조 샘플들을 이용하여 상기 현재블록에 대한 제1 예측 샘플들을 생성하는 인터 예측부;상기 움직임벡터, 또는 상기 현재블록의 주변 블록들의 움직임벡터들을 이용하여 복수의 제1 움직임벡터를 생성하고, 상기 복수의 제1 움직임벡터를 기반으로 상기 참조 샘플들 또는 상기 제1 예측 샘플들로부터 제2 예측 샘플들을 생성하는 VPN(Video Prediction Network); 및상기 제2 예측 샘플들에 상기 잔차 값들을 가산하여 상기 현재블록에 대한 복원블록을 생성하는 가산기를 포함하는 것을 특징으로 하는, 영상 복호화 장치
|
| 9 |
9
제8항에 있어서, 상기 VPN은,적어도 하나의 콘볼루션 레이어를 포함하는 SR(Super-resolution) 모델을 포함하고, 상기 복수의 제1 움직임벡터를 포함하는 2차원 배열을 상기 SR 모델에 입력하여, 복수의 제2 움직임벡터를 포함하는 2차원 배열을 생성하는, 영상 복호화 장치
|
| 10 |
10
제9항에 있어서,상기 복수의 제2 움직임벡터 각각은 상기 현재 블록의 픽셀 위치들 각각에 대한 옵티컬 플로우를 나타내고,상기 VPN은, 상기 복수의 제2 움직임벡터 각각을 이용하여 상기 제1 예측 샘플들을 보정하기 위한 샘플 오프셋을 생성하고, 상기 제1 예측 샘플들과 상기 샘플 오프셋을 픽셀 단위로 가산하여 상기 제2 예측 샘플들을 생성하는 것을 특징으로 하는, 영상 복호화 장치
|
| 11 |
11
제10항에 있어서,상기 SR 모델은,상기 복수의 제1 움직임벡터에 해당하는 학습용 데이터, 및 상기 옵티컬 플로우에 해당하는 레이블을 기반으로 상기 복수의 제1 움직임벡터를 포함하는 2차원 배열의 해상도를 증가시키도록 트레이닝되는 것을 특징으로 하는, 영상 복호화 장치
|
| 12 |
12
제9항에 있어서,상기 복수의 제2 움직임벡터 각각은 상기 현재 블록에 대한 참조 샘플과 제2 예측 샘플 간의 관계를 나타내는 픽셀 단위의 움직임벡터를 나타내고, 상기 VPN은, 상기 복수의 제2 움직임벡터 각각을 이용하여 상기 참조 샘플들로부터 상기 제2 예측 샘플들을 픽셀 단위로 생성하는 것을 특징으로 하는, 영상 복호화 장치
|
| 13 |
13
제12항에 있어서,상기 SR 모델은,상기 복수의 제1 움직임벡터에 해당하는 학습용 데이터, 및 상기 픽셀 단위의 움직임벡터에 해당하는 레이블을 기반으로 상기 복수의 제1 움직임벡터를 포함하는 2차원 배열의 해상도를 증가시키도록 트레이닝되는 것을 특징으로 하는, 영상 복호화 장치
|
| 14 |
14
영상 복호화 장치가 수행하는, 현재블록에 대한 인터 예측을 수행하기 위한 영상 복호화 방법에 있어서, 비트스트림으로부터 현재블록에 대한 움직임벡터, 및 잔차 값들을 복호화하는 단계;상기 움직임벡터에 의해 지시되는 참조픽처 내의 참조 샘플들을 이용하여 상기 현재블록에 대한 제1 예측 샘플들을 생성하는 단계;상기 움직임벡터, 상기 참조 샘플들, 및 상기 제1 예측 샘플들의 전부 또는 일부를 기반으로 딥러닝 기반 VPN(Video Prediction Network)을 이용하여 제2 예측 샘플들을 생성하는 단계; 및상기 제2 예측 샘플들에 상기 잔차 값들을 가산하여 상기 현재블록에 대한 복원블록을 생성하는 단계를 포함하는 것을 특징으로 하는, 영상 복호화 방법
|
| 15 |
15
제14항에 있어서, 상기 VPN은 심층신경망 기반의 제1 영상복원 모델(image restoration model)을 포함하고, 상기 제2 예측 샘플들을 생성하는 단계는, 상기 제1 영상복원 모델을 이용하여 상기 제1 예측 샘플들로부터 상기 제2 예측 샘플들을 생성하되, 상기 제1 영상복원 모델은 상기 제2 예측 샘플들이 상기 현재블록의 원본 영상에 근접하도록 트레이닝되는 것을 특징으로 하는, 영상 복호화 방법
|
| 16 |
16
제14항에 있어서, 상기 VPN은 심층신경망 기반의 제2 영상복원 모델을 포함하고, 상기 제2 예측 샘플들을 생성하는 단계는, 상기 제2 영상복원 모델을 이용하여 상기 제1 예측 샘플들, 과거 참조 샘플들, 미래 참조 샘플들, 및 움직임벡터로부터 상기 제2 예측 샘플들을 생성하되, 상기 제2 영상복원 모델은 상기 제2 예측 샘플들이 상기 현재블록의 원본 영상에 근접하도록 트레이닝되는 것을 특징으로 하는, 영상 복호화 방법
|
