| 1 |
1
영상 복호화 장치가 수행하는 영상 복호화 방법에 있어서, 비트스트림으로부터 가변계수 값들, 아핀(affine) 예측 플래그, 및 부호화 모드를 복호화하는 단계, 여기서, 상기 아핀 예측 플래그는 현재블록에 대한 아핀 움직임 예측의 적용 여부를 나타내고, 상기 부호화 모드는 상기 현재블록의 움직임 정보의부호화 모드로서 머지 모드(merge mode) 또는 AMVP(Advanced Motion Vector Prediction) 모드를 나타냄;보간 모델(interpolation model)을 이용하여 참조 프레임들에 기초하여 가상 참조프레임을 생성하는 단계, 여기서, 상기 가변계수 값들을 이용하여 상기 보간 모델 상의 가변계수 네트워크가 설정됨; 및상기 부호화 모드가 상기 머지 모드인 경우, 상기 가상 참조프레임 및 상기 참조 프레임들에 기초하여 상기 현재블록의 머지 후보를 생성하는 단계 를 포함하는 것을 특징으로 하는, 영상 복호화 방법
|
| 2 |
2
제1항에 있어서, 상기 보간 모델은, 상기 참조 프레임들로부터 상기 가상 참조프레임을 바로 생성하는 딥러닝 모델, 상기 참조 프레임들로부터 마스크를 생성한 후, 상기 마스크를 기반으로 상기 참조 프레임들을 가중합하여 상기 가상 참조프레임을 생성하는 딥러닝 모델, 또는, 상기 참조 프레임들로부터 옵티컬 플로우를 생성한 후, 상기 옵티컬 플로우를 기반으로 상기 참조 프레임들을 와핑(warping)하여 상기 가상 참조프레임을 생성하는 딥러닝 모델 중의 하나인 것을 특징으로 하는, 영상 복호화 방법
|
| 3 |
3
제1항에 있어서, 상기 보간 모델이 생성하는 추론 프레임과 원본 프레임 간의 차이에 기반하는 손실함수를 이용하여, 영상 부호화 장치가 상기 보간 모델의 가변계수 네트워크를 업데이트하여 상기 가변계수 값들을 생성하는 것을 특징으로 하는, 영상 복호화 방법
|
| 4 |
4
제1항에 있어서,상기 보간 모델은, 고정계수 네트워크를 추가로 포함하되, 상기 고정계수 네트워크의 고정계수 값들은 원본 참조 프레임 전체에 기초하는 사전학습에서 생성되고, 사전 약속에 따라 설정되는 것을 특징으로 하는, 영상 복호화 방법
|
| 5 |
5
제4항에 있어서, 상기 보간 모델의 가변계수 네트워크는,상기 고정계수 네트워크의 후단에 연결되는 것을 특징으로 하는, 영상 복호화 방법
|
| 6 |
6
제1항에 있어서, 상기 가변계수 값들은, 프레임 단위, 또는 적어도 하나의 GOP(Group of Pictures) 단위로 복호화되는 것을 특징으로 하는, 영상 복호화 방법
|
| 7 |
7
제1항에 있어서, 상기 머지 후보를 생성하는 단계는,공간적 머지 후보를 탐색하는 단계; 및 상기 가상 참조프레임을 고려하여 시간적 머지 후보를 탐색하는 단계를 포함하는 것을 특징으로 하는, 영상 복호화 방법
|
| 8 |
8
제7항에 있어서, 상기 시간적 머지 후보를 탐색하는 단계는,상기 현재블록과 동일 위치에 있는(co-located) 블록이 존재하는 픽처와 상기 시간적 머지 후보의 참조 프레임이 모두 상기 가상 참조프레임인 경우, 제로 움직임벡터를 상기 머지 후보로 설정하는 것을 특징으로 하는, 영상 복호화 방법
|
| 9 |
9
제1항에 있어서, 상기 아핀 예측 플래그가 참이고, 상기 부호화 모드가 상기 AMVP 모드인 경우, 아핀 AMVP 후보를 생성하는 단계를 더 포함하되, 상기 아핀 AMVP 후보를 생성하는 단계는, 상기 가상 참조프레임을 고려하여 상속(inherited) 아핀 AMVP 후보를 추가하는 단계; 및상기 가상 참조프레임을 고려하여 조합(constructed) 아핀 AMVP 후보를 추가하는 단계; 를 포함하는 것을 특징으로 하는, 영상 복호화 방법
|
| 10 |
10
제9항에 있어서, 상기 상속 아핀 AMVP 후보를 추가하는 단계는, 상속 아핀 AMVP 후보의 참조 픽처와 상기 현재블록의 참조 픽처가 동일 참조픽처이고, 상기 동일 참조픽처가 상기 가상 참조프레임인 경우, 제로 움직임벡터를 상기 아핀 AMVP 후보로 추가하는 것을 특징으로 하는, 영상 복호화 방법
|
| 11 |
11
제9항에 있어서, 상기 조합 아핀 AMVP 후보를 추가하는 단계는, 상기 조합 아핀 AMVP 후보의 모든 제어점 움직임벡터들(control point motion vectors)의 참조 픽처와 상기 현재블록의 참조 픽처가 동일 참조픽처이고, 상기 동일 참조픽처가 상기 가상 참조프레임인 경우, 제로 움직임벡터를 상기 아핀 AMVP 후보로 추가하는 것을 특징으로 하는, 영상 복호화 방법
|
| 12 |
12
영상 부호화 장치가 수행하는 영상 부호화 방법에 있어서, 사전에 생성된 가변계수 값들, 및 기설정된 부호화 모드를 획득하는 단계, 여기서, 상기 부호화 모드는 현재블록의 움직임 정보의 부호화 모드로서 머지 모드(merge mode) 또는 AMVP(Advanced Motion Vector Prediction) 모드를 나타냄;보간 모델(interpolation model)을 이용하여 참조 프레임들로부터 가상 참조프레임을 생성하는 단계, 여기서, 상기 가변계수 값들을 이용하여 상기 보간 모델 상의 가변계수 네트워크가 설정됨; 및상기 부호화 모드가 상기 머지 모드인 경우, 상기 가상 참조프레임 및 상기 참조 프레임들에 기초하여 상기 현재블록의 머지 후보를 생성하는 단계 를 포함하는 것을 특징으로 하는, 영상 부호화 방법
|
| 13 |
13
제12항에 있어서, 상기 보간 모델이 생성하는 추론 프레임과 원본 프레임 간의 차이에 기반하는 손실함수를 이용하여, 상기 보간 모델의 가변계수 네크워크를 업데이트하여 상기 가변계수 값들을 생성하는 것을 특징으로 하는, 영상 부호화 방법
|
| 14 |
14
제12항에 있어서,상기 보간 모델은, 고정계수 부분을 추가로 포함하되, 상기 고정계수 부분의 고정계수 값들은 원본 참조 프레임 전체에 기초하는 사전학습에서 생성되고, 사전 약속에 따라 설정되는 것을 특징으로 하는, 영상 부호화 방법
|
| 15 |
15
제12항에 있어서, 상기 가변계수 값들은, 프레임 단위, 또는 적어도 하나의 GOP(Group of Pictures) 단위로 부호화되는 것을 특징으로 하는, 영상 부호화 방법
|
| 16 |
16
비트스트림으로부터 가변계수 값들, 및 부호화 모드를 복호화하는 엔트로피 복호화부, 여기서, 상기 부호화 모드는 현재블록의 움직임 정보의 부호화 모드로서 머지 모드(merge mode) 또는 AMVP(Advanced Motion Vector Prediction) 모드를 나타냄;보간 모델(interpolation model)을 이용하여 참조 프레임들로부터 가상 참조프레임을 생성하는 가상프레임 생성부, 여기서, 상기 가변계수 값들을 이용하여 상기 보간 모델 상의 가변계수 네트워크가 설정됨; 및상기 부호화 모드가 상기 머지 모드인 경우, 상기 가상 참조프레임 및 상기 참조 프레임들에 기초하여 상기 현재블록의 머지 후보를 생성하는 인터 예측부 를 포함하는 것을 특징으로 하는, 영상 복호화 장치
|
