| 1 |
1
대상 프레임의 특징 벡터를 생성하는 단계;잔차 프레임을 생성하는 단계;상기 잔차 프레임의 특징 벡터를 생성하는 단계;상기 잔차 프레임의 특징 벡터를 사용하여 상기 잔차 프레임에 대한 예측된 특징 벡터를 생성하는 단계; 및상기 예측된 특징 벡터 및 상기 대상 프레임의 특징 벡터의 합을 사용하여 예측 프레임을 생성하는 단계를 포함하는, 비디오 처리 방법
|
| 2 |
2
제1항에 있어서,상기 대상 프레임의 특징 벡터는 제1 콘볼루션 신경망에 의해 생성되는, 비디오 처리 방법
|
| 3 |
3
제1항에 있어서,상기 잔차 프레임은 상기 대상 프레임에 대한 움직임 벡터를 이용하는 움직임 예측을 이용하여 획득되는, 비디오 처리 방법
|
| 4 |
4
제1항에 있어서,상기 잔차 프레임의 특징 벡터는 제2 콘볼루션 신경망에 의해 생성되는, 비디오 처리 방법
|
| 5 |
5
제1항에 있어서,상기 잔차 프레임에 대한 예측된 특징 벡터는 콘볼루션 롱 쇼트 텀 메모리(Long Short Term Memory; LSTM) 신경망에 의해 생성되는, 비디오 처리 방법
|
| 6 |
6
제1항에 있어서,상기 예측 프레임은 디콘볼루션 신경망에 의해 생성되는, 비디오 처리 방법
|
| 7 |
7
가상 프레임을 생성하는 단계; 및상기 가상 프레임을 사용하는 인터 예측을 수행하는 단계를 포함하고,상기 가상 프레임은 이전에 복호화된 프레임이 입력된 신경망을 사용하여 생성되는, 예측 방법
|
| 8 |
8
제7항에 있어서,상기 가상 프레임은 상기 이전에 복호화된 프레임, 잔차 프레임 및 재구축된 예측 잔차 프레임에 기반하여 생성되는, 예측 방법
|
| 9 |
9
제7항에 있어서,네트워크 생성 정보를 포함하는 비트스트림을 수신하는 단계를 더 포함하고,상기 네트워크 생성 정보는 상기 비트스트림의 부호화된 정보가 원래의 프레임에 대한 부호화된 정보 및 상기 가상 프레임에 대한 부호화된 정보 중 어느 것인가를 나타내는, 예측 방법
|
| 10 |
10
제9항에 있어서,상기 네트워크 생성 정보는 특정된 단위에 대하여 사용되고,상기 특정된 단위는 비디오 파라미터 세트, 시퀀스 파라미터 세트, 픽처 파라미터 세트 및 블록 중 적어도 하나 이상인, 예측 방법
|
| 11 |
11
제9항에 있어서,상기 가상 프레임에 대한 부호화된 정보는 비디오 생성 네트워크에 기반하여 생성된 부호화된 예측 잔차 프레임 정보인, 예측 방법
|
| 12 |
12
제11항에 있어서,상기 가상 프레임은 재구축된 예측 잔차 프레임에 기반하여 생성되고,상기 재구축된 예측 잔차 프레임은 상기 부호화된 예측 잔차 프레임 정보에 대하여 엔트로피 복호화, 역양자화 및 역변환의 적어도 일부를 수행함으로써 생성되는, 예측 방법
|
| 13 |
13
제9항에 있어서,상기 가상 프레임에 대한 부호화된 정보는 비디오 생성 네트워크에 기반하여 생성된 부호화된 은닉 벡터 정보인, 예측 방법
|
| 14 |
14
제7항에 있어서,상기 가상 프레임을 인터 예측의 대상에 대한 참조 프레임으로 설정하는 단계를 더 포함하는, 예측 방법
|
| 15 |
15
제14항에 있어서,상기 가상 프레임은 참조 픽처 리스트에 추가되는, 예측 방법
|
| 16 |
16
제15항에 있어서,상기 가상 프레임은 상기 참조 픽처 리스트 내의 참조 픽처들 중 가장 큰 참조 픽처 인덱스를 갖는 참조 픽처를 대체하는, 예측 방법
|
| 17 |
17
복수의 비디오 생성 네트워크들 중 인터 예측을 위한 비디오 생성 네트워크를 선택하는 단계; 및선택된 비디오 생성 네트워크를 사용하는 인터 예측을 수행하는 단계를 포함하는, 인터 예측 방법
|
| 18 |
18
제17항에 있어서,상기 복수의 비디오 생성 네트워크들은 보간을 사용하여 가상 프레임을 생성하는 보간 비디오 생성 네트워크 및 보외를 사용하여 가상 프레임을 생성하는 보외 비디오 생성 네트워크를 포함하는, 인터 예측 방법
|
| 19 |
19
제17항에 있어서,상기 복수의 비디오 생성 네트워크들 중 상기 인터 예측의 방향에 따라서 상기 인터 예측을 위한 상기 비디오 생성 네트워크가 선택되는, 인터 예측 방법
|
| 20 |
20
제17항에 있어서,상기 인터 예측의 단위는 프레임 또는 블록인, 인터 예측 방법
|
