| 1 |
1
영상 복호화 장치가 수행하는, 복원(reconstructed) 프레임을 업샘플링하는 방법에 있어서,상기 복원 프레임을 획득하는 단계, 여기서, 상기 복원 프레임은, 원본(original) 프레임을 복원한 프레임으로서, 상기 영상 복호화 장치의 인터 예측에 따라 사전에 복원됨; 상기 복원 프레임과 상기 원본 프레임 간의 해상도 차이를 나타내는 스케일 값을 획득하는 단계; 상기 스케일 값에 기초하여, 상기 복원 프레임을 딥러닝 기반 리샘플링 인루프필터(resampling inloop filter)에 입력하여 업샘플링된 복원 프레임을 생성하는 단계, 여기서, 상기 리샘플링 인루프필터는, 디블로킹(deblocking) 필터, SAO(Sample Adaptive Offset) 필터, 및 적응적 루프 필터(adaptive loop filter)를 포함하는 필터들 중 하나를 대체하거나, 상기 필터들 간에 삽입됨; 및 상기 필터들 및 리샘플링 인루프필터에 의해 생성되는 출력 프레임을 참조 프레임으로서 DPB(Decoded Picture Buffer)에 저장하는 단계를 포함하는 것을 특징으로 하는, 방법
|
| 2 |
2
제1항에 있어서,비트스트림으로부터 상기 리샘플링 인루프필터의 사용 여부를 지시하는 플래그를 복호화하는 단계를 더 포함하되, 상기 플래그가 참인 경우, 상기 스케일 값을 획득하는 단계를 수행하는 것을 특징으로 하는, 방법
|
| 3 |
3
제2항에 있어서,상기 스케일 값을 획득하는 단계는,상기 플래그가 참인 경우, 상기 스케일 값을 2로 설정하는 것을 특징으로 하는, 방법
|
| 4 |
4
제2항에 있어서, 상기 스케일 값을 획득하는 단계는,상기 플래그가 참인 경우, 비트스트림으로부터 상기 스케일 값을 지시하는 인덱스를 복호화하고, 상기 인덱스에 기초하여 상기 스케일 값을 설정하는 것을 특징으로 하는, 방법
|
| 5 |
5
제1항에 있어서, 비트스트림으로부터 다수의 신경망 후보들 중 하나를 지시하는 인덱스를 복호화하는 단계; 및 상기 인덱스에 기초하여 상기 리샘플링 인루프필터를 설정하는 단계를 더 포함하고, 각 신경망 후보는 상기 스케일 값에 기초하여 사전에 트레이닝되는 것을 특징으로 하는, 방법
|
| 6 |
6
제1항에 있어서, 상기 리샘플링 인루프필터는,전치 콘볼루션(transposed convolution) 연산을 이용하여 업샘플링을 수행하되, 상기 전치 콘볼루션 연산은, 특성맵을 추출하는 콘볼루션 연산의 역과정인 것을 특징으로 하는, 방법
|
| 7 |
7
제1항에 있어서, 상기 리샘플링 인루프필터는 상기 SAO 필터 및 적응적 루프 필터의 중간에 위치하여, 상기 업샘플링된 복원 프레임은 상기 적응적 루프 필터에 입력되고, 상기 적응적 루프 필터가 생성하는 출력 프레임이 상기 참조 프레임으로서 상기 DPB에 저장되는 것을 특징으로 하는, 방법
|
| 8 |
8
제1항에 있어서, 상기 리샘플링 인루프필터가 현재 프레임에 적용되는 경우, 상기 DPB에 저장된 참조 프레임을 상기 현재 프레임의 크기에 맞도록 스케일링한 후, 상기 인터 예측을 수행하는 것을 특징으로 하는, 방법
|
| 9 |
9
영상 부호화 장치가 수행하는, 복원(reconstructed) 프레임을 업샘플링하는 방법에 있어서,상기 복원 프레임과 원본(original) 프레임 간의 해상도 차이를 나타내는 스케일 값을 획득하는 단계, 여기서, 상기 복원 프레임은, 상기 원본 프레임을 복원한 프레임으로서, 상기 영상 부호화 장치의 인터 예측에 따라 사전에 복원됨; 및상기 복원 프레임을 획득하는 단계를 포함하되, 상기 스케일 값에 기초하는 상기 복원 프레임의 해상도가 상기 원본 프레임의 해상도보다 작은 경우, 상기 복원 프레임을 딥러닝 기반 리샘플링 인루프필터(resampling inloop filter)에 입력하여 업샘플링된 복원 프레임을 생성하는 단계, 여기서, 상기 리샘플링 인루프필터는, 디블로킹(deblocking) 필터, SAO(Sample Adaptive Offset) 필터, 및 적응적 루프 필터(adaptive loop filter)를 포함하는 필터들 중 하나를 대체하거나, 상기 필터들 간에 삽입됨; 및 상기 필터들 및 리샘플링 인루프필터에 의해 생성되는 출력 프레임을 참조 프레임으로서 DPB(Decoded Picture Buffer)에 저장하는 단계를 포함하는 것을 특징으로 하는, 방법
|
| 10 |
10
제9항에 있어서,상기 스케일 값을 획득하는 단계는,상기 원본 프레임이 다운샘플링되는 경우, 상기 스케일 값을 2로 설정하는 것을 특징으로 하는, 방법
|
| 11 |
11
제9항에 있어서, 상기 스케일 값을 획득하는 단계는,비트율 왜곡 최적화 측면에서 상기 스케일 값을 결정하는 것을 특징으로 하는, 방법
|
| 12 |
12
제9항에 있어서,상기 원본 프레임을 다운샘플링 시, 상기 원본 프레임의 가로 및 세로 방향의 크기를 상기 스케일 값으로 나누어 다운샘플링된 프레임을 생성하되, 소수점 단위는 절삭되거나 반올림되는 것을 특징으로 하는, 방법
|
| 13 |
13
제9항에 있어서,상기 스케일 값에 기초하여 상기 원본 프레임을 다운샘플링하는지 여부에 따라 상기 리샘플링 인루프필터의 사용 여부를 지시하는 플래그를 결정하는 단계; 및상기 플래그를 부호화하는 단계를 더 포함하는 것을 특징으로 하는, 방법
|
| 14 |
14
제13항에 있어서,상기 플래그를 결정하는 단계는,상기 원본 프레임이 다운샘플링되는 경우, 상기 플래그를 참으로 설정하는 것을 특징으로 하는, 방법
|
| 15 |
15
제9항에 있어서, 다수의 신경망 후보들 중 하나를 상기 리샘플링 인루프필터로 지시하는 인덱스를 결정하는 단계; 및상기 인덱스를 부호화하는 단계를 더 포함하고, 각 신경망 후보는 상기 스케일 값에 기초하여 사전에 트레이닝되는 것을 특징으로 하는, 방법
|
| 16 |
16
영상 부호화 방법에 의해 생성된 비트스트림을 저장하는 컴퓨터 판독 가능한 기록매체로서, 상기 영상 부호화 방법은,복원 프레임과 원본(original) 프레임 간의 해상도 차이를 나타내는 스케일 값을 획득하는 단계, 여기서, 상기 복원 프레임은, 상기 원본 프레임을 복원한 프레임으로서, 상기 영상 부호화 방법의 인터 예측에 따라 사전에 복원됨; 및상기 복원 프레임을 획득하는 단계를 포함하되, 상기 스케일 값에 기초하는 상기 복원 프레임의 해상도가 상기 원본 프레임의 해상도보다 작은 경우, 상기 복원 프레임을 딥러닝 기반 리샘플링 인루프필터(resampling inloop filter)에 입력하여 업샘플링된 복원 프레임을 생성하는 단계, 여기서, 상기 리샘플링 인루프필터는, 디블로킹(deblocking) 필터, SAO(Sample Adaptive Offset) 필터, 및 적응적 루프 필터(adaptive loop filter)를 포함하는 필터들 중 하나를 대체하거나, 상기 필터들 간에 삽입됨; 및 상기 필터들 및 리샘플링 인루프필터에 의해 생성되는 출력 프레임을 참조 프레임으로서 DPB(Decoded Picture Buffer)에 저장하는 단계를 포함하는 것을 특징으로 하는, 기록매체
|
