| 1 |
1
영상 복호화 장치가 수행하는, 복원(reconstructed) 프레임을 업샘플링하는 방법에 있어서,상기 복원 프레임을 획득하는 단계, 여기서, 상기 복원 프레임은, 원본(original) 프레임을 복원한 프레임으로서, 루마 샘플들과 크로마 샘플들을 포함함; 상기 복원 프레임과 상기 원본 프레임 간의 해상도 차이를 나타내는 스케일 값을 획득하는 단계; 및상기 스케일 값에 기초하여, 상기 루마 샘플들과 상기 크로마 샘플들을 크로스 컴포넌트 리샘플링 인루프필터(cross component resampling inloop filter, CC-RIF)에 입력하여 업샘플링된 크로마 프레임을 생성하는 단계를 포함하고, 상기 CC-RIF는, 디블록킹(deblocking) 필터, SAO(Sample Adaptive Offset) 필터, 및 적응적 루프 필터(adaptive loop filter)를 포함하는 크로마 성분의 필터들 중 하나를 대체하거나, 상기 필터들 간에 삽입되는 것을 특징으로 하는, 방법
|
| 2 |
2
제1항에 있어서, 비트스트림으로부터 상기 CC-RIF의 사용 여부를 지시하는 플래그를 복호화하는 단계를 더 포함하되, 상기 플래그가 참인 경우, 상기 스케일 값을 획득하는 단계를 수행하는 것을 특징으로 하는, 방법
|
| 3 |
3
제1항에 있어서, 상기 스케일 값에 기초하여, 상기 루마 샘플들을 루마 리샘플링 인루프필터(luma resampling inloop filter, luma RIF)에 입력하여 업샘플링된 루마 프레임을 생성하는 단계를 더 포함하는 것을 특징으로 하는, 방법
|
| 4 |
4
제1항에 있어서, 상기 업샘플링된 크로마 프레임을 생성하는 단계는,상기 크로마 샘플들을 크로마 리샘플링 인루프필터(chroma resampling inloop filter, C-RIF)에 입력하여 업샘플링된 크로마 샘플들을 생성하는 단계;상기 루마 샘플들을 상기 CC-RIF에 입력하여 상기 업샘플링된 크로마 샘플들의 보정값들을 생성하는 단계; 및상기 업샘플링된 크로마 샘플들과 상기 보정값들을 가산하는 단계를 포함하는 것을 특징으로 하는, 방법
|
| 5 |
5
제4항에 있어서, 상기 CC-RIF는, FIR(Finite Impulse Response) 필터에 기초하여 상기 크로마 샘플들과 해당 위치의 루마 샘플들 간의 상관 관계에 해당하는 보정값들을 생성하되, 상기 FIR 필터는 인터 예측 시 예측블록의 생성에 적용하는 보간 필터(interpolation filter)인 것을 특징으로 하는, 방법
|
| 6 |
6
제4항에 있어서, 상기 CC-RIF는, 선형 필터에 기초하여 상기 크로마 샘플들과 해당 위치의 루마 샘플들 간의 상관 관계에 해당하는 보정값들을 생성하되, 상기 선형 필터는 3×4 크기의 다이아몬드 형태의 하이패스 필터인 것을 특징으로 하는, 방법
|
| 7 |
7
제1항에 있어서, 상기 CC-RIF는, 4:2:2 및 4:4:4 크로마 포맷의 경우, CTU(Coding Tree Unit) 경계 위의 3 번째 및 4 번째 행들의 샘플들에는 적용되지 않는 것을 특징으로 하는, 방법
|
| 8 |
8
제1항에 있어서, 상기 업샘플링된 크로마 프레임을 생성하는 단계는,상기 루마 샘플들 및 상기 크로마 샘플들을 연결하여 결합(concatenated) 샘플들을 생성하는 단계; 및상기 CC-RIF로서 딥러닝 기반 크로마 업샘플링 네트워크에 상기 결합 샘플들을 입력하여 상기 업샘플링된 크로마 프레임을 생성하는 단계를 포함하는 것을 특징으로 하는, 방법
|
| 9 |
9
제8항에 있어서, 상기 크로마 업샘플링 네트워크는,초해상도(super-resolution) 모델로 구현되고, 루마 성분의 예측 프레임 및 양자화 파라미터 맵을 추가적으로 입력으로 사용하는 것을 특징으로 하는, 방법
|
| 10 |
10
제8항에 있어서, 비트스트림으로부터 다수의 신경망 후보들 중 하나를 지시하는 인덱스를 복호화하는 단계; 및상기 인덱스에 기초하여 상기 크로마 업샘플링 네트워크를 설정하는 단계를 더 포함하고, 각 신경망 후보는 상기 스케일 값에 기초하여 사전에 트레이닝되는 것을 특징으로 하는, 방법
|
| 11 |
11
영상 부호화 장치가 수행하는, 복원(reconstructed) 프레임을 업샘플링하는 방법에 있어서,상기 복원 프레임과 원본(original) 프레임 간의 해상도 차이를 나타내는 스케일 값을 획득하는 단계, 여기서, 상기 복원 프레임은, 상기 원본 프레임을 복원한 프레임으로서, 루마 샘플들과 크로마 샘플들을 포함함; 및상기 복원 프레임을 획득하는 단계를 포함하되,상기 스케일 값에 기초하는 상기 복원 프레임의 해상도가 상기 원본 프레임의 해상도보다 작은 경우, 상기 루마 샘플들과 상기 크로마 샘플들을 크로스 컴포넌트 리샘플링 인루프필터(cross component resampling inloop filter, CC-RIF)에 입력하여 업샘플링된 크로마 프레임을 생성하는 단계를 포함하고, 상기 CC-RIF는, 디블록킹(deblocking) 필터, SAO(Sample Adaptive Offset) 필터, 및 적응적 루프 필터(adaptive loop filter)를 포함하는 크로마 성분의 필터들 중 하나를 대체하거나, 상기 필터들 간에 삽입되는 것을 특징으로 하는, 방법
|
| 12 |
12
제12항에 있어서,상기 스케일 값에 기초하여 상기 원본 프레임을 다운샘플링하는지 여부에 따라 상기 CC-RIF의 사용 여부를 지시하는 플래그를 결정하는 단계; 및상기 플래그를 부호화하는 단계를 더 포함하는 것을 특징으로 하는, 방법
|
| 13 |
13
제12항에 있어서,상기 플래그를 결정하는 단계는,상기 원본 프레임이 다운샘플링되는 경우, 상기 플래그를 참으로 설정하는 것을 특징으로 하는, 방법
|
| 14 |
14
제11항에 있어서, 상기 스케일 값에 기초하는 상기 복원 프레임의 해상도가 상기 원본 프레임의 해상도보다 작은 경우, 상기 루마 샘플들을 루마 리샘플링 인루프필터(luma resampling inloop filter, luma RIF)에 입력하여 업샘플링된 루마 프레임을 생성하는 단계를 더 포함하는 것을 특징으로 하는, 방법
|
| 15 |
15
제11항에 있어서, 상기 업샘플링된 크로마 프레임을 생성하는 단계는,상기 루마 샘플들 및 상기 크로마 샘플들을 연결하여 결합(concatenated) 샘플들을 생성하는 단계; 및상기 CC-RIF로서 딥러닝 기반 크로마 업샘플링 네트워크에 상기 결합 샘플들을 입력하여 상기 업샘플링된 크로마 프레임을 생성하는 단계를 포함하는 것을 특징으로 하는, 방법
|
| 16 |
16
제15항에 있어서, 다수의 신경망 후보들 중 하나를 상기 크로마 업샘플링 네트워크로 지시하는 인덱스를 결정하는 단계; 및상기 인덱스를 부호화하는 단계를 더 포함하고, 각 신경망 후보는 상기 스케일 값에 기초하여 사전에 트레이닝되는 것을 특징으로 하는, 방법
|
| 17 |
17
영상 부호화 방법에 의해 생성된 비트스트림을 저장하는 컴퓨터 판독 가능한 기록매체로서, 상기 영상 부호화 방법은,복원 프레임과 원본(original) 프레임 간의 해상도 차이를 나타내는 스케일 값을 획득하는 단계, 여기서, 상기 복원 프레임은, 상기 원본 프레임을 복원한 프레임으로서, 루마 샘플들과 크로마 샘플들을 포함함; 및상기 복원 프레임을 획득하는 단계를 포함하되,상기 스케일 값에 기초하는 상기 복원 프레임의 해상도가 상기 원본 프레임의 해상도보다 작은 경우, 상기 루마 샘플들과 상기 크로마 샘플들을 크로스 컴포넌트 리샘플링 인루프필터(cross component resampling inloop filter, CC-RIF)에 입력하여 업샘플링된 크로마 프레임을 생성하는 단계를 포함하고, 상기 CC-RIF는, 디블록킹(deblocking) 필터, SAO(Sample Adaptive Offset) 필터, 및 적응적 루프 필터(adaptive loop filter)를 포함하는 크로마 성분의 필터들 중 하나를 대체하거나, 상기 필터들 간에 삽입되는 것을 특징으로 하는, 기록매체
|
