| 1 |
1
컴퓨팅 장치가 수행하는, 복원(reconstructed) 프레임의 화질을 개선하는 방법에 있어서,상기 복원 프레임을 획득하고, 상기 복원 프레임을 딥러닝 기반 개선 모델(improvement model)에 입력하여 원본(original) 프레임을 근사하는 출력을 생성하는 단계, 여기서, 상기 복원 프레임은, 상기 원본 프레임을 복원한 프레임이고, 상기 컴퓨팅 장치에 의해 사전에 복원됨;상기 개선 모델의 출력으로부터 상기 복원 프레임을 감산하여 제1 잔차(residual) 프레임을 생성하는 단계;상기 제1 잔차 프레임을 선형 모델에 입력하여 제2 잔차 프레임을 생성하는 단계, 여기서, 상기 선형 모델은 상기 제1 잔차 프레임과 상기 제2 잔차 프레임 간의 선형 관계를 나타내는 파라미터들을 포함함; 및상기 제2 잔차 프레임과 상기 복원 프레임을 가산하여 개선(improved) 복원 프레임을 생성하는 단계를 포함하는 것을 특징으로 하는, 방법
|
| 2 |
2
제1항에 있어서,상기 제1 잔차 프레임은,원본 잔차 프레임을 근사하되, 상기 원본 잔차 프레임은 상기 원본 프레임과 상기 복원 프레임 간의 차이인 것을 특징으로 하는, 방법
|
| 3 |
3
제2항에 있어서, 상기 개선 모델은,다수의 레이어들을 포함하는 딥러닝 모델이고, 상기 제1 잔차 프레임과 상기 원본 잔차 프레임 간의 차이에 기반하는 손실 함수를 이용하여 트레이닝되는 것을 특징으로 하는, 방법
|
| 4 |
4
제1항에 있어서, 상기 복원 프레임은,DPB(Decoded Picture Buffer)에 저장된 복원 신호, 디블록킹 필터의 출력, SAO(Sample Adaptive Offset) 필터의 출력, 및 ALF(Adaptive Loop Filter)의 출력 중 하나이되, 상기 복원 신호는 예측 신호와 역변환 신호의 합인 것을 특징으로 하는, 방법
|
| 5 |
5
제1항에 있어서, 상기 화질을 개선하는 방법의 적용 여부를 지시하는 플래그를 시그널링하는 단계를 더 포함하는 것을 특징으로 하는, 방법
|
| 6 |
6
제2항에 있어서, 상기 선형 모델의 파라미터들은, 상기 제1 잔차 프레임 내의 픽셀값들과 상기 원본 잔차 프레임 내의 픽셀값들에 기초하는 선형 최소 제곱 방정식(linear least square equation)을 활용하여 추정되는 것을 특징으로 하는, 방법
|
| 7 |
7
제1항에 있어서, 상기 선형 모델의 파라미터들은, 영상 부호화 장치에 의해 유도되고 비트스트림으로 부호화된 후, 영상 복호화 장치로 전송되는 것을 특징으로 하는, 방법
|
| 8 |
8
제1항에 있어서, 상기 선형 모델의 파라미터들은, 기설정된 값들을 이용하되, 상기 기설정된 값들은 부호화 및 복호화 정보에 기초하여 통계적으로 자주 발생하는 값들인 것을 특징으로 하는, 방법
|
| 9 |
9
제1항에 있어서, 상기 선형 모델의 파라미터들은, 상기 선형 모델의 파라미터 값들 및 해당되는 인덱스가 사전에 설정되되, 영상 부호화 장치는 상기 인덱스를 영상 복호화 장치로 시그널링하고, 상기 영상 복호화 장치는 상기 인덱스를 이용하여 사전에 설정된 상기 파라미터 값들을 획득하는 것을 특징으로 하는, 방법
|
| 10 |
10
영상 복호화 장치가 포함하는 화질 개선장치에 있어서,딥러닝 기반 개선 모델(improvement model)을 포함하고, 복원(reconstructed) 프레임을 획득하고, 상기 복원 프레임을 상기 개선 모델에 입력하여 원본(original) 프레임을 근사하는 출력을 생성하는 제1 개선부, 여기서, 상기 복원 프레임은, 상기 원본 프레임을 복원한 프레임이고, 상기 영상 복호화 장치에 의해 사전에 복원됨;상기 개선 모델의 출력으로부터 상기 복원 프레임을 감산하여 제1 잔차(residual) 프레임을 생성하는 감산기;선형 모델을 포함하고, 상기 제1 잔차 프레임을 상기 선형 모델에 입력하여 제2 잔차 프레임을 생성하는 제2 개선부, 여기서, 상기 선형 모델은 상기 제1 잔차 프레임과 상기 제2 잔차 프레임 간의 선형 관계를 나타내는 파라미터들을 포함함; 및상기 제2 잔차 프레임과 상기 복원 프레임을 가산하여 개선(improved) 복원 프레임을 생성하는 가산기를 포함하는 것을 특징으로 하는, 화질 개선장치
|
| 11 |
11
제10항에 있어서,상기 제1 잔차 프레임은,원본 잔차 프레임을 근사하되, 상기 원본 잔차 프레임은 상기 원본 프레임과 상기 복원 프레임 간의 차이인 것을 특징으로 하는, 화질 개선장치
|
| 12 |
12
제11항에 있어서, 상기 개선 모델은,다수의 레이어들을 포함하는 딥러닝 모델이고, 상기 제1 잔차 프레임과 상기 원본 잔차 프레임 간의 차이에 기반하는 손실 함수를 이용하여 트레이닝되는 것을 특징으로 하는, 화질 개선장치
|
| 13 |
13
제11항에 있어서, 상기 선형 모델의 파라미터들은, 상기 제1 잔차 프레임 내의 픽셀값들과 상기 원본 잔차 프레임 내의 픽셀값들에 기초하는 선형 최소 제곱 방정식(linear least square equation)을 활용하여 추정되는 것을 특징으로 하는, 화질 개선장치
|
| 14 |
14
컴퓨팅 장치가 수행하는, 복원(reconstructed) 프레임의 화질을 개선하는 방법에 있어서,상기 복원 프레임을 획득하고, 상기 복원 프레임을 딥러닝 기반 개선 모델(improvement model)에 입력하여 원본 프레임을 근사하는 출력을 생성하는 단계, 여기서, 상기 복원 프레임은, 상기 원본 프레임을 복원한 프레임이고, 상기 컴퓨팅 장치에 의해 사전에 복원됨;상기 개선 모델의 출력으로부터 상기 복원 프레임을 감산하여 제1 잔차(residual) 프레임을 생성하는 단계;부호화/복호화 정보를 획득하고, 상기 부호화/복호화 정보를 딥러닝 기반 임베딩 함수(embedding function)에 입력하여 임베딩 벡터(embedding vector)를 생성하는 단계, 여기서, 상기 부호화/복호화 정보는 양자화 파라미터, 비트율 왜곡 최적화 과정에서 사용하는 라그랑쥬 상수(Lagrange constant), GOP(Group of Pictures) 내의 시간적 레이어(temporal layer), 및 프레임의 종류 중 적어도 하나임;상기 임베딩 벡터와 상기 제1 잔차 프레임을 행렬 곱셈하여 보강(complemented) 잔차 프레임을 생성하는 단계; 상기 보강 잔차 프레임을 선형 모델에 입력하여 제2 잔차 프레임을 생성하는 단계, 여기서, 상기 선형 모델은 상기 보강 잔차 프레임과 상기 제2 잔차 프레임 간의 선형 관계를 나타내는 파라미터들을 포함함; 및상기 제2 잔차 프레임과 상기 복원 프레임을 가산하여 개선(improved) 복원 프레임을 생성하는 단계를 포함하는 것을 특징으로 하는, 방법
|
| 15 |
15
제14항에 있어서,상기 제1 잔차 프레임은,원본 잔차 프레임을 근사하되, 상기 원본 잔차 프레임은 상기 원본 프레임과 상기 복원 프레임 간의 차이인 것을 특징으로 하는, 방법
|
| 16 |
16
제15항에 있어서, 상기 개선 모델은,다수의 레이어들을 포함하는 딥러닝 모델이고, 상기 제1 잔차 프레임과 상기 원본 잔차 프레임 간의 차이에 기반하는 손실 함수를 이용하여 트레이닝되는 것을 특징으로 하는, 방법
|
| 17 |
17
제15항에 있어서, 상기 선형 모델의 파라미터들은, 상기 보강 잔차 프레임 내의 픽셀값들과 상기 원본 잔차 프레임 내의 픽셀값들에 기초하는 선형 최소 제곱 방정식(linear least square equation)을 활용하여 추정되는 것을 특징으로 하는, 방법
|
