| 1 |
1
복원된 현재 프레임 및 복호화된 양자화 파라미터를 획득하는 입력부;딥러닝 기반 임베딩 함수(embedding function)를 이용하여 상기 양자화 파라미터로부터 임베딩 벡터(embedding vector)를 산정하거나, 딥러닝 기반 추정 모델(estimation model)을 이용하여 상기 양자화 파라미터에 따른 영상 왜곡(image distortion)을 추정하는 양자화파라미터 전처리부; 및딥러닝 기반 잡음제거(denoising) 모델을 이용하여, 상기 현재 프레임으로부터 양자화 잡음을 제거함으로써, 개선 프레임을 생성하는 잡음제거부를 포함하되,상기 잡음제거 모델은,상기 개선 프레임을 생성하기 위해, 상기 임베딩 벡터 또는 상기 추정된 영상 왜곡을 이용하는 것을 특징으로 하는, 화질 개선장치
|
| 2 |
2
제1항에 있어서, 상기 현재 프레임은, 비디오 코딩 장치의 인터 예측에 따라 복원된 P 프레임(Predictive frame) 또는 B 프레임(Bipredictive frame)인 것을 특징으로 하는, 화질 개선장치
|
| 3 |
3
제1항에 있어서, 상기 임베딩 함수는,임베딩 레이어(embedding layer) 및 다수의 전연결 레이어(fully-connected layer)를 포함하는 것을 특징으로 하는, 화질 개선장치
|
| 4 |
4
제1항에 있어서, 상기 임베딩 함수는,상기 양자화 파라미터, 비트율 왜곡 산정에 이용하는 라그랑즈 곱수(Lagrange multiplier), 상기 현재 프레임의 시간적 계층, 및 상기 현재 프레임의 종류의 전부 또는 일부를 입력으로 이용하는 것을 특징으로 하는, 화질 개선장치
|
| 5 |
5
제1항에 있어서, 상기 잡음제거 모델은, RB들(Residual Blocks)과 콘볼루션 레이어들의 연쇄 구조를 포함하고, 상기 연쇄 구조를 이용하여 상기 개선 프레임을 생성하되, 상기 각 RB는 입력과 출력 간의 스킵 경로(skip path)를 갖는 콘볼루션 블록인 것을 특징으로 하는, 화질 개선장치
|
| 6 |
6
제5항에 있어서,상기 잡음제거부는,상기 콘볼루션 레이어들 중 기설정된 콘볼루션 레이어가 생성하는 특성에, 상기 임베딩 벡터의 절대값을 곱하는 것을 특징으로 하는, 화질 개선장치
|
| 7 |
7
제1항에 있어서, 상기 잡음제거 모델은,현재 프레임으로부터 커널의 오프셋을 생성하는 딥러닝 모델인 U-net;상기 오프셋을 이용하여 현재 프레임을 샘플링하는 샘플러;상기 입력 영상, 상기 U-Net의 출력 특성맵, 및 상기 샘플링된 현재 프레임으로부터 보정된 커널을 생성하는 콘볼루션 레이어들; 및상기 보정된 커널을 이용하여 샘플링된 현재 프레임에 콘볼루션을 적용함으로써, 상기 개선 프레임을 생성하는 출력 콘볼루션 레이어를 포함하는 것을 특징으로 하는, 화질 개선장치
|
| 8 |
8
제7항에 있어서,상기 잡음제거부는, 상기 보정된 커널에, 상기 임베딩 벡터의 절대값을 곱하는 것을 특징으로 하는, 화질 개선장치
|
| 9 |
9
제1항에 있어서,상기 추정 모델은,상기 현재 프레임으로부터 노이즈맵(noise map)을 추출하는 U-net;U-net 구조에서 업콘볼루션(up-conv)을 진행하기 전의 특성으로부터 상기 양자화 파라미터를 예측하는 분류기(classifier); 및상기 노이즈맵으로부터 상기 영상 왜곡을 표현하는 정규화 파라미터들을 추출하는 콘볼루션 레이어들을 포함하는 것을 특징으로 하는, 화질 개선장치
|
| 10 |
10
제9항에 있어서,상기 잡음제거 모델은, 상기 정규화 파라미터들을 이용하여 상기 현재 프레임을 정규화하는 정규화 모듈; 및상기 정규화된 현재 프레임으로부터 상기 개선 프레임을 생성하는 출력 콘볼루션 레이어를 포함하는 것을 특징으로 하는, 화질 개선장치
|
| 11 |
11
제9항에 있어서, 상기 추정 모델과 상기 잡음제거 모델은 종단간(end-to-end) 트레이닝되되, 상기 종단간 트레이닝의 손실함수는 상기 추정 모델과 잡음제거 모델이 상기 개선 프레임을 추정하기 위한 손실, 및 상기 분류기가 상기 양자화 파라미터를 예측하기 위한 손실의 합으로 표현되는 것을 특징으로 하는, 화질 개선장치
|
| 12 |
12
제1항에 있어서,상기 잡음제거 모델은,결합 콘볼루션 레이어들을 추가로 포함하고, 상기 임베딩 벡터의 절대값 및 상기 결합 콘볼루션 레이어들을 이용하여 상기 현재 프레임과 상기 개선 프레임 간의 잔차 신호를 생성한 후, 상기 잔차 신호와 상기 개선 프레임을 가산하는 것을 특징으로 하는, 화질 개선장치
|
| 13 |
13
컴퓨팅 장치가 수행하는, 현재 프레임의 화질을 개선하는 방법에 있어서, 복원된 현재 프레임 및 복호화된 양자화 파라미터를 획득하는 단계;딥러닝 기반 임베딩 함수(embedding function)를 이용하여 상기 양자화 파라미터로부터 임베딩 벡터(embedding vector)를 산정하거나, 딥러닝 기반 추정 모델(estimation model)을 이용하여 상기 양자화 파라미터에 따른 영상 왜곡(image distortion)을 추정하는 단계; 및딥러닝 기반 잡음제거(denoising) 모델을 이용하여, 상기 현재 프레임으로부터 양자화 잡음을 제거함으로써, 개선 프레임을 생성하는 단계를 포함하되,상기 개선 프레임을 생성하는 단계는,상기 잡음제거 모델이 상기 임베딩 벡터 또는 상기 추정된 영상 왜곡을 이용하는 것을 특징으로 하는, 화질을 개선하는 방법
|
| 14 |
14
제13항에 있어서, 상기 획득하는 단계는, 상기 현재 프레임으로서, 비디오 코딩 장치의 인터 예측에 따라 복원된 P 프레임(Predictive frame) 또는 B 프레임(Bipredictive frame)을 획득하는 것을 특징으로 하는, 화질을 개선하는 방법
|
| 15 |
15
제13항에 있어서, 상기 임베딩 함수는,임베딩 레이어(embedding layer) 및 다수의 전연결 레이어(fully-connected layer)를 포함하는 것을 특징으로 하는, 화질을 개선하는 방법
|
| 16 |
16
제13항에 있어서, 상기 잡음제거 모델은, RB들(Residual Blocks)과 콘볼루션 레이어들의 연쇄 구조를 포함하고, 상기 연쇄 구조를 이용하여 상기 개선 프레임을 생성하되, 상기 각 RB는 입력과 출력 간의 스킵 경로(skip path)를 갖는 콘볼루션 블록인 것을 특징으로 하는, 화질을 개선하는 방법
|
| 17 |
17
제16항에 있어서,상기 개선 프레임을 생성하는 단계는,상기 콘볼루션 레이어들 중 기설정된 콘볼루션 레이어가 생성하는 특성에, 상기 임베딩 벡터의 절대값을 곱하는 것을 특징으로 하는, 화질을 개선하는 방법
|
