| 1 |
1
영상 복호화 장치가 수행하는, 복원(reconstructed) 프레임의 화질을 개선하는 방법에 있어서,상기 복원 프레임으로부터 기설정된 크기의 입력 영역을 획득하는 단계, 여기서, 상기 복원 프레임은, 원본(original) 프레임을 복원한 프레임으로서, 상기 영상 복호화 장치에 의해 사전에 복원됨; 및상기 입력 영역을 딥러닝 기반 인루프 필터(inloop filter)에 입력하여 상기 원본 프레임을 근사하는 개선 비디오 영역을 생성하는 단계를 포함하되, 상기 인루프 필터는 K(여기서, K는 자연수) 개의 연속된 트랜스포머(transformer) 블록들을 포함하고, 상기 개선 비디오 영역을 생성하는 단계는,상기 트랜스포머 블록들을 이용하여, 어텐션 연산(attention operation)을 기반으로 상기 입력 영상을 최종 출력 특성으로 변환하는 것을 특징으로 하는, 방법
|
| 2 |
2
제1항에 있어서,상기 인루프 필터는 제1 CNN(Convolutional Neural Network)을 더 포함하고, 상기 개선 비디오 영역을 생성하는 단계는,상기 입력 영역을 상기 제1 CNN에 입력하여 입력 특성(feature)을 생성하는 단계; 및상기 트랜스포머 블록들을 이용하여, 상기 어텐션 연산을 기반으로 상기 입력 특성을 상기 최종 출력 특성으로 변환하는 단계를 더 포함하는 것을 특징으로 하는, 방법
|
| 3 |
3
제2항에 있어서,상기 인루프 필터는 제2 CNN을 더 포함하고, 상기 개선 비디오 영역을 생성하는 단계는,상기 최종 출력 특성을 상기 제2 CNN에 입력하여 상기 개선 비디오 영역을 생성하는 것을 특징으로 하는, 방법
|
| 4 |
4
제2항에 있어서, 상기 변환하는 단계는,각 트랜스포머 블록의 입력 특성을 패치들로 분할하고, 각 패치에 상기 어텐션 연산을 적용하여, 상기 각 트랜스포머 블록의 입력 특성에 대해 출력 특성을 생성하는 것을 특징으로 하는, 방법
|
| 5 |
5
제4항에 있어서, 상기 변환하는 단계는,상기 각 패치를 큐어리로 설정하는 단계; 상기 어텐션 연산에 이용되는 두 패치들 간의 유사도에 기초하여, 상기 각 패치에 대한 셀프 어텐션 스코어(attention score), 및 상기 각 패치와 다른 패치들 간의 어텐션 스코어들을 산정하는 단계; 및상기 어텐션 스코어들을 가중합하여 상기 각 패치의 어텐션 값(attention value)을 생성하는 단계를 포함하는 것을 특징을 하는 것을 특징으로 하는, 방법
|
| 6 |
6
제4항에 있어서 상기 변환하는 단계는,상기 어텐션 연산에 이용되는 두 패치들의 크기가 동일하지 않은 경우, 상기 두 패치들의 크기가 동일하여지도록 패딩을 적용하는 것을 특징으로 하는, 방법
|
| 7 |
7
제5항에 있어서, 상기 변환하는 단계는,상기 어텐션 연산에 이용되는 두 패치들이 상기 입력 특성에 함께 존재하지 않는 경우, 상기 어텐션 스코어를 연산하지 않는 것을 특징으로 하는, 방법
|
| 8 |
8
제5항에 있어서, 상기 변환하는 단계는,상기 어텐션 연산에 이용되는 두 패치들이 상이한 데이터 처리 단위들에 존재하는 경우, 상기 어텐션 스코어를 연산하지 않되, 상기 데이터 처리 단위는, CTU(Coding Tree Unit) 또는 VPDU(Virtual Pipeline Data Unit)인 것을 특징으로 하는, 방법
|
| 9 |
9
제4항에 있어서,상기 변환하는 단계는,상기 각 패치가 기설정된 데이터 처리 단위의 경계를 벗어나는 경우, 상기 각 패치에 상기 어테션 연산을 적용하지 않고, 상기 각 패치의 일부가 상기 경계를 벗어나는 경우, 상기 경계를 벗어난 일부 영역을 표시하는 마스크(mask)를 이용하여, 상기 마스크로 표시된 영역에 대해 상기 어텐션 연산을 적용하지 않는 것을 특징으로 하는, 방법
|
| 10 |
10
제4항에 있어서, 상기 변환하는 단계는,상기 각 패치가 현재블록의 복호화 순서보다 후순위에 있는 경우, 상기 각 패치에 상기 어테션 연산을 적용하지 않고, 상기 각 패치의 일부가 상기 후순위에 존재하는 경우, 상기 후순위에 존재하는 일부 영역을 표시하는 마스크를 이용하여, 상기 마스크로 표시된 영역에 대해 상기 어텐션 연산을 적용하지 않는 것을 특징으로 하는, 방법
|
| 11 |
11
제4항에 있어서, 상기 각 트랜스포머 블록은,연속하는 트랜스포머 계층(transformer layer)들을 포함하고, 하나의 콘볼루션 레이어를 선택적으로 포함하며, 각 트랜스포머 계층은 하나의 인코더 층과 하나의 디코더 층을 포함하는 것을 특징으로 하는, 방법
|
| 12 |
12
제11항에 있어서, 상기 각 트랜스포머 블록은,스킵 연결(skip connection)을 이용하여 상기 트랜스포머 계층들의 잔차 블록(residual block) 형태로 구성되는 것을 특징으로 하는, 방법
|
| 13 |
13
영상 부호화 장치가 수행하는, 복원(reconstructed) 프레임의 화질을 개선하는 방법에 있어서,상기 복원 프레임으로부터 기설정된 크기의 입력 영역을 획득하는 단계, 여기서, 상기 복원 프레임은, 원본(original) 프레임을 복원한 프레임으로서, 상기 영상 부호화 장치에 의해 사전에 복원됨; 및상기 입력 영역을 딥러닝 기반 인루프 필터(inloop filter)에 입력하여 상기 원본 프레임을 근사하는 개선 비디오 영역을 생성하는 단계를 포함하되, 상기 인루프 필터는 K(여기서, K는 자연수) 개의 연속된 트랜스포머(transformer) 블록들을 포함하고, 상기 개선 비디오 영역을 생성하는 단계는,상기 트랜스포머 블록들을 이용하여, 어텐션 연산(attention operation)을 기반으로 상기 입력 영상을 최종 출력 특성으로 변환하는 것을 특징으로 하는, 방법
|
| 14 |
14
제13항에 있어서,상기 인루프 필터는 제1 CNN(Convolutional Neural Network)을 더 포함하고, 상기 개선 비디오 영역을 생성하는 단계는,상기 입력 영역을 상기 제1 CNN에 입력하여 입력 특성을 생성하는 단계; 및상기 트랜스포머 블록들을 이용하여, 상기 어텐션 연산을 기반으로 상기 입력 특성을 상기 최종 출력 특성으로 변환하는 단계를 더 포함하는 것을 특징으로 하는, 방법
|
| 15 |
15
제14항에 있어서,상기 인루프 필터는 제2 CNN을 더 포함하고, 상기 개선 비디오 영역을 생성하는 단계는,상기 최종 출력 특성을 상기 제2 CNN에 입력하여 상기 개선 비디오 영역을 생성하는 것을 특징으로 하는, 방법
|
| 16 |
16
영상 부호화 방법에 의해 생성된 비트스트림을 저장하는 컴퓨터 판독 가능한 기록매체로서, 상기 영상 부호화 방법은,복원 프레임으로부터 기설정된 크기의 입력 영역을 획득하는 단계, 여기서, 상기 복원 프레임은, 원본(original) 프레임을 복원한 프레임으로서, 상기 영상 부호화 장치에 의해 사전에 복원됨; 및상기 입력 영역을 딥러닝 기반 인루프 필터(inloop filter)에 입력하여 상기 원본 프레임을 근사하는 개선 비디오 영역을 생성하는 단계를 포함하되, 상기 인루프 필터는 K(여기서, K는 자연수) 개의 연속된 트랜스포머(transformer) 블록들을 포함하고, 상기 개선 비디오 영역을 생성하는 단계는,상기 트랜스포머 블록들을 이용하여, 어텐션 연산(attention operation)을 기반으로 상기 입력 영상을 최종 출력 특성으로 변환하는 것을 특징으로 하는, 기록매체
|
