| 1 |
1
컴퓨팅 장치가 수행하는, 딥러닝 기술에 기초하여 비디오 블록을 처리하는 방법에 있어서, 비디오 입력 블록을 획득하는 단계, 여기서, 상기 비디오 입력 블록은 Y 블록, U 블록 및 V 블록을 포함하고, 상기 Y 블록의 Y 신호, U 블록의 U 신호, 및 V 블록의 V 신호는 4:2:0 또는 4:4:4 포맷의 샘플링 레이트를 가짐;상기 Y 블록, U 블록 및 V 블록을 적층 또는 결합하여 입력 블록을 생성하는 단계;상기 입력 블록을 적어도 하나의 딥러닝 모델에 입력하는 단계; 상기 적어도 하나의 딥러닝 모델을 기반으로 콘볼루션 연산을 수행하여 상기 입력 블록으로부터 출력 블록을 생성하는 단계; 및상기 출력 블록으로부터 비디오 출력 블록을 생성하는 단계를 포함하는 것을 특징으로 하는, 비디오 블록을 처리하는 방법
|
| 2 |
2
제1항에 있어서,상기 입력 블록을 생성하는 단계는, 상기 Y 신호, U 신호 및 V 신호가 4:2:0 포맷인 경우, 상기 U 블록 및 상기 V 블록의 크기를 상기 Y 블록의 크기에 맞도록 확대하는 단계; 및 상기 Y 블록, 상기 확대된 U 블록 및 상기 확대된 V 블록을 적층하는 단계를 포함하는 것을 특징으로 하는, 비디오 블록을 처리하는 방법
|
| 3 |
3
제2항에 있어서,상기 확대하는 단계는, 상기 U 블록을 4 개 반복하여 상기 Y 블록의 크기에 맞도록 확대하되, 상기 U 블록을 상하 또는 좌우로 미러링하여 결합하는 것을 특징으로 하는, 비디오 블록을 처리하는 방법
|
| 4 |
4
제2항에 있어서, 상기 확대하는 단계는,상기 U 블록을 중앙에 위치시킨 후, 상기 U 블록의 주위를 패딩하여 상기 Y 블록의 크기에 맞도록 확대하되, 상기 U 블록과 동일 위치의 Y 블록 값으로 상기 U 블록의 주위을 채우는 것을 특징으로 하는, 비디오 블록을 처리하는 방법
|
| 5 |
5
제2항에 있어서, 상기 확대하는 단계는, 상기 U 블록을 상기 확대된 U 블록의 하나의 사분면에 위치시킨 후, 상기 U 블록과 동일 위치의 Y 블록 값으로 상기 확대된 U 블록의 나머지 사분면을 채우는 것을 특징으로 하는, 비디오 블록을 처리하는 방법
|
| 6 |
6
제1항에 있어서, 상기 입력 블록을 생성하는 단계는, 상기 Y 신호, U 신호 및 V 신호가 4:2:0 포맷인 경우, 상기 U 블록의 크기에 맞도록 상기 Y 블록을 사등분하는 단계; 및상기 사등분된 Y 블록들, 상기 U 블록 및 상기 V 블록을 적층하는 단계를 포함하는 것을 특징으로 하는, 비디오 블록을 처리하는 방법
|
| 7 |
7
제6항에 있어서, 상기 사등분하는 단계는,수평 및 수직 방향으로 상기 Y 블록을 구성하는 샘플들을 데시메이션(decimation)하여 상기 사등분된 Y 블록들을 생성하는 것을 특징으로 하는, 비디오 블록을 처리하는 방법
|
| 8 |
8
제1항에 있어서, 상기 입력 블록을 생성하는 단계는,상기 Y 신호, U 신호 및 V 신호가 4:2:0 포맷인 경우, 상기 U 블록 및 상기 V 블록을 이용하여 상기 Y 블록과 동일한 크기의 수퍼 블록을 생성하는 단계; 및상기 수퍼 블록과 상기 Y 블록을 적층하는 단계를 포함하는 것을 특징으로 하는, 비디오 블록을 처리하는 방법
|
| 9 |
9
제8항에 있어서, 상기 수퍼 블록을 생성하는 단계는, 상기 U 블록 및 V 블록을 상하로 결합한 후, 상기 U 블록 및 V 블록을 수평 방향으로 업샘플링하거나, 상기 U 블록 및 V 블록을 좌우로 결합한 후, 상기 U 블록 및 V 블록을 수직 방향으로 업샘플링하는 것을 특징으로 하는, 비디오 블록을 처리하는 방법
|
| 10 |
10
제1항에 있어서,상기 입력 블록을 생성하는 단계는,상기 Y 신호, U 신호 및 V 신호가 4:2:0 포맷인 경우, 상기 Y 블록, 상기 U 블록 및 상기 V 블록을 결합하여 하나의 수퍼 블록을 생성하는 것을 특징으로 하는, 비디오 블록을 처리하는 방법
|
| 11 |
11
제1항에 있어서, 상기 입력 블록을 생성하는 단계는,상기 Y 신호, U 신호 및 V 신호가 4:4:4 포맷인 경우, 상기 Y 블록, 상기 U 블록 및 상기 V 블록을 적층하여 상기 입력 블록을 생성하는 것을 특징으로 하는, 비디오 블록을 처리하는 방법
|
| 12 |
12
제1항에 있어서, 상기 입력하는 단계는,세 개의 딥러닝 모델을 이용하되, 상기 Y 블록, 상기 U 블록, 및 상기 V 블록 각각을 상기 세 개의 딥러닝 모델 각각에 입력하는 것을 특징으로 하는, 비디오 블록을 처리하는 방법
|
| 13 |
13
제1항에 있어서, 상기 입력하는 단계는,두 개의 딥러닝 모델을 이용하되, 상기 Y 블록을 하나의 딥러닝 모델에 입력하고, 상기 U 블록 및 상기 V 블록을 적층한 입력 블록을 생성한 후, 상기 입력 블록을 나머지 하나의 딥러닝 모델에 입력하는 것을 특징으로 하는, 비디오 블록을 처리하는 방법
|
| 14 |
14
제1항에 있어서, 상기 입력하는 단계는,두 개의 딥러닝 모델을 이용하되, 상기 Y 블록을 하나의 딥러닝 모델에 입력하고, 상기 U 블록 및 상기 V 블록을 이용하여 수퍼 블록을 생성한 후, 상기 수퍼 블록을 나머지 하나의 딥러닝 모델에 입력하는 것을 특징으로 하는, 비디오 블록을 처리하는 방법
|
| 15 |
15
제1항에 있어서, 상기 출력 블록을 생성하는 단계는, 상기 입력 블록의 주위를 패딩하는 단계; 상기 입력 블록의 스트라이드 값을 설정하는 단계; 및 기설정된 커널을 이용하여 상기 입력 블록을 필터링하는 단계를 포함하여 상기 콘볼루션 연산을 수행하는 것을 특징으로 하는, 비디오 블록을 처리하는 방법
|
| 16 |
16
제15항에 있어서, 상기 패딩하는 단계는, 상기 입력 블록이 인트라 예측 블록인 경우, 상기 입력 블록에 인접한 주위 샘플들 중에서 이미 부호화를 완료한 샘플을 이용하여 상기 입력 블록을 패딩하는 것을 특징으로 하는, 비디오 블록을 처리하는 방법
|
| 17 |
17
제15항에 있어서, 상기 패딩하는 단계는,상기 입력 블록이 인터 예측 블록인 경우, 부호화를 완료한 이전 프레임 내의 동일 위치 블록의 샘플을 이용하여 상기 입력 블록을 패딩하는 것을 특징으로 하는, 비디오 블록을 처리하는 방법
|
| 18 |
18
제15항에 있어서, 상기 스트라이드 값을 설정하는 단계는,상기 입력 블록의 크기 또는 크로마 성분에 기초하여 상기 입력 블록에 대한 스트라이드 값을 설정하는 것을 특징으로 하는, 비디오 블록을 처리하는 방법
|
| 19 |
19
제15항에 있어서, 상기 기설정된 커널은,상기 입력 블록의 크기 또는 크로마 성분에 기초하여 상기 커널의 크기가 설정되는 것을 특징으로 하는, 비디오 블록을 처리하는 방법
|
| 20 |
20
제1항에 있어서, 상기 입력 블록 외에 추가 정보를 입력하는 단계를 더 포함하되, 상기 추가 정보는 블록 분할 구조 또는 부호화맵이고, 상기 부호화맵은 양자화 파라미터, POC(Picture Order Count), 또는 예측모드인 것을 특징으로 하는, 비디오 블록을 처리하는 방법
|
| 21 |
21
제20항에 있어서, 상기 추가 정보를 입력하는 단계는,상기 추가 정보가 상기 블록 분할 구조인 경우, 상기 입력 블록 및 상기 블록 분할 구조를 적층하여 상기 딥러닝 모델에 입력하는 것을 특징으로 하는, 비디오 블록을 처리하는 방법
|
| 22 |
22
제20항에 있어서, 상기 추가 정보를 입력하는 단계는,상기 상기 추가 정보가 상기 부호화 맵인 경우, 상기 입력 블록 및 상기 부호화맵을 적층하여 상기 딥러닝 모델에 입력하는 것을 특징으로 하는, 비디오 블록을 처리하는 방법
|
| 23 |
23
딥러닝 기술에 기초하는 비디오 블록 처리장치에 있어서, 비디오 입력 블록을 획득하고, 상기 비디오 입력 블록에 포함된 Y 블록, U 블록 및 V 블록을 적층 또는 결합하여 입력 블록을 생성하는 입력부, 여기서, 상기 Y 블록의 Y 신호, U 블록의 U 신호, 및 V 블록의 V 신호는 4:2:0 또는 4:4:4 포맷의 샘플링 레이트를 가짐;적어도 하나의 딥러닝 모델을 기반으로 콘볼루션 연산을 수행하여 상기 입력 블록으로부터 출력 블록을 생성하는 변환부; 및상기 출력 블록으로부터 비디오 출력 블록을 생성하는 출력부를 포함하는 것을 특징으로 하는, 비디오 블록 처리장치
|
