| 1 |
1
머신 비전 시스템의 부호화 장치가 수행하는, 비디오 프레임들의 특징맵을 부호화하는 부호화 방법에 있어서,딥러닝 기반 머신 태스크 모델을 이용하여 키 프레임으로부터 상기 키 프레임의 특징맵인 참조 특징맵을 추출하는 단계, 여기서, 상기 키 프레임은, 비트율 왜곡 최적화 측면에서 상기 비디오 프레임들 중에서 선택됨;상기 머신 태스크 모델을 이용하여 나머지 프레임들로부터 상기 나머지 프레임들 각각의 원본 특징맵을 추출하는 단계;상기 참조 특징맵을 기반으로 상기 나머지 프레임들 각각의 예측 특징맵을 생성하는 단계;상기 나머지 프레임들 각각의 원본 특징맵으로부터 상기 예측 특징맵을 감산하여 잔차 특징맵을 생성하는 단계; 상기 참조 특징맵을 부호화하는 단계; 및상기 나머지 프레임들 각각의 잔차 특징맵을 부호화하는 단계를 포함하는 것을 특징으로 하는, 부호화 방법
|
| 2 |
2
제1항에 있어서, 상기 예측 특징맵을 생성하는 단계는, 상기 참조 특징맵을 기반으로 인터 예측을 수행하여, 상기 예측 특징맵을 생성하는 것을 특징으로 하는, 부호화 방법
|
| 3 |
3
제1항에 있어서, 상기 예측 특징맵을 생성하는 단계는, 딥러닝 기반 예측 모델을 이용하여, 상기 참조 특징맵으로부터 상기 예측 특징맵을 생성하는 것을 특징으로 하는, 부호화 방법
|
| 4 |
4
제3항에 있어서, 상기 예측 모델은, 손실함수를 기반으로 사전에 트레이닝되되, 상기 손실함수는 상기 예측 특징맵이 상기 참조 특징맵으로부터 상기 원본 특징맵을 잘 예측하도록 하는 손실, 상기 잔차 특징맵의 비트 수를 감소시키기 위한 손실, 및 상기 머신 비전 시스템의 복호화 장치가 생성하는 복원 특징맵과 상기 원본 특징맵 간의 차이를 감소시키기 위한 손실을 포함하는 것을 특징으로 하는, 부호화 방법
|
| 5 |
5
제3항에 있어서, 상기 예측 모델은, 상기 머신 태스크 모델과 함께 종단간으로 사전에 트레이닝되는 것을 특징으로 하는, 부호화 방법
|
| 6 |
6
제1항에 있어서, 상기 참조 특징맵을 부호화하는 단계는,상기 키 프레임 내 전송 블록의 주변 블록을 참조 블록으로 설정하는 단계;상기 참조 블록의 특징맵을 기반으로 예측을 수행하여 예측 블록의 특징맵을 생성하는 단계; 상기 전송 블록의 특징맵으로부터 상기 예측 블록의 특징맵을 감산하여 잔차 블록을 생성하는 단계; 및상기 잔차 블록을 부호화하는 단계를 포함하는 것을 특징으로 하는, 부호화 방법
|
| 7 |
7
제6항에 있어서, 상기 예측 블록의 특징맵을 생성하는 단계는, 상기 참조 블록의 특징맵을 기반으로 인트라 예측을 수행하여, 상기 예측 블록의 특징맵을 생성하는 것을 특징으로 하는, 부호화 방법
|
| 8 |
8
제6항에 있어서, 상기 예측 블록의 특징맵을 생성하는 단계는, 딥러닝 기반 블록 예측 모델을 이용하여, 상기 참조 블록의 특징맵으로부터 상기 예측 블록의 특징맵을 생성하는 것을 특징으로 하는, 부호화 방법
|
| 9 |
9
머신 비전 시스템의 부호화 장치가 수행하는, 주태스크(main task)와 부태스크들(subtasks)의 특징맵을 부호화하는 부호화 방법에 있어서,대상 태스크들 중에서 설정된 주태스크에 대해 딥러닝 기반 머신 태스크 모델을 이용하여 상기 주태스크의 특징맵인 참조 특징맵을 추출하는 단계;상기 머신 태스크 모델을 이용하여 부태스크들로부터 상기 부태크들 각각의 원본 특징맵을 추출하는 단계;상기 참조 특징맵을 기반으로 상기 부태스크들 각각의 예측 특징맵을 생성하는 단계;상기 부태스크들 각각의 원본 특징맵으로부터 상기 예측 특징맵을 감산하여 잔차 특징맵을 생성하는 단계; 상기 참조 특징맵을 부호화하는 단계; 및상기 부태스크들 각각의 잔차 특징맵을 부호화하는 단계를 포함하는 것을 특징으로 하는, 부호화 방법
|
| 10 |
10
제9항에 있어서, 상기 예측 특징맵을 생성하는 단계는, 딥러닝 기반 예측 모델을 이용하여, 상기 참조 특징맵으로부터 상기 예측 특징맵을 생성하는 것을 특징으로 하는, 부호화 방법
|
| 11 |
11
제10항에 있어서, 상기 예측 모델은, 손실함수를 기반으로 사전에 트레이닝되되, 상기 손실함수는 상기 예측 특징맵이 상기 참조 특징맵으로부터 상기 원본 특징맵을 잘 예측하도록 하는 손실, 상기 잔차 특징맵의 비트 수를 감소시키기 위한 손실, 및 상기 머신 비전 시스템의 복호화 장치가 생성하는 복원 특징맵과 상기 원본 특징맵 간의 차이를 감소시키기 위한 손실을 포함하는 것을 특징으로 하는, 부호화 방법
|
| 12 |
12
제9항에 있어서, 상기 참조 특징맵을 부호화하는 단계는,상기 주태스크를 나타내는 프레임 내 전송 블록의 주변 블록을 참조 블록으로 설정하는 단계;상기 참조 블록의 특징맵을 기반으로 예측을 수행하여 예측 블록의 특징맵을 생성하는 단계; 상기 전송 블록의 특징맵으로부터 상기 예측 블록의 특징맵을 감산하여 잔차 블록을 생성하는 단계; 및상기 잔차 블록을 부호화하는 단계를 포함하는 것을 특징으로 하는, 부호화 방법
|
| 13 |
13
제12항에 있어서, 상기 예측 블록의 특징맵을 생성하는 단계는, 상기 참조 블록의 특징맵을 기반으로 인트라 예측을 수행하여, 상기 예측 블록의 특징맵을 생성하는 것을 특징으로 하는, 부호화 방법
|
| 14 |
14
제12항에 있어서, 상기 예측 블록의 특징맵을 생성하는 단계는, 딥러닝 기반 블록 예측 모델을 이용하여, 상기 참조 블록의 특징맵으로부터 상기 예측 블록의 특징맵을 생성하는 것을 특징으로 하는, 부호화 방법
|
| 15 |
15
머신 비전 시스템의 부호화 장치가 수행하는, 다수의 계층들(layers)을 포함하는 머신 태스크 모델의 특징맵을 부호화하는 부호화 방법에 있어서,상기 머신 태스크 모델을 이용하여 입력 영상으로부터 제1 계층의 출력 특징맵인 참조 특징맵을 추출하는 단계;상기 머신 태스크 모델을 이용하여 상기 입력 영상으로부터 제2 계층의 출력 특징맵인 원본 특징맵을 추출하는 단계, 여기서
|
| 16 |
16
제15항에 있어서, 상기 예측 특징맵을 생성하는 단계는, 딥러닝 기반 예측 모델을 이용하여, 상기 참조 특징맵으로부터 상기 예측 특징맵을 생성하는 것을 특징으로 하는, 부호화 방법
|
| 17 |
17
제16항에 있어서, 상기 예측 모델은, 손실함수를 기반으로 사전에 트레이닝되되, 상기 손실함수는 상기 예측 특징맵이 상기 참조 특징맵으로부터 상기 원본 특징맵을 잘 예측하도록 하는 손실, 상기 잔차 특징맵의 비트 수를 감소시키기 위한 손실, 및 상기 머신 비전 시스템의 복호화 장치가 생성하는 복원 특징맵과 상기 원본 특징맵 간의 차이를 감소시키기 위한 손실을 포함하는 것을 특징으로 하는, 부호화 방법
|
| 18 |
18
제15항에 있어서, 상기 참조 특징맵을 부호화하는 단계는,상기 입력 영상 내 전송 블록의 주변 블록을 참조 블록으로 설정하는 단계;상기 참조 블록의 특징맵을 기반으로 예측을 수행하여 예측 블록의 특징맵을 생성하는 단계; 상기 전송 블록의 특징맵으로부터 상기 예측 블록의 특징맵을 감산하여 잔차 블록을 생성하는 단계; 및상기 잔차 블록을 부호화하는 단계를 포함하는 것을 특징으로 하는, 부호화 방법
|
| 19 |
19
제18항에 있어서, 상기 예측 블록의 특징맵을 생성하는 단계는, 상기 참조 블록의 특징맵을 기반으로 인트라 예측을 수행하여, 상기 예측 블록의 특징맵을 생성하는 것을 특징으로 하는, 부호화 방법
|
| 20 |
20
제18항에 있어서, 상기 예측 블록의 특징맵을 생성하는 단계는, 딥러닝 기반 블록 예측 모델을 이용하여, 상기 참조 블록의 특징맵으로부터 상기 예측 블록의 특징맵을 생성하는 것을 특징으로 하는, 부호화 방법
|
