| 1 |
1
머신 비전 부호화 장치가 수행하는, 특징맵을 부호화하는 부호화 방법에 있어서,딥러닝(deep learning) 모델을 이용하여 입력 영상으로부터 상기 특징맵을 추출하는 단계, 여기서, 상기 특징맵은 상기 딥러닝 모델의 중간 계층으로부터 생성됨; 상기 특징맵의 크기를 축소하여 축소(reduced) 특징맵을 생성하는 단계; 상기 축소 특징맵의 데이터 타입을 변환하고, 상기 축소 특징맵을 재배열하여 변형(converted) 특징맵을 생성하는 단계; 및비디오 부호화기를 이용하여 상기 변형 특징맵을 부호화함으로써 비트스트림을 생성하는 단계를 포함하는 것을 특징으로 하는, 부호화 방법
|
| 2 |
2
제1항에 있어서, 상기 특징맵은, 동일한 높이와 너비를 갖는 2D 특징맵을 채널의 개수만큼 포함하는 것을 특징으로 하는, 부호화 방법
|
| 3 |
3
제1항에 있어서, 상기 축소 특징맵을 생성하는 단계는,상기 특징맵의 공간 또는 채널 측면에서의 특징맵 희소화(feature map sparsification)를 기반으로 상기 특징맵을 축소하는 것을 특징으로 하는, 부호화 방법
|
| 4 |
4
제3항에 있어서, 상기 축소 특징맵을 생성하는 단계는,상기 특징맵 희소화 및 텐서 분해를 결합하여 상기 특징맵을 축소하는 것을 특징으로 하는, 부호화 방법
|
| 5 |
5
제3항에 있어서, 상기 축소 특징맵을 생성하는 단계는,상기 특징맵을 구성하는 2D 특징맵 내에서, 영역의 특징 값이 기설정된 임계치보다 작은 경우, 상기 영역의 특징 값을 0으로 설정하는 것을 특징으로 하는, 부호화 방법
|
| 6 |
6
제3항에 있어서, 상기 축소 특징맵을 생성하는 단계는, 기설정된 채널 간격을 갖는 두 개의 2D 특징맵 간의 거리를 산정하는 단계;상기 거리가 기설정된 임계치보다 작은 경우에 해당하는 2D 특징맵의 짝들(pairs)을 모두 선택하는 단계; 및상기 선택된 짝들 각각에 대해, 하나의 2D 특징맵의 모든 값을 0으로 희소화하거나 상기 하나의 2D 특징맵을 삭제하는 단계를 포함하는 것을 특징으로 하는, 부호화 방법
|
| 7 |
7
제6항에 있어서, 상기 비트스트림을 생성하는 단계는,상기 하나의 2D 특징맵이 희소화된 경우, 희소화된 2D 특징맵, 및 상기 기설정된 채널 간격을 부호화하고, 상기 하나의 2D 특징맵이 삭제된 경우, 삭제된 2D 특징맵의 인덱스, 및 상기 기설정된 채널 간격을 부호화하는 것을 특징으로 하는, 부호화 방법
|
| 8 |
8
제1항에 있어서, 상기 축소 특징맵을 생성하는 단계는,텐서 분해(tensor decomposition)를 기반으로 상기 특징맵을 축소하는 것을 특징으로 하는, 부호화 방법
|
| 9 |
9
제8항에 있어서, 상기 축소 특징맵을 생성하는 단계는,터커 분해(Tucker decomposition)를 이용하여, 상기 특징맵을 하나의 커널 텐서(kernel tensor), 및 3 개의 인자 행렬들(factor matrices)로 분해하는 것을 특징으로 하는, 부호화 방법
|
| 10 |
10
제8항에 있어서, 상기 축소 특징맵을 생성하는 단계는,CP(Canonical Polyadic) 분해를 이용하여, 상기 특징맵을 P(여기서, P는 자연수) 개의 랭크(rank) 1 텐서들로 분해하는 것을 특징으로 하는, 부호화 방법
|
| 11 |
11
딥러닝(deep learning) 모델을 이용하여 입력 영상으로부터 특징맵을 추출하는 특징 추출기, 여기서, 상기 특징맵은 상기 딥러닝 모델의 중간 계층으로부터 생성됨; 상기 특징맵의 크기를 축소하여 축소(reduced) 특징맵을 생성하는 특징 축소기(feature reducer); 상기 축소 특징맵의 데이터 타입을 변환하기 위해 상기 축소 특징맵을 양자화하는 사전 양자화기(pre-quantizer);상기 양자화된 특징맵을 비디오 시퀀스의 형태로 재배열하여 변형(converted) 특징맵을 생성하는 리패커(repacker); 및비디오 부호화기를 이용하여 상기 변형 특징맵을 부호화함으로써 비트스트림을 생성하는 특징 부호화기를 포함하는 것을 특징으로 하는, 머신 비전 부호화 장치
|
| 12 |
12
제11항에 있어서, 상기 특징 축소기는,상기 특징맵의 공간 또는 채널 측면에서의 특징맵 희소화(feature map sparsification)를 기반으로 상기 특징맵을 축소하는 것을 특징으로 하는, 머신 비전 부호화 장치
|
| 13 |
13
제11항에 있어서, 상기 특징 축소기는,텐서 분해(tensor decomposition)를 기반으로 상기 특징맵을 축소하는 것을 특징으로 하는, 머신 비전 부호화 장치
|
| 14 |
14
머신 비전 복호화 장치가 수행하는 복호화 방법에 있어서,비디오 복호화기를 이용하여 비트스트림으로부터 변형 특징맵을 복호화하는 단계;상기 변형 특징맵을 재배열하고, 상기 재배열된 변형 특징맵의 데이터 타입을 변환하여 축소(reduced) 특징맵을 복원하는 단계; 및상기 축소 특징맵의 크기를 확장하여 복원 특징맵을 생성하는 단계를 포함하되,상기 복원 특징맵은 머신 비전 부호화 장치 내 딥러닝 모델의 중간 계층으로부터 생성된 특징맵에 대응하는 것을 특징으로 하는, 복호화 방법
|
| 15 |
15
제14항에 있어서, 상기 복원 특징맵은, 동일한 높이와 너비를 갖는 2D 특징맵을 채널의 개수만큼 포함하는 것을 특징으로 하는, 복호화 방법
|
| 16 |
16
제14항에 있어서,상기 축소 특징맵이 채널 측면에서의 특징맵 희소화(feature map sparsification)를 기반으로 축소된 경우, 기설정된 채널 간격 및 희소화된 2D 특징맵을 복호화하거나 상기 기설정된 채널 간격 및 삭제된 2D 특징맵의 인덱스를 복호화하는 단계를 더 포함하는 것을 특징으로 하는, 복호화 방법
|
| 17 |
17
제16항에 있어서, 상기 복원 특징맵을 생성하는 단계는,상기 희소화된 2D 특징맵에 대해 상기 기설정된 채널 간격의 앞 또는 뒤의 복원 2D 특징맵을 상기 희소화된 2D 특징맵의 위치에 복사하거나, 상기 삭제된 2D 특징맵에 대해 상기 인덱스를 참조하여 상기 기설정된 채널 간격의 앞 또는 뒤의 복원 2D 특징맵을 상기 삭제된 2D 특징맵의 위치에 복사함으로써, 상기 복원 특징맵을 생성하는 것을 특징으로 하는, 복호화 방법
|
| 18 |
18
제14항에 있어서, 상기 복원 특징맵을 생성하는 단계는,상기 축소 특징맵이 터커 분해(Tucker decomposition)를 이용하여 축소된 경우, 상기 축소 특징맵을 구성하는 커널 텐서(kernel tensor) 및 인자 행렬들(factor matrices)을 이용하여 상기 복원 특징맵을 생성하는 것을 특징으로 하는, 복호화 방법
|
| 19 |
19
제14항에 있어서, 상기 복원 특징맵을 생성하는 단계는,상기 축소 특징맵이 CP(Canonical Polyadic) 분해를 이용하여 축소된 경우, 상기 축소 특징맵을 구성하는 P(여기서, P는 자연수) 개의 랭크(rank) 1 텐서들을 이용하여 상기 복원 특징맵을 생성하는 것을 특징으로 하는, 복호화 방법
|
