| 1 |
1
머신 비전을 위한 복호화 장치가 수행하는 복호화 방법에 있어서,다중화 비트스트림을 획득하는 단계;상기 다중화 비트스트림으로부터 제1 비트스트림을 획득하는 단계, 여기서, 제1 비트스트림은, 원본 영상이 함축하는 대표 태스크를 표현하는 공통 특징맵이 부호화되어 생성됨; 공통특징 복호화기를 이용하여 상기 제1 비트스트림으로부터 상기 공통 특징맵을 복호화하는 단계; 및딥러닝 기반 영상복원 모델을 이용하여 상기 공통 특징맵으로부터 기본 영상을 생성하는 단계를 포함하는 것을 특징으로 하는, 복호화 방법
|
| 2 |
2
제1항에 있어서,제2 비트스트림이 상기 다중화 비트스트림에 포함된 경우, 상기 다중화 비트스트림으로부터 상기 제2 비트스트림을 획득하는 단계, 여기서, 상기 제2 비트스트림은 상기 대표 태스크에 포함되는 적어도 하나의 개별 태스크를 표현하는 태스크 특화 특징맵이 부호화되어 생성됨; 및태스크 특징 복호화기를 이용하여 상기 제2 비트스트림으로부터 상기 개별 태스크를 표현하는 태스크 특화 특징맵을 복호화하는 단계를 더 포함하는 것을 특징으로 하는, 복호화 방법
|
| 3 |
3
제2항에 있어서,제3 비트스트림이 상기 다중화 비트스트림에 포함된 경우,상기 다중화 비트스트림으로부터 상기 제3 비트스트림을 획득하는 단계, 여기서, 상기 제3 비트스트림은 적어도 하나의 잔여 태스크를 표현하는 태스크 특화 특징맵이 부호화되어 생성됨; 및상기 태스크 특징 복호화기를 이용하여 상기 제3 비트스트림으로부터 상기 잔여 태스크를 표현하는 태스크 특화 특징맵을 복호화하는 단계를 더 포함하는 것을 특징으로 하는, 복호화 방법
|
| 4 |
4
제1항에 있어서, 제4 비트스트림이 상기 다중화 비트스트림에 포함된 경우,상기 다중화 비트스트림으로부터 상기 제4 비트스트림을 획득하는 단계, 여기서, 상기 제4 비트스트림은 상기 원본 영상에서 상기 기본 영상을 감산하여 생성된 잔차 영상이 부호화되어 생성됨; 및비디오 복호화기를 이용하여 상기 제4 비트스트림으로부터 상기 잔차 영상을 복호화한 후, 상기 잔차 영상과 상기 기본 영상을 가산하여 복원 영상을 생성하는 단계를 더 포함하는 것을 특징으로 하는, 복호화 방법
|
| 5 |
5
제2항에 있어서, 상기 공통특징 복호화기 및 상기 태스크 특징 복호화기는, 비디오 신호용 복호화기 또는 딥러닝 기반 오토인코더를 이용하여 구현되는 것을 특징으로 하는, 복호화 방법
|
| 6 |
6
제1항에 있어서, 상기 기본 영상을 생성하는 단계는,딥러닝 기반 변환 모델을 이용하여 상기 공통 특징맵으로부터 변환 영상을 생성한 후, 상기 영상복원 모델을 이용하여 상기 변환 영상으로부터 상기 기본 영상을 생성하는 것을 특징으로 하는, 복호화 방법
|
| 7 |
7
제6항에 있어서, 상기 변환 모델은 상기 원본 영상과 상기 변환 영상 간의 차이에 기반하는 손실함수를 이용하여 사전에 학습되고, 상기 영상복원 모델은 상기 원본 영상과 상기 기본 영상 간의 차이에 기반하는 손실함수를 이용하여 사전에 학습되는 것을 특징으로 하는, 복호화 방법
|
| 8 |
8
머신 비전을 위한 부호화 장치가 수행하는 부호화 방법에 있어서, 원본 영상을 획득하는 단계;딥러닝 기반 공통특징 추출 모델을 이용하여 상기 원본 영상으로부터 공통 특징맵을 추출하는 단계, 여기서, 상기 공통 특징맵은 상기 원본 영상이 함축하는 대표 태스크를 표현함;공통특징 부호화기를 이용하여 상기 공통 특징맵을 부호화하여 제1 비트스트림을 생성하는 단계; 및공통특징 복호화기를 이용하여 상기 제1 비트스트림으로부터 복원 공통 특징맵을 복호화한 후, 딥러닝 기반 영상복원 모델을 이용하여 상기 복원 공통 특징맵으로부터 기본 영상을 생성하는 단계를 포함하는 것을 특징으로 하는, 부호화 방법
|
| 9 |
9
제8항에 있어서, 상기 공통특징 추출 모델은 기본 신경망, 결정 신경망 및 변환 모델을 포함하고, 상기 공통 특징맵을 추출하는 단계는, 상기 기본 신경망을 이용하여 상기 원본 영상으로부터 상기 공통 특징맵을 추출하되, 상기 결정 신경망을 이용하여 상기 공통 특징맵을 기반으로 상기 대표 태스크의 분석 결과를 생성하고, 상기 변환 모델을 이용하여 상기 공통 특징맵으로부터 제1 변환 영상을 생성하는 것을 특징으로 하는, 부호화 방법
|
| 10 |
10
제9항에 있어서,상기 결정 신경망을 이용하여 상기 공통 특징맵을 기반으로 상기 대표 태스크를 분석하여 분석 결과를 생성하는 단계;상기 분석 결과의 누적 신뢰도가 기설정된 임계치 미만인 경우, 딥러닝 기반 태스크 특징 추출 모델을 이용하여 상기 원본 영상으로부터 적어도 하나의 개별 태스크를 표현하는 태스크 특화 특징맵을 추출하는 단계, 여기서, 상기 적어도 하나의 개별 태스크는 상기 대표 태스크에 포함됨; 및태스크 특징 부호화기를 이용하여 상기 개별 태스크를 표현하는 태스크 특화 특징맵을 부호화하여 제2 비트스트림을 생성하는 단계를 더 포함하는 것을 특징으로 하는, 부호화 방법
|
| 11 |
11
제10항에 있어서, 적어도 하나의 잔여 태스크가 존재하는 경우, 상기 태스크 특징 추출 모델을 이용하여 상기 원본 영상으로부터 상기 잔여 태스크를 표현하는 태스크 특화 특징맵을 추출하는 단계; 및상기 태스크 특징 부호화기를 이용하여 상기 잔여 태스크를 표현하는 태스크 특화 특징맵을 부호화하여 제3 비트스트림을 생성하는 단계를 더 포함하는 것을 특징으로 하는, 부호화 방법
|
| 12 |
12
제11항에 있어서,상기 원본 영상에서 상기 기본 영상을 감산하여 잔차 영상을 생성하는 단계; 및비디오 부호화기를 이용하여 상기 잔차 영상을 부호화하여 제4 비트스트림을 생성하는 단계를 포함하는 것을 특징으로 하는, 부호화 방법
|
| 13 |
13
제12항에 있어서,상기 제1 비트스트림, 상기 제2 비트스트림, 상기 제3 비트스트림, 및 상기 제4 비트스트림의 전부 또는 일부를 결합하여 다중화 비트스트림을 생성하는 단계를 더 포함하는 것을 특징으로 하는, 부호화 방법
|
| 14 |
14
제9항에 있어서,상기 기본 신경망은, 다중 태스크 딥러닝 모델로 구현되는 것을 특징으로 하는, 부호화 방법
|
| 15 |
15
제9항에 있어서,상기 공통특징 추출 모델은, 상기 분석 결과 및 대응되는 레이블 간의 차이에 기반하는 손실함수, 및 상기 제1 변환 영상과 상기 원본 영상 간의 차이에 기반하는 손실함수의 가중합을 이용하여 종단간(end-to-end)으로 학습되는 것을 특징으로 하는, 부호화 방법
|
| 16 |
16
제8항에 있어서, 상기 공통특징 부호화기 및 상기 공통특징 복호화기는, 비디오 신호용 코덱(codec) 또는 딥러닝 기반 오토인코더를 이용하여 구현되되, 상기 오토인코더는 상기 공통 특징맵과 상기 복원 공통 특징맵 간의 차이에 기반하는 손실함수를 이용하여 학습되는 것을 특징으로 하는, 부호화 방법
|
| 17 |
17
제10항에 있어서,상기 태스크 특징 부호화기는,비디오 신호용 부호화기 또는 딥러닝 기반 오토인코더를 이용하여 구현되는 것을 특징으로 하는, 부호화 방법
|
| 18 |
18
제11항에 있어서, 상기 태스크 특징 추출 모델은 태스크 신경망 및 결정 신경망을 포함하고, 상기 태스크 특화 특징맵을 추출하는 단계는, 상기 태스크 신경망을 이용하여 상기 원본 영상으로부터 상기 태스크 특화 특징맵을 추출하되, 상기 결정 신경망을 이용하여 상기 태스크 특화 특징맵을 기반으로 상기 개별 태스크 또는 상기 잔여 태스크의 분석 결과를 생성하는 것을 특징으로 하는, 부호화 방법
|
| 19 |
19
제18항에 있어서,상기 태스크 특징 추출 모델은, 상기 분석 결과 및 대응되는 레이블 간의 차이에 기반하는 손실함수 이용하여 학습되는 것을 특징으로 하는, 부호화 방법
|
| 20 |
20
제12항에 있어서,상기 비디오 부호화기는,비디오 신호용 부호화기 또는 딥러닝 기반 오토인코더를 이용하여 구현되는 것을 특징으로 하는, 부호화 방법
|
| 21 |
21
제9항에 있어서, 상기 기본 영상을 생성하는 단계는,상기 변환 모델을 이용하여 상기 복원 공통 특징맵으로부터 제2 변환 영상을 생성한 후, 상기 영상복원 모델을 이용하여 상기 제2 변환 영상으로부터 상기 기본 영상을 생성하는 것을 특징으로 하는, 부호화 방법
|
| 22 |
22
제21항에 있어서, 상기 영상복원 모델은,상기 원본 영상과 상기 기본 영상 간의 차이에 기반하는 손실함수를 이용하여 학습되는 것을 특징으로 하는, 부호화 방법
|
| 23 |
23
다중화 비트스트림으로부터 제1 비트스트림을 획득하는 역다중화기, 여기서, 제1 비트스트림은, 원본 영상이 함축하는 대표 태스크를 표현하는 공통 특징맵이 부호화되어 생성됨; 상기 제1 비트스트림으로부터 상기 공통 특징맵을 복호화하는 공통특징 복호화기; 및딥러닝 기반 영상복원 모델을 이용하여 상기 공통 특징맵으로부터 기본 영상을 생성하는 특징대영상 매핑기를 포함하는 것을 특징으로 하는, 머신 비전을 위한 복호화 장치
|
| 24 |
24
제23항에 있어서,제2 비트스트림이 상기 다중화 비트스트림에 포함된 경우, 상기 역다중화기가 상기 다중화 비트스트림으로부터 생성하는 제2 비트스트림을 획득하여, 상기 제2 비트스트림으로부터 상기 대표 태스크에 포함되는 적어도 하나의 개별 태스크를 표현하는 태스크 특화 특징맵을 복호화하는 적어도 하나의 태스크 특징 복호화기를 더 포함하되, 상기 제2 비트스트림은 상기 개별 태스크를 표현하는 태스크 특화 특징맵이 부호화된 것을 특징으로 하는, 머신 비전을 위한 복호화 장치
|
| 25 |
25
제24항에 있어서,상기 태스크 특징 복호화기는,제3 비트스트림이 상기 다중화 비트스트림에 포함된 경우, 상기 역다중화기가 상기 다중화 비트스트림으로부터 생성하는 제3 비트스트림을 획득하여, 상기 제3 비트스트림으로부터 적어도 하나의 잔여 태스크를 표현하는 태스크 특화 특징맵을 복호화하되, 상기 제3 비트스트림은 상기 잔여 태스크를 표현하는 태스크 특화 특징맵이 부호화된 것을 특징으로 하는, 머신 비전을 위한 복호화 장치
|
| 26 |
26
제23항에 있어서, 제4 비트스트림이 상기 다중화 비트스트림에 포함된 경우, 상기 역다중화기가 상기 다중화 비트스트림으로부터 생성하는 제4 비트스트림을 획득하여, 상기 제4 비트스트림으로부터 잔차 영상을 복호화한 후, 상기 잔차 영상과 상기 기본 영상을 가산하여 복원 영상을 생성하는 비디오 복호화기를 더 포함하되,상기 제4 비트스트림은 상기 원본 영상에서 상기 기본 영상을 감산하여 생성된 잔차 영상이 부호화된 것을 특징으로 하는, 머신 비전을 위한 복호화 장치
|
