| 1 |
1
신경망 기반 피쳐 맵(feature map) 복호화 방법에 있어서,비트스트림으로부터 피쳐 맵 그룹을 복호화하는 단계로서, 상기 피쳐 맵 그룹은 시그널링이 스킵(skip)된 피쳐 맵을 제외한 나머지 피쳐 맵들을 포함하고, 상기 스킵된 피쳐 맵 및 상기 나머지 피쳐 맵들은 하나의 계층 구조 내에서 각각 서로 다른 해상도를 가짐;상기 복호화된 피쳐 맵 그룹에 대하여 역 패킹을 수행함으로써 상기 나머지 피쳐 맵들을 획득하는 단계;상기 나머지 피쳐 맵들 중 적어도 하나의 피쳐 맵에 기초하여 상기 스킵된 피쳐 맵을 생성하는 단계; 및상기 나머지 피쳐 맵들 및 상기 스킵된 피쳐 맵에 기초하여 최종 피쳐 맵을 복원하는 단계를 포함하는, 피쳐 맵 복호화 방법
|
| 2 |
2
제1항에 있어서,상기 피쳐 맵 그룹을 복호화하는 단계는,상기 비트스트림으로부터 피쳐 맵 그룹 헤더 정보를 복호화 하는 단계를 포함하고,상기 피쳐 맵 그룹 헤더 정보는 상기 나머지 피쳐 맵들 각각을 지시하기 위한 인덱스 정보, 상기 나머지 피쳐 맵들의 채널 크기 정보 또는 상기 나머지 피쳐 맵들의 부호화에 이용된 부호화기 종류 정보 중 적어도 하나를 포함하는, 피쳐 맵 복호화 방법
|
| 3 |
3
제2항에 있어서,상기 피쳐 맵 그룹 헤더 정보는 상기 나머지 피쳐 맵들의 채널 개수 정보 또는 데이터 정렬 방식 정보 중 적어도 하나를 더 포함하는, 피쳐 맵 복호화 방법
|
| 4 |
4
제3항에 있어서,상기 나머지 피쳐 맵들을 획득하는 단계는,상기 피쳐 맵 그룹 내에서 미리 정의된 순서에 따라 피쳐 맵 인덱스가 정렬되어 2차원 패킹된 데이터를, 상기 채널 개수 또는 상기 데이터 정렬 방식 정보 중 적어도 하나에 기초하여 복수의 피쳐 맵들로 분리하여 역 정렬을 수행함으로써 상기 복호화된 피쳐 맵 그룹에 대하여 역 패킹을 수행하는, 피쳐 맵 복호화 방법
|
| 5 |
5
제1항에 있어서,상기 스킵된 피쳐 맵은 상기 획득된 나머지 피쳐 맵들 중에서 상기 스킵된 피쳐 맵의 인접 하위 계층의 피쳐 맵에 대하여 업샘플링을 수행함으로써 생성되는, 피쳐 맵 복호화 방법
|
| 6 |
6
제1항에 있어서,상기 스킵된 피쳐 맵을 생성하는 단계는,상기 나머지 피쳐 맵들 중에서 상기 스킵된 피쳐 맵에 인접한 하위 계층의 피쳐 맵에 대하여 업샘플링을 수행하는 단계;상기 나머지 피쳐 맵들 중에서 상기 스킵된 피쳐 맵에 인접한 상위 계층의 피쳐 맵에 대하여 다운샘플링을 수행하는 단계; 및상기 업샘플링된 인접한 하위 계층의 피쳐 맵 및 상기 다운샘플링된 인접한 하위 계층의 피쳐 맵에 대하여 요소별 가중 합(element-wise weighted-summation)을 수행하는 단계를 포함하는, 피쳐 맵 복호화 방법
|
| 7 |
7
제1항에 있어서,상기 스킵된 피쳐 맵을 생성하는 단계는,컨볼루션 레이어 및 GDN(Generalized Divisive Normalization) 레이어를 포함하는 피쳐 맵 예측 네트워크를 이용하여 수행되는, 피쳐 맵 복호화 방법
|
| 8 |
8
제1항에 있어서,상기 최종 피쳐 맵을 복원하는 단계는,상기 나머지 피쳐 맵들 및 상기 스킵된 피쳐 맵 각각에 대하여 상기 최종 피쳐 맵과 동일한 해상도를 갖도록 업샘플링을 수행하는 단계; 및상기 업샘플링된 나머지 피쳐 맵들 및 상기 업샘플링된 스킵된 피쳐 맵에 대하여 접합(concatenation) 연산을 수행하는 단계를 포함하는, 피쳐 맵 복호화 방법
|
| 9 |
9
제1항에 있어서,상기 나머지 피쳐 맵들 중 적어도 하나의 피쳐 맵에 대하여 화질 개선을 수행하는 단계를 더 포함하고,상기 스킵된 피쳐 맵은 상기 화질 개선이 수행된 피쳐 맵을 이용하여 생성되는, 피쳐 맵 복호화 방법
|
| 10 |
10
제9항에 있어서,상기 화질 개선을 수행하는 단계는,컨볼루션 레이어 및 GDN(Generalized Divisive Normalization) 레이어를 포함하는 피쳐 맵 화질 개선 네트워크를 이용하여 수행되는, 피쳐 맵 복호화 방법
|
| 11 |
11
신경망 기반의 신호 처리 장치에 있어서,상기 신호 처리 장치를 제어하는 프로세서; 및상기 프로세서와 결합되고, 데이터를 저장하는 메모리를 포함하되,상기 프로세서는,비트스트림으로부터 피쳐 맵 그룹을 복호화하되, 상기 피쳐 맵 그룹은 시그널링이 스킵(skip)된 피쳐 맵을 제외한 나머지 피쳐 맵들을 포함하고, 상기 스킵된 피쳐 맵 및 상기 나머지 피쳐 맵들은 하나의 계층 구조 내에서 각각 서로 다른 해상도를 가지며,상기 복호화된 피쳐 맵 그룹에 대하여 역 패킹을 수행함으로써 상기 나머지 피쳐 맵들을 획득하고,상기 나머지 피쳐 맵들 중 적어도 하나의 피쳐 맵에 기초하여 상기 스킵된 피쳐 맵을 생성하고,상기 나머지 피쳐 맵들 및 상기 스킵된 피쳐 맵에 기초하여 최종 피쳐 맵을 복원하는, 신경망 기반의 신호 처리 장치
|
