| 1 |
1
학습 모델을 이용한 오디오 신호의 부호화 방법에 있어서, 상기 오디오 신호에 대한 피치(pitch) 정보를 추출하는 단계; 상기 피치 정보에 기초하여 상기 오디오 신호로부터 특징맵을 추출하는 제1 확장형 신경망 블록의 수용 영역(receptive field)에 대한 확장 인자를 결정하는 단계; 상기 확장 인자가 결정된 제1 확장형 신경망 블록을 이용하여, 상기 오디오 신호의 제1 특징맵(feature map)을 생성하는 단계;상기 제1 특징맵을 가공하는 제2 확장형 신경망 블록에 상기 제1 특징맵을 입력하여 제2 특징맵을 결정하는 단계; 상기 제2 특징맵과 상기 피치 정보를 비트스트림으로 변환하는 단계를 포함하는 부호화 방법
|
| 2 |
2
제1항에 있어서,상기 제1 특징맵을 생성하는 단계는, 상기 오디오 신호의 채널을 변환하여, 상기 제1 확장형 신경망 블록에 입력함으로써 상기 제1 특징맵을 생성하고,상기 제2 특징맵을 결정하는 단계는, 상기 결정된 제2 특징맵의 채널 수를 변환하는 단계를 더 포함하는, 부호화 방법
|
| 3 |
3
제1항에 있어서,상기 제2 특징맵을 결정하는 단계는, 상기 제1 특징맵에 대해, 상기 제1 특징맵의 차원을 축소하는 다운 샘플링(down sampling)을 수행하고, 상기 다운 샘플링된 제1 특징맵을 상기 제2 확장형 신경망 블록에 입력하여 상기 제2 특징맵을 결정하는, 부호화 방법
|
| 4 |
4
제1항에 있어서,상기 확장 인자를 결정하는 단계는,상기 제1 확장형 신경망 블록의 수용 영역을 상기 피치 정보와 근사화함으로써 상기 확장 인자를 결정하는, 부호화 방법
|
| 5 |
5
제1항에 있어서,상기 제2 확장형 신경망 블록의 확장 인자는 고정된 값으로 미리 결정되고,상기 제2 확장형 신경망 블록의 수용 영역은,상기 제2 확장형 신경망 블록의 확장 인자에 따라 결정되는, 부호화 방법
|
| 6 |
6
제1항에 있어서,상기 제2 특징맵과 상기 피치 정보를 각각 양자화하는 단계를 더 포함하고, 상기 비트스트림으로 변환하는 단계는, 상기 양자화된 제2 특징맵과 피치 정보를 다중화하여 비트스트림으로 변환하는, 부호화 방법
|
| 7 |
7
학습 모델을 이용한 오디오 신호의 복호화 방법에 있어서, 부호화기로부터 수신한 비트스트림에서 상기 오디오 신호에 대한 제2 특징맵(feature map)과 상기 오디오 신호의 피치(pitch) 정보를 추출하는 단계; 특징맵을 복원하는 제2 확장형 신경망 블록에 상기 제2 특징맵을 입력하여 제1 특징맵을 복원하는 단계; 상기 피치 정보에 기초하여 특징맵으로부터 오디오 신호를 복원하는 제1 확장형 신경망 블록의 수용 영역(receptive field)에 대한 확장 인자를 결정하는 단계; 상기 확장 인자가 결정된 제1 확장형 신경망 블록을 이용하여 상기 제1 특징맵으로부터 오디오 신호를 복원하는 단계를 포함하는 복호화 방법
|
| 8 |
8
제7항에 있어서,상기 제1 특징맵을 복원하는 단계는, 상기 제2 특징맵의 채널 수를 변환하여, 상기 제2 확장형 신경망 블록에 입력함으로써 상기 제1 특징맵을 복원하고,상기 오디오 신호를 복원하는 단계는, 상기 복원된 오디오 신호의 채널 수를 상기 부호화기의 입력 신호의 채널 수와 동일하도록 변환하는 단계를 더 포함하는, 복호화 방법
|
| 9 |
9
제7항에 있어서,상기 오디오 신호를 복원하는 단계는, 상기 제1 특징맵에 대해, 상기 제1 특징맵의 차원을 확장하도록 업 샘플링(up sampling)을 수행하고, 상기 업 샘플링된 제1 특징맵을 상기 제1 확장형 신경망 블록에 입력하여 상기 오디오 신호를 결정하는, 복호화 방법
|
| 10 |
10
제7항에 있어서,상기 확장 인자는,상기 부호화기에서, 상기 제1 확장형 신경망 블록의 수용 영역을 상기 피치 정보와 근사화함으로써 결정되는, 복호화 방법
|
| 11 |
11
제7항에 있어서,상기 제2 확장형 신경망 블록의 확장 인자는 고정된 값으로 미리 결정되고,상기 제2 확장형 신경망 블록의 수용 영역은,상기 제2 확장형 신경망 블록의 확장 인자에 따라 결정되는, 복호화 방법
|
| 12 |
12
제7항에 있어서,상기 제2 특징맵과 상기 오디오 신호의 피치 정보를 추출하는 단계는, 상기 제2 특징맵과 상기 피치 정보를 각각 역-양자화하는 단계를 더 포함하는, 복호화 방법
|
| 13 |
13
오디오 신호의 부호화 방법을 수행하는 부호화기에 있어서, 상기 부호화기는 프로세서를 포함하고,상기 프로세서는,상기 오디오 신호에 대한 피치(pitch) 정보를 추출하고, 상기 피치 정보에 기초하여 상기 오디오 신호로부터 특징맵을 추출하는 제1 확장형 신경망 블록의 수용 영역(receptive field)에 대한 확장 인자를 결정하고, 상기 확장 인자가 결정된 제1 확장형 신경망 블록을 이용하여, 상기 오디오 신호의 제1 특징맵(feature map)을 생성하고, 상기 제1 특징맵을 가공하는 제2 확장형 신경망 블록에 상기 제1 특징맵을 입력하여 제2 특징맵을 결정하고, 상기 제2 특징맵과 상기 피치 정보를 비트스트림으로 변환하는,부호화기
|
| 14 |
14
제13항에 있어서,상기 프로세서는, 상기 제1 특징맵에 대해, 상기 제1 특징맵의 차원을 축소하는 다운 샘플링(down sampling)을 수행하고, 상기 다운 샘플링된 제1 특징맵을 상기 제2 확장형 신경망 블록에 입력하여 상기 제2 특징맵을 결정하는, 부호화기
|
| 15 |
15
제13항에 있어서,상기 프로세서는,상기 제1 확장형 신경망 블록의 수용 영역을 상기 피치 정보와 근사화함으로써 상기 확장 인자를 결정하는, 부호화기
|
| 16 |
16
제13항에 있어서,상기 제2 확장형 신경망 블록의 확장 인자는 고정된 값으로 미리 결정되고,상기 제2 확장형 신경망 블록의 수용 영역은,상기 제2 확장형 신경망 블록의 확장 인자에 따라 결정되는, 부호화기
|
