| 1 |
1
다중 디코더 기반의 비재귀적 심화 신경망을 구성하고, 음성의 시간적 정보가 포함된 템플릿(Template)으로부터 상기 다중 디코더를 통하여 단계적으로 음성 특징 벡터열을 생성하는 음성 특징 벡터열 합성부; 및 상기 음성 특징 벡터열을 음성 데이터로 변환하는 음성 재구성부를 포함하고, 상기 음성 특징 벡터열 합성부는, 상기 템플릿(Template) 입력을 생성하고, 생성된 상기 템플릿(Template) 입력에 어텐션 메커니즘(attention mechanism)을 통해 정제된 문장 데이터를 추가하여 음성 특징 벡터열을 생성하는 것을 특징으로 하는, 심화 신경망 기반의 비-자동회귀 음성 합성 시스템
|
| 2 |
2
제1항에 있어서,문장 데이터를 분석하여 정제된 문장 데이터를 출력하는 문장 데이터 분석부를 더 포함하고, 상기 문장 데이터 분석부는, 상기 문장 데이터를 한글의 자모 단위로 분해하여 자모 단위 입력을 생성한 후, 임베딩하여 문장 특징 벡터열 형태의 임베딩된 문장 데이터를 형성하고, 상기 임베딩된 문장 데이터를 콘볼루션(convolution) 인공 신경망을 이용하여 정제하여 상기 정제된 문장 데이터를 형성하는 것를 포함하는, 심화 신경망 기반의 비-자동회귀 음성 합성 시스템
|
| 3 |
3
제2항에 있어서,상기 문장 데이터 분석부는, 상기 문장 데이터를 한글의 자모 단위로 분해하여 자모 단위 입력을 생성하고, 상기 자모 단위 입력을 색인하여 숫자 데이터로 매핑하여, 상기 숫자 데이터를 원-핫 인코딩(One-hot encoding)하고, 원-핫 인코딩(One-hot encoding)된 벡터열을 문장 임베딩 매트릭스와 곱하여 연속된 특성을 가지는 벡터열로 이루어진 상기 임베딩된 문장 데이터를 생성하는 것을 특징으로 하는, 심화 신경망 기반의 비-자동회귀 음성 합성 시스템
|
| 4 |
4
제1항에 있어서, 상기 음성 특징 벡터열 합성부는, 상기 템플릿(Template) 입력을 생성하고, 상기 템플릿(Template) 입력에 어텐션 메커니즘(attention mechanism)을 이용하여 상기 정제된 문장 데이터를 추가하여 인코딩된 템플릿(Template)을 생성한 후, 상기 인코딩된 템플릿(Template)을 디코딩을 통해 멜 필터 뱅크 음성 특징 벡터열을 합성하고, 상기 멜 필터 뱅크 음성 특징 벡터열에서 로그 파워 스펙트럼 음성 특징 벡터열을 합성하는 것을 특징으로 하는, 심화 신경망 기반의 비-자동회귀 음성 합성 시스템
|
| 5 |
5
제4항에 있어서,상기 음성 특징 벡터열 합성부는, 상기 정제된 문장 데이터와 상기 템플릿(Template)을 입력으로 받아 상기 어텐션 메커니즘이 로그 파워 스펙트럼 합성에 필요한 부분을 선택하여 고정된 길이의 벡터를 형성하고, 다중 디코더를 통해 상기 템플릿(Template)으로부터 단계적으로 로그 파워 스펙트럼을 추정하며, 상기 다중 디코더 중 적어도 어느 하나 이상의 단일 디코더에서 콘볼루션 네트워크와 상기 어텐션 메커니즘을 반복하여 정확한 정보를 담은 상기 템플릿(Template) 데이터를 인코딩하는 것을 특징으로 하는, 심화 신경망 기반의 비-자동회귀 음성 합성 시스템
|
| 6 |
6
제1항에 있어서,상기 음성 재구성부는, 그리핀-림 알고리즘(Griffin-lim algorithm)을 이용하여 크기(magnitude) 정보를 갖는 상기 음성 특징 벡터열로부터 위상(phase) 정보를 생성하여 상기 음성 데이터로 변환하는 것을 특징으로 하는, 심화 신경망 기반의 비-자동회귀 음성 합성 시스템
|
| 7 |
7
다중 디코더 기반의 비재귀적 심화 신경망을 구성하고, 음성의 시간적 정보가 포함된 템플릿(Template)으로부터 상기 다중 디코더를 통하여 단계적으로 음성 특징 벡터열을 생성하는 음성 특징 벡터열 합성 단계; 및 상기 음성 특징 벡터열을 음성 데이터로 변환하는 음성 재구성 단계를 포함하고, 상기 음성 특징 벡터열 합성 단계는, 상기 템플릿(Template) 입력을 생성하고, 생성된 상기 템플릿(Template) 입력에 어텐션 메커니즘(attention mechanism)을 통해 정제된 문장 데이터를 추가하여 음성 특징 벡터열을 생성하는 것을 특징으로 하는, 심화 신경망 기반의 비-자동회귀 음성 합성 방법
|
| 8 |
8
제7항에 있어서,문장 데이터를 분석하여 정제된 문장 데이터를 출력하는 문장 데이터 분석 단계를 더 포함하고, 상기 문장 데이터 분석 단계는, 상기 문장 데이터를 한글의 자모 단위로 분해하여 자모 단위 입력을 생성한 후, 임베딩하여 문장 특징 벡터열 형태의 임베딩된 문장 데이터를 형성하는 단계; 및 상기 임베딩된 문장 데이터를 콘볼루션(convolution) 인공 신경망을 이용하여 정제하여 상기 정제된 문장 데이터를 형성하는 단계를 포함하는, 심화 신경망 기반의 비-자동회귀 음성 합성 방법
|
| 9 |
9
제8항에 있어서,상기 문장 특징 벡터열 형태의 임베딩된 문장 데이터를 형성하는 단계는, 상기 문장 데이터를 한글의 자모 단위로 분해하여 자모 단위 입력을 생성하는 단계; 상기 자모 단위 입력을 색인하여 숫자 데이터로 매핑하는 단계; 상기 숫자 데이터를 원-핫 인코딩(One-hot encoding)하는 단계; 및 원-핫 인코딩(One-hot encoding)된 벡터열을 문장 임베딩 매트릭스와 곱하여 연속된 특성을 가지는 벡터열로 이루어진 상기 임베딩된 문장 데이터를 생성하는 단계를 포함하는, 심화 신경망 기반의 비-자동회귀 음성 합성 방법
|
| 10 |
10
제7항에 있어서,상기 음성 특징 벡터열 합성부의 입력인 상기 템플릿(Template)은, 절대적인 위치의 인코딩(absolute positional encoding) 데이터와 상대적인 위치의 인코딩(relative positional encoding) 데이터로 이루어지는 것을 특징으로 하는, 심화 신경망 기반의 비-자동회귀 음성 합성 방법
|
| 11 |
11
제7항에 있어서, 상기 음성 특징 벡터열 합성 단계는, 상기 템플릿(Template) 입력을 생성하는 단계; 상기 템플릿(Template) 입력에 어텐션 메커니즘(attention mechanism)을 이용하여 상기 정제된 문장 데이터를 추가하여 인코딩된 템플릿(Template)을 생성하는 음성 데이터 인코딩 단계; 상기 인코딩된 템플릿(Template)을 디코딩을 통해 멜 필터 뱅크 음성 특징 벡터열을 합성하는 음성 데이터 디코딩 단계; 및 상기 멜 필터 뱅크 음성 특징 벡터열에서 로그 파워 스펙트럼 음성 특징 벡터열을 합성하는 단계를 포함하는, 심화 신경망 기반의 비-자동회귀 음성 합성 방법
|
| 12 |
12
제11항에 있어서,상기 상기 템플릿(Template) 입력을 생성하는 단계는, 절대적인 위치의 인코딩 데이터를 생성하는 단계; 상대적인 위치의 인코딩 데이터를 생성하는 단계; 및생성된 상기 절대적인 위치의 인코딩 데이터와 상기 상대적인 위치의 인코딩 데이터를 병합(concatenate)하여 상기 템플릿(Template)을 생성하는 단계를 포함하는, 심화 신경망 기반의 비-자동회귀 음성 합성 방법
|
| 13 |
13
제11항에 있어서,상기 음성 데이터 인코딩 단계는, 상기 정제된 문장 데이터와 상기 템플릿(Template)을 입력으로 받아 상기 어텐션 메커니즘이 로그 파워 스펙트럼 합성에 필요한 부분을 선택하여 고정된 길이의 벡터를 형성하는 단계; 다중 디코더를 통해 상기 템플릿(Template)으로부터 단계적으로 로그 파워 스펙트럼을 추정하는 단계; 및 상기 다중 디코더 중 적어도 어느 하나 이상의 단일 디코더에서 콘볼루션 네트워크와 상기 어텐션 메커니즘을 반복하여 정확한 정보를 담은 상기 템플릿(Template) 데이터를 인코딩하는 단계를 포함하는, 심화 신경망 기반의 비-자동회귀 음성 합성 방법
|
| 14 |
14
제11항에 있어서,상기 음성 데이터 디코딩 단계는, 음성 데이터 디코딩 인공 신경망을 통해 상기 인코딩된 템플릿(Template)으로부터 멜 필터 뱅크 음성 특징 벡터열을 합성하는 단계를 포함하는, 심화 신경망 기반의 비-자동회귀 음성 합성 방법
|
| 15 |
15
제7항에 있어서,상기 음성 재구성 단계는, 그리핀-림 알고리즘(Griffin-lim algorithm)을 이용하여 크기(magnitude) 정보를 갖는 상기 음성 특징 벡터열로부터 위상(phase) 정보를 생성하여 상기 음성 데이터로 변환하는 것을 특징으로 하는, 심화 신경망 기반의 비-자동회귀 음성 합성 방법
|
