| 1 |
1
음성합성장치의 다화자 훈련 데이터셋에 기초한 음성합성 방법으로서, 여러 화자의 훈련 데이터셋 중에서 발화 문장이 가장 많은 단일 화자 훈련 데이터 셋을 미리 저장된 신경망을 이용한 음성합성모델에 적용하여 사전 학습하는 단계; 상기 사전 학습된 음성합성모델에 여러 화자의 훈련 데이터셋으로 파인 튜닝(fine-tuning)하는 단계; 및 타겟 음성 데이터 셋을 상기 파인 튜닝된 음성합성모델에 적용하여 멜 스펙트로그램으로 변환하는 단계;를 포함하는 다화자 훈련 데이터셋에 기초한 음성합성 방법
|
| 2 |
2
제1항에 있어서,상기 멜 스펙트로그램에 기초하여 웨이브폼 형식의 음성파일을 생성하는 단계를 더 포함하는 다화자 훈련 데이터셋에 기초한 음성합성 방법
|
| 3 |
3
제1항에 있어서,상기 멜 스펙트로그램으로 변환하는 단계는, 상기 타겟 음성 데이터셋에 기초하여 미리 저장된 여러 화자의 훈련 데이터셋 중에서 타겟 음성과 유사도가 높은 화자를 선별하는 단계; 및 선별된 화자의 화자 임베딩을 상기 파인 튜닝된 음성합성모델의 초기값으로 설정하는 단계를 더 포함하는 것을 특징으로 하는 다화자 훈련 데이터셋에 기초한 음성합성 방법
|
| 4 |
4
제3항에 있어서,상기 유사도가 높은 화자를 선별하는 단계는, 각 화자간 음색과 발화속도에 기초하여 유사도를 연산하는 것을 특징으로 하는 다화자 훈련 데이터셋에 기초한 음성합성 방법
|
| 5 |
5
제4항에 있어서,상기 유사도가 높은 화자를 선별하는 단계는, 상기 화자간 음성에서 특징 벡터를 추출하여 내적함으로써 음색의 유사도를 계산하는 단계; 상기 각 화자의 음소지속시간을 산출하고, 훈련된 화자의 음소지속시간을 타겟 화자의 음소지속시간으로 나누어 발화속도의 유사도를 계산하는 단계; 상기 음색의 유사도와 상기 발화속도의 유사도에 기초하여 각 화자 사이의 음색 유사도 점수를 산출하는 단계; 및음색 유사도 점수가 가장 높은 화자를 발화 특징이 가장 유사한 화자로 선별하는 단계 를 포함하는 것을 특징으로 하는 다화자 훈련 데이터셋에 기초한 음성합성 방법
|
| 6 |
6
제1항에 있어서,상기 음성합성모델은 각 화자에 대하여 훈련가능한 화자 임베딩 및 원-핫 벡터(one-hot vector)에 기초하여 컨디셔닝하는 것을 특징으로 하는 다화자 훈련 데이터셋에 기초한 음성합성 방법
|
| 7 |
7
제6항에 있어서,상기 음성합성모델은 타겟 화자에 대하여 화자 임베딩 및 점수벡터에 기초하여 컨디셔닝하고, 상기 점수벡터는 상기 타겟 화자와 발화 특징이 가장 유사한 화자로 선별된 화자의 원-핫 벡터와 유사도 점수를 곱하여 산출하는 것을 특징으로 하는 다화자 훈련 데이터셋에 기초한 음성합성 방법
|
| 8 |
8
다화자 훈련 데이터셋에 기초한 음성합성 장치로서, 하나 이상의 인스트랙션을 저장하는 메모리; 및상기 메모리에 저장된 상기 하나 이상의 인스트럭션을 실행하는 프로세서를 포함하고, 상기 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써, 여러 화자의 훈련 데이터셋 중에서 발화 문장이 가장 많은 단일 화자 훈련 데이터 셋을 미리 저장된 신경망을 이용한 음성합성모델을 사전 학습하고, 상기 사전 학습된 음성합성모델에 여러 화자의 훈련 데이터셋으로 파인 튜닝(fine-tuning)하며, 타겟 음성 데이터 셋을 상기 파인 튜닝된 음성합성모델에 적용하여 멜 스펙트로그램으로 변환하는 것을 특징으로 하는 다화자 훈련 데이터셋에 기초한 음성합성 장치
|
| 9 |
9
제8항에 있어서,상기 프로세서는, 상기 멜 스펙트로그램에 기초하여 웨이브폼 형식의 음성파일을 생성하는 것을 특징으로 하는 다화자 훈련 데이터셋에 기초한 음성합성 장치
|
| 10 |
10
제8항에 있어서,상기 프로세서는, 상기 타겟 음성 데이터셋에 기초하여 미리 저장된 여러 화자의 훈련 데이터셋 중에서 타겟 음성과 유사도가 높은 화자를 선별하고, 선별된 화자의 화자 임베딩을 상기 파인 튜닝된 음성합성모델의 초기값으로 설정하는 것을 특징으로 하는 다화자 훈련 데이터셋에 기초한 음성합성 장치
|
| 11 |
11
제10항에 있어서,상기 프로세서는, 각 화자간 음색과 발화속도에 기초하여 유사도를 연산하는 것을 특징으로 하는 다화자 훈련 데이터셋에 기초한 음성합성 장치
|
| 12 |
12
제11항에 있어서,상기 프로세서는, 상기 화자간 음성에서 특징 벡터를 추출하여 내적함으로써 음색의 유사도를 계산하고, 상기 각 화자의 음소지속시간을 산출하고, 훈련된 화자의 음소지속시간을 타겟 화자의 음소지속시간으로 나누어 발화속도의 유사도를 계산하며, 상기 음색의 유사도와 상기 발화속도의 유사도에 기초하여 각 화자 사이의 음색 유사도 점수를 산출하고, 음색 유사도 점수가 가장 높은 화자를 발화 특징이 가장 유사한 화자로 선별하는 것을 특징으로 하는 다화자 훈련 데이터셋에 기초한 음성합성 장치
|
| 13 |
13
제8항에 있어서,상기 음성합성모델은 각 화자에 대하여 훈련가능한 화자 임베딩 및 원-핫 벡터(one-hot vector)에 기초하여 컨디셔닝하는 것을 특징으로 하는 다화자 훈련 데이터셋에 기초한 음성합성 장치
|
| 14 |
14
제13항에 있어서,상기 음성합성모델은 타겟 화자에 대하여 화자 임베딩 및 점수벡터에 기초하여 컨디셔닝하고, 상기 점수벡터는 상기 타겟 화자와 발화 특징이 가장 유사한 화자로 선별된 화자의 원-핫 벡터와 유사도 점수를 곱하여 산출하는 것을 특징으로 하는 다화자 훈련 데이터셋에 기초한 음성합성 장치
|
