| 1 |
1
발화자 단말과 통신하는 상대 단말로서, 상기 상대 단말에서 수행하는 자동 통역 방법에서,통신기가, 상기 발화자 단말로부터, 발화자가 원시 언어로 발화한 음성을 목적 언어로 자동 번역하여 획득한 자동 번역 결과와 상기 발화자의 음성 특징 정보를 수신하는 단계; 및음성 합성기가, 상기 자동 번역 결과와 상기 음성 특징 정보를 기반으로 음성 합성을 수행하여, 개인화된 합성음을 자동 통역 결과로서 출력하는 단계;를 포함하고,상기 발화자의 음성 특징 정보는,상기 발화자의 음성으로부터 추출된 제1 부가 음성 자질과 음성 특징 파라메터를 포함하는 은닉 변수 및 제2 부가 음성 자질을 포함하는 것인 자동 통역 방법
|
| 2 |
2
제1항에서, 상기 은닉 변수는, 상기 발화자 단말에서 신경망 알고리즘을 기반으로 추출한 것인 자동 통역 방법
|
| 3 |
3
제1항에서, 상기 제2 부가 음성 자질은,상기 발화자 단말에서 비 신경망 알고리즘을 기반으로 추출된 것인 자동 통역 방법
|
| 4 |
4
제3항에서, 상기 비 신경망 기반의 알고리즘은, 상기 발화자의 음성에서 반복적으로 나타나는 파형 특징을 분석하는 알고리즘인 것인 자동 통역 방법
|
| 5 |
5
제1항에서,상기 제1 및 제2 부가 음성 자질 각각은, 상기 사용자 음성의 강도, 억양, 높낮이 및 속도를 나타내는 사용자 음성의 음색 또는 스타일과 관련된 음성 특징인 것인 자동 통역 방법
|
| 6 |
6
제1항에서, 상기 개인화된 합성음을 자동 통역 결과로서 출력하는 단계는, 인코더가, 상기 자동 번역 결과와 상기 제2 부가 음성 자질을 인코딩하여 획득한 인코딩 결과를 출력하는 단계; 차원 정규화기가, 상기 인코딩 결과의 데이터 차원과 상기 은닉 변수의 데이터 차원을 동일한 데이터 차원으로 정규화하는 단계; 및 디코더가, 상기 동일한 데이터 차원으로 정규화된 상기 은닉 변수와 상기 인코딩 결과를 디코딩하여, 상기 개인화된 합성음을 생성하는 단계 를 포함하는 자동 통역 방법
|
| 7 |
7
제1항에서, 상기 상대 단말의 상대 화자가 상기 발화자가 발화한 음성의 음색을 다른 음색으로 변경하고자 하는 경우, 제1 음성 특징 조정기가, 상기 은닉 변수의 특정값을 조정하여, 상기 은닉 변수를 업데이트하는 단계; 및 제2 음성 특징 조정기가, 상기 제2 부가 음성 자질의 특정값을 조정하여, 상기 제2 부가 음성 자질을 업데이트하는 단계; 를 더 포함하는 자동 통역 방법
|
| 8 |
8
제7항에서, 상기 개인화된 합성음을 자동 통역 결과로서 출력하는 단계는, 상기 업데이트된 은닉 변수와 상기 업데이트된 제2 부가 음성 자질을 기반으로 음성 합성을 수행하여, 상기 상대 화자가 원하는 상기 다른 음색을 갖는 개인화된 합성음을 상기 자동 통역 결과로서 출력하는 단계 를 포함하는 자동 통역 방법
|
| 9 |
9
상대 단말과 통신하는 발화자 단말로서, 상기 발화자 단말에서 수행하는 자동 통역 방법에서,제1 음성특징 추출기가, 발화자가 발화한 음성으로부터 제1 부가 음성 자질과 음성 특징 파라메터를 포함하는 은닉 변수를 추출하는 단계;제2 음성특징 추출기가, 상기 음성으로부터 제2 부가 음성 자질을 추출하는 단계;음성 인식기가, 상기 음성에 대해 음성 인식을 수행하여 음성 인식 결과를 획득하는 단계;자동 번역기가, 상기 음성 인식 결과에 대해 자동 번역을 수행하여 자동 번역 결과를 획득하는 단계; 및통신기가, 상기 자동 번역 결과, 상기 은닉 변수 및 상기 제2 부가 음성 자질을 상기 상대 단말로 송신하는 단계를 포함하는 자동 통역 방법
|
| 10 |
10
제9항에서, 상기 발화자 단말의 발화자가 상기 발화자가 발화한 음성의 음색을 다른 음색으로 변경하고자 하는 경우,제1 음성 특징 조정기가, 상기 은닉 변수의 특정값을 조정하여, 상기 은닉 변수를 업데이트하는 단계; 제2 음성 특징 조정기가, 상기 제2 부가 음성 자질의 특정값을 조정하여, 상기 제2 부가 음성 자질을 업데이트 하는 단계를 더 포함하는 자동 통역 방법
|
| 11 |
11
제10항에서, 상기 통신기가, 상기 상대 단말에서 상기 업데이트 된 은닉 변수와 상기 업데이트 된 제2 부가 음성 자질을 기반으로 상기 자동 번역 결과에 대한 음성 합성을 수행하도록, 상기 업데이트 된 은닉 변수와 상기 업데이트 된 제2 부가 음성 자질을 상기 상대 단말로 송신하는 단계;를 더 포함하는 것인 자동 통역 방법
|
| 12 |
12
제9항에서, 상기 은닉 변수를 추출하는 단계는, 신경망 기반 알고리즘을 기반으로 상기 음성으로부터 상기 은닉 변수를 추출하는 단계인 것인 자동 통역 방법
|
| 13 |
13
제9항에서, 상기 제2 부가 음성 자질을 추출하는 단계는, 비 신경망 기반 알고리즘을 기반으로 상기 음성으로부터 상기 제2 부가 음성 자질을 추출하는 단계인 것인 자동 통역 방법
|
| 14 |
14
제9항에서, 상기 상대 단말로 송신하는 단계는, 상기 음성 인식 결과에 대해 자동 번역을 상기 상대 단말에서 수행하는 경우, 상기 통신기가, 상기 자동 번역 결과 대신에 상기 음성 인식 결과를 상기 상대 단말로 송신하는 단계인 것인 자동 통역 방법
|
| 15 |
15
발화자 단말과 통신하는 상대 단말로서, 상기 상대 단말은 자동 통역 장치를 포함하고, 상기 자동 통역 장치는,상기 발화자 단말로부터, 발화자가 원시 언어로 발화한 음성을 목적 언어로 자동 번역하여 획득한 자동 번역 결과와 상기 발화자의 음성 특징 정보를 수신하는 통신기; 및상기 자동 번역 결과와 상기 음성 특징 정보를 기반으로 음성 합성을 수행하여, 개인화된 합성음을 자동 통역 결과로서 출력하는 음성 합성기를 포함하고,상기 발화자의 음성 특징 정보는,상기 발화자의 음성으로부터 추출된 제1 부가 음성 자질과 음성 특징 파라메터를 포함하는 은닉 변수 및 제2 부가 음성 자질을 포함하는 것인 자동 통역 장치
|
| 16 |
16
제15항에서,상기 상대 단말의 상대 화자가 상기 발화자가 발화한 음성의 음색을 다른 음색으로 변경하고자 하는 경우, 상기 은닉 변수의 특정값을 조정하여, 상기 은닉 변수를 업데이트하는 제1 음성 특징 조정기; 및 상기 제2 부가 음성 자질의 특정값을 조정하여, 상기 제2 부가 음성 자질을 업데이트하는 제2 음성 특징 조정기 를 더 포함하는 것인 자동 통역 장치
|
| 17 |
17
제15항에서, 상기 음성 합성기는, 상기 자동 번역 결과, 상기 업데이트된 은닉 변수 및 상기 업데이트된 제2 부가 음성 자질을 기반으로 음성 합성을 수행하여, 상기 개인화된 합성음을 자동 통역 결과로서 출력하는 것인 자동 통역 장치
|
| 18 |
18
제15항에서, 상기 음성 합성기는, 상기 자동 번역 결과와 상기 제2 부가 음성 자질을 인코딩하여 획득한 인코딩 결과를 출력하는 인코더; 상기 인코딩 결과의 데이터 차원과 상기 은닉 변수의 데이터 차원을 동일한 데이터 차원으로 정규화하는 차원 정규화기; 및 상기 동일한 데이터 차원으로 정규화된 상기 은닉 변수와 상기 인코딩 결과를 디코딩하여, 상기 개인화된 합성음을 생성하는 디코더를 포함하는 자동 통역 장치
|
| 19 |
19
제15항에서,신경망 알고리즘을 기반으로, 상기 상대 단말의 상대 화자가 발화한 음성으로부터 상기 상대 화자의 음색 특징을 나타내는 제1 부가 음성 자질 A과 음성 특징 파라메터 B를 포함하는 은닉 변수 C를 추출하는 제1 음성 특징 추출기;비 신경망 알고리즘을 기반으로 상기 상대 화자가 발화한 음성으로부터 상기 상대 화자의 음색 특징을 나타내는 제2 부가 음성 자질 D을 추출하는 제2 음성 특징 추출기;상기 상대 화자가 발화한 음성에 대해 음성 인식을 수행하여 음성 인식 결과를 획득하는 음성 인식기; 및상기 음성 인식 결과에 대해 자동 번역을 수행하여 자동 번역 결과 E를 획득하는 자동 번역기를 더 포함하고,상기 통신기는,상기 발화자 단말이 상기 은닉 변수 C, 상기 제2 부가 음성 자질 D 및 상기 자동 번역 결과 E를 기반으로 상기 음성 합성을 수행하도록, 상기 은닉 변수 C, 상기 제2 부가 음성 자질 D 및 상기 자동 번역 결과 E를 상기 발화자 단말로 송신하는 것인 자동 통역 장치
|
