| 1 |
1
사용자의 감정 및 운율을 반영한 자동 통역 장치에 있어서,디스플레이부;제1언어로 구성된 사용자의 발화 음성을 감지하는 음성 입력부;사용자가 미리 설정한 제2언어로 합성된 통역 음성을 출력하는 음성 출력부;감정 및 운율 기반 자동 통역 프로그램이 저장된 메모리; 및상기 프로그램을 실행하는 프로세서를 포함하되,상기 프로그램은 상기 발화 음성을 통역 모델에 입력하여 사용자의 감정 정보 및 운율 정보를 추출하고, 상기 발화 음성을 발화 텍스트로 변환하고, 상기 발화 텍스트에 대한 기계 번역을 수행하여 번역 텍스트를 생성하고, 상기 번역 텍스트, 감정 정보 및 운율 정보를 기초로 상기 통역 음성을 합성하는, 자동 통역 장치
|
| 2 |
2
제1항에 있어서,상기 통역 모델은 복수의 언어로 이루어진 음성 데이터 및 텍스트 데이터 쌍으로 이루어진 학습 데이터에 기반하여 구축된 것으로서,각 언어별 다양한 음성 데이터로부터 감정 벡터를 추출하고, 상기 감정 벡터에 상기 감정 정보를 레이블링한 학습 데이터를 이용하여 학습된 감정 정보 분류기 및 각 언어별 다양한 음성 데이터로부터 언어적 특징을 나타내는 운율 정보를 추출하고, 상기 음성 데이터 및 텍스트 쌍과 상기 운율 정보를 매칭시킨 학습 데이터를 이용하여 학습된 운율 정보 추출부를 포함하되,상기 감정 정보는 중립, 평온, 기쁨, 슬픔, 분노, 두려움, 역겨움, 놀람을 포함하는 것이고, 상기 운율 정보는 개성적 목소리, 억양, 음성의 높낮이, 음성 세기, 음소별 길이, 음성의 휴지기를 포함하는 것인, 자동 통역 장치
|
| 3 |
3
제2항에 있어서,상기 프로그램은 상기 음성 입력부를 통해 상기 발화 음성을 제1언어로 구성된 제1음성 데이터로 인식하고,상기 통역 모델의 감정 정보 분류기는 상기 제1음성 데이터에서 추출한 감정 벡터를 기초로 상기 사용자의 감정 정보를 결정하고, 상기 통역 모델의 운율 정보 추출부는 상기 제1음성 데이터에서 추출한 언어적 특징 벡터를 기초로 상기 사용자의 운율 정보를 검출하는 것인, 자동 통역 장치
|
| 4 |
4
제3항에 있어서,상기 통역 모델은 상기 제1음성 데이터를 상기 발화 텍스트로 변환하는 음성 인식부, 상기 발화 텍스트를 기계 번역하여 번역 텍스트를 생성하는 기계 번역부 및 상기 번역 텍스트, 상기 사용자의 감정 정보 및 운율 정보를 기초로 제2음성 데이터를 합성하는 음성 합성부를 더 포함하는 것인, 자동 통역 장치
|
| 5 |
5
제4항에 있어서,상기 통역 모델의 음성 합성부는 상기 번역 텍스트와 쌍을 이루는 음성 데이터에 상기 사용자의 감정 정보 및 운율 정보를 합성하여 제2 언어로 구성된 상기 제2음성 데이터를 생성하는 것인, 자동 통역 장치
|
| 6 |
6
제1항에 있어서,상기 프로그램은 상기 사용자의 감정 정보, 발화 텍스트 및 번역 텍스트를 상기 디스플레이부를 통해 제공하는 것인, 자동 통역 장치
|
| 7 |
7
자동 통역 장치를 이용하여 사용자의 감정 및 운율을 반영한 자동 통역하는 방법에 있어서,(a) 음성 입력부를 통해 감지한 제1언어로 구성된 사용자의 발화 음성을 통역 모델에 입력하여 사용자의 감정 정보 및 운율 정보를 추출하는 단계;(b) 상기 발화 음성을 발화 텍스트로 변환하는 단계;(c) 상기 발화 텍스트에 대한 기계 번역을 수행하여 번역 텍스트를 생성하는 단계; 및(d) 음성 출력부를 통해 상기 번역 텍스트, 감정 정보 및 운율 정보를 기초로 제2언어로 합성된 통역 음성을 출력하는 단계를 포함하는, 자동 통역 방법
|
| 8 |
8
제7항에 있어서,상기 통역 모델은 복수의 언어로 이루어진 음성 데이터 및 텍스트 데이터 쌍으로 이루어진 학습 데이터에 기반하여 구축된 것으로서,각 언어별 다양한 음성 데이터로부터 감정 벡터를 추출하고, 상기 감정 벡터에 상기 감정 정보를 레이블링한 학습 데이터를 이용하여 학습된 감정 정보 분류기 및 각 언어별 다양한 음성 데이터로부터 언어적 특징을 나타내는 운율 정보를 추출하고, 상기 음성 데이터 및 텍스트 쌍과 상기 운율 정보를 매칭시킨 학습 데이터를 이용하여 학습된 운율 정보 추출부를 포함하되,상기 감정 정보는 중립, 평온, 기쁨, 슬픔, 분노, 두려움, 역겨움, 놀람을 포함하는 것이고, 상기 운율 정보는 개성적 목소리, 억양, 음성의 높낮이, 음성 세기, 음소별 길이, 음성의 휴지기를 포함하는 것인, 자동 통역 방법
|
| 9 |
9
제8항에 있어서,상기 (a) 단계는 상기 음성 입력부를 통해 상기 발화 음성을 제1언어로 구성된 제1음성 데이터로 인식하고,상기 통역 모델의 감정 정보 분류기는 상기 제1음성 데이터에서 추출한 감정 벡터를 기초로 상기 사용자의 감정 정보를 결정하고, 상기 통역 모델의 운율 정보 추출부는 상기 제1음성 데이터에서 추출한 언어적 특징 벡터를 기초로 상기 사용자의 운율 정보를 검출하는 것인, 자동 통역 방법
|
| 10 |
10
제9항에 있어서,상기 통역 모델은 상기 제1음성 데이터를 상기 발화 텍스트로 변환하는 음성 인식부, 상기 발화 텍스트를 기계 번역하여 번역 텍스트를 생성하는 기계 번역부 및 상기 번역 텍스트, 상기 사용자의 감정 정보 및 운율 정보를 기초로 제2음성 데이터를 합성하는 음성 합성부를 더 포함하는 것인, 자동 통역 방법
|
| 11 |
11
제10항에 있어서,상기 통역 모델의 음성 합성부는 상기 번역 텍스트와 쌍을 이루는 음성 데이터에 상기 사용자의 감정 정보 및 운율 정보를 합성하여 제2 언어로 구성된 상기 제2음성 데이터를 생성하는 것인, 자동 통역 방법
|
| 12 |
12
제7항 내지 제11항 중 어느 한 항에 따른 사용자의 감정 및 운율을 반영한 자동 통역 방법을 수행하기 위한 컴퓨터 프로그램이 기록된 비일시적 컴퓨터 판독가능 기록매체
|
