맞춤기술찾기

이전대상기술

원시 발화자의 목소리와 유사한 특성을 갖는 합성음을 생성하는 자동 통역 시스템 및 그 동작 방법(Simultaneous interpretation system for generating a synthesized voice similar to the native talker''s voice and method thereof)

  • 기술번호 : KST2017014639
  • 담당센터 : 대전기술혁신센터
  • 전화번호 : 042-610-2279
요약, Int. CL, CPC, 출원번호/일자, 출원인, 등록번호/일자, 공개번호/일자, 공고번호/일자, 국제출원번호/일자, 국제공개번호/일자, 우선권정보, 법적상태, 심사진행상태, 심판사항, 구분, 원출원번호/일자, 관련 출원번호, 기술이전 희망, 심사청구여부/일자, 심사청구항수의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 서지정보 표입니다.
요약 본 발명은 원시 발화자의 목소리와 유사한 특성을 갖는 합성음을 생성하는 자동 통역 시스템 및 그 동작 방법에 관한 것으로서, 본 발명의 실시예에 따른 원시 발화자의 목소리와 유사한 특성을 갖는 합성음을 생성하는 자동 통역 시스템은 원시 발화자의 원시 음성 신호에 대한 음성 인식을 수행하여 텍스트 데이터를 생성하고, 상기 원시 음성에 대한 음높이(Pitch) 정보, 발성 강도(Intensity) 정보, 발화 속도(Speed) 정보 및 성도(Vocal Tract) 특징 정보 중 적어도 하나의 특성 정보를 추출하는 음성 인식 모듈, 상기 텍스트 데이터를 번역하여 합성 대상 번역문을 생성하는 자동 번역 모듈, 및 상기 합성 대상 번역문에 대한 합성음을 생성하는 음성 합성 모듈을 포함한다.
Int. CL G10L 15/02 (2016.04.06) G10L 15/04 (2016.04.06) G10L 15/26 (2016.04.06) G10L 15/28 (2016.04.06)
CPC G10L 15/02(2013.01) G10L 15/02(2013.01) G10L 15/02(2013.01) G10L 15/02(2013.01) G10L 15/02(2013.01) G10L 15/02(2013.01)
출원번호/일자 1020160025685 (2016.03.03)
출원인 한국전자통신연구원
등록번호/일자
공개번호/일자 10-2017-0103209 (2017.09.13) 문서열기
공고번호/일자
국제출원번호/일자
국제공개번호/일자
우선권정보
법적상태 공개
심사진행상태 수리
심판사항
구분 신규
원출원번호/일자
관련 출원번호
심사청구여부/일자 N
심사청구항수 20

출원인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 출원인 표입니다.
번호 이름 국적 주소
1 한국전자통신연구원 대한민국 대전광역시 유성구

발명자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 발명자 표입니다.
번호 이름 국적 주소
1 윤승 대한민국 대전광역시 서구
2 김기현 대한민국 대전광역시 유성구
3 김상훈 대한민국 대전광역시 유성구
4 김윤영 대한민국 대전광역시 서구
5 김정세 대한민국 대전광역시 유성구
6 이민규 대한민국 대전광역시 유성구
7 이수종 대한민국 대전광역시 대덕구
8 이영직 대한민국 대전광역시 유성구
9 최무열 대한민국 대전광역시 서구

대리인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 대리인 표입니다.
번호 이름 국적 주소
1 특허법인지명 대한민국 서울특별시 강남구 남부순환로**** 차우빌딩*층

최종권리자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 최종권리자 표입니다.
번호 이름 국적 주소
최종권리자 정보가 없습니다
번호, 서류명, 접수/발송일자, 처리상태, 접수/발송일자의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 행정처리 표입니다.
번호 서류명 접수/발송일자 처리상태 접수/발송번호
1 [특허출원]특허출원서
[Patent Application] Patent Application
2016.03.03 수리 (Accepted) 1-1-2016-0207979-61
번호, 청구항의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 청구항 표입니다.
번호 청구항
1 1
원시 발화자의 원시 음성 신호에 대한 음성 인식을 수행하여 텍스트 데이터를 생성하고, 상기 원시 음성에 대한 음높이(Pitch) 정보, 발성 강도(Intensity) 정보, 발화 속도(Speed) 정보 및 성도(Vocal Tract) 특징 정보 중 적어도 하나의 특성 정보를 추출하는 음성 인식 모듈;상기 텍스트 데이터를 번역하여 합성 대상 번역문을 생성하는 자동 번역 모듈; 및상기 합성 대상 번역문에 대한 합성음을 생성하는 음성 합성 모듈;을 포함하는 원시 발화자의 목소리와 유사한 특성을 갖는 합성음을 생성하는 자동 통역 시스템
2 2
제1항에 있어서, 상기 음성 인식 모듈은,아날로그 형태의 상기 원시 음성 신호로부터 단어 및 문장을 추출하여 디지털 형태의 텍스트 데이터로 변환하는 단어 및 문장 추출부;상기 원시 음성 신호에서 음높이 및 음높이 궤적을 추출하는 음높이 추출부;상기 원시 음성 신호에서 발성 강도를 추출하는 발성 강도 추출부;상기 원시 음성 신호에서 발화 속도를 측정하여 추출하는 발화 속도 추출부; 및상기 원시 음성 신호에서 성도 특징 파라미터를 추출하는 성도 특징 추출부;를 포함하는 것인 원시 발화자의 목소리와 유사한 특성을 갖는 합성음을 생성하는 자동 통역 시스템
3 3
제2항에 있어서, 상기 음높이 추출부는,상기 원시 음성 신호에서 억양구(Intonation Phrase)별 운율 구조를 더 추출하는 것인 원시 발화자의 목소리와 유사한 특성을 갖는 합성음을 생성하는 자동 통역 시스템
4 4
제2항에 있어서, 상기 발성 강도 추출부는,추출된 상기 발성 강도와 기구축된 대용량 대화체 남녀 음성 데이터베이스로부터 획득되는 성별에 따른 평균 발성 강도를 비교하고, 상기 비교 결과를 기반으로 평균 발성 강도 대비 상기 원시 발화자의 발성 강도에 대한 상대 값을 저장하는 것인 원시 발화자의 목소리와 유사한 특성을 갖는 합성음을 생성하는 자동 통역 시스템
5 5
제2항에 있어서, 상기 발화 속도 추출부는, 상기 원시 음성 신호에서의 발화 속도를 단어, 문장, 억양구 중 적어도 하나의 단위별로 측정하며, 측정된 상기 발화 속도와 기구축된 대용량의 대화체 음성 데이터베이스로부터 획득되는 해당 단위별 음절 수 기반의 평균 발화 속도를 비교하며, 상기 비교 결과를 기반으로 평균 발화 속도 대비 상기 원시 발화자의 발화 속도에 대한 상대값을 저장하는 것인 원시 발화자의 목소리와 유사한 특성을 갖는 합성음을 생성하는 자동 통역 시스템
6 6
제2항에 있어서, 상기 성도 특징 추출부는,MFCC(Mel-Frequency Cepstral Coefficient)와 성대파(Glottal Wave)의 특징 파라미터 중 적어도 하나의 특징 파라미터를 추출하는 것인 원시 발화자의 목소리와 유사한 특성을 갖는 합성음을 생성하는 자동 통역 시스템
7 7
제1항에 있어서, 상기 자동 번역 모듈은규칙 기반의 자동번역기(Rule-Based Machine Translator)인 경우, 번역 과정에서 상기 원시 음성에 대한 언어와 상기 번역 결과에 대한 언어에 대응하는 단어, 억양구, 문장 중 적어도 하나의 단위별 대응 정보를 추출하는 것인 원시 발화자의 목소리와 유사한 특성을 갖는 합성음을 생성하는 자동 통역 시스템
8 8
제1항에 있어서, 상기 자동 번역 모듈은,통계 기반의 자동번역기(Statistical Machine Translator)인 경우, 사전 정보 및 번역 과정에서의 정렬 정보를 이용하거나, 단어, 구, 절 단위의 청킹(Chunking) 결과를 이용하여, 단어, 억양구, 문장 중 적어도 하나의 단위별 대응 정보를 추출하는 것인 원시 발화자의 목소리와 유사한 특성을 갖는 합성음을 생성하는 자동 통역 시스템
9 9
제1항에 있어서, 상기 음성 합성 모듈은,상기 합성 대상 번역문에서의 숫자 및 기호를 문자로 변환하는 전처리부;변환된 상기 합성 대상 번역문의 문자에 대한 발음을 변환하는 발음 변환부;상기 합성 대상 번역문에서의 억양구 및 문장에 상기 원시 발화자의 특성 정보를 기반으로 억양 및 강도를 부가하는 운율 처리부; 및운율 처리된 상기 합성 대상 번역문의 합성 단위들을 검색하고, 상기 검색 결과를 기반으로 상기 합성 대상 번역문에 대한 합성음을 생성하는 합성음 생성부;를 포함하는 것인 원시 발화자의 목소리와 유사한 특성을 갖는 합성음을 생성하는 자동 통역 시스템
10 10
제9항에 있어서, 상기 운율 처리부는,상기 원시 음성 신호에 대한 음높이 정보, 발성 강도 정보 중 적어도 하나의 특성 정보를 기반으로 상기 합성 대상 번역문에 운율을 부여하는 것인 원시 발화자의 목소리와 유사한 특성을 갖는 합성음을 생성하는 자동 통역 시스템
11 11
제9항에 있어서, 상기 합성음 생성부는,상기 원시 음성 신호에 대한 발화 속도 정보 및 성도 특징 정보 중 적어도 하나의 특성 정보를 기반으로 상기 합성 대상 번역문에 대한 합성음을 생성하는 것인 원시 발화자의 목소리와 유사한 특성을 갖는 합성음을 생성하는 자동 통역 시스템
12 12
원시 발화자의 원시 음성 신호에 대한 음성 인식을 수행하여 텍스트 데이터를 생성하고, 상기 원시 음성 신호에 대한 음높이(Pitch) 정보, 발성 강도(Intensity) 정보, 발화 속도(Speed) 정보 및 성도(Vocal Tract) 특징 정보 중 적어도 하나의 특성 정보를 추출하는 단계;상기 텍스트 데이터를 번역하여 합성 대상 번역문을 생성하는 단계; 및상기 합성 대상 번역문에 대한 합성음을 생성하는 단계;를 포함하는 자동 통역 시스템에서 원시 발화자의 목소리와 유사한 특성을 갖는 합성음을 생성하는 방법
13 13
제12항에 있어서, 상기 특성 정보를 추출하는 단계는,상기 원시 음성 신호에서 억양구(Intonation Phrase)별 운율 구조를 더 추출하는 것인 자동 통역 시스템에서 원시 발화자의 목소리와 유사한 특성을 갖는 합성음을 생성하는 방법
14 14
제12항에 있어서, 상기 특성 정보를 추출하는 단계는,추출된 상기 발성 강도와 기구축된 대용량 대화체 남녀 음성 데이터베이스로부터 획득되는 성별에 따른 평균 발성 강도를 비교하고, 상기 비교 결과를 기반으로 평균 발성 강도 대비 상기 원시 발화자의 발성 강도에 대한 상대 값을 저장하는 것인 자동 통역 시스템에서 원시 발화자의 목소리와 유사한 특성을 갖는 합성음을 생성하는 방법
15 15
제12항에 있어서, 상기 특성 정보를 추출하는 단계는, 상기 원시 음성 신호에서의 발화 속도를 단어, 문장, 억양구 중 적어도 하나의 단위별로 측정하며, 측정된 상기 발화 속도와 기구축된 대용량의 대화체 음성 데이터베이스로부터 획득되는 해당 단위별 음절 수 기반의 평균 발화 속도를 비교하며, 상기 비교 결과를 기반으로 평균 발화 속도 대비 상기 원시 발화자의 발화 속도에 대한 상대값을 저장하는 것인 자동 통역 시스템에서 원시 발화자의 목소리와 유사한 특성을 갖는 합성음을 생성하는 방법
16 16
제12항에 있어서, 상기 특성 정보를 추출하는 단계는,MFCC(Mel-Frequency Cepstral Coefficient)와 성대파(Glottal Wave)의 특징 파라미터 중 적어도 하나의 특징 파라미터를 추출하는 것인 자동 통역 시스템에서 원시 발화자의 목소리와 유사한 특성을 갖는 합성음을 생성하는 방법
17 17
제12항에 있어서, 상기 합성 대상 번역문을 생성하는 단계는,규칙 기반의 자동번역기(Rule-Based Machine Translator)인 경우, 번역 과정에서 상기 원시 음성에 대한 언어와 상기 번역 결과에 대한 언어에 대응하는 단어, 억양구, 문장 중 적어도 하나의 단위별 대응 정보를 추출하며, 통계 기반의 자동번역기(Statistical Machine Translator)인 경우, 사전 정보 및 번역 과정에서의 정렬 정보를 이용하거나, 단어, 구, 절 단위의 청킹(Chunking) 결과를 이용하여, 단어, 억양구, 문장 중 적어도 하나의 단위별 대응 정보를 추출하는 것인 자동 통역 시스템에서 원시 발화자의 목소리와 유사한 특성을 갖는 합성음을 생성하는 방법
18 18
제12항에 있어서, 상기 합성음을 생성하는 단계는,상기 합성 대상 번역문에서의 숫자 및 기호를 문자로 변환하는 단계;변환된 상기 합성 대상 번역문의 문자에 대한 발음을 변환하는 단계;상기 합성 대상 번역문에서의 억양구 및 문장에 상기 원시 발화자의 특성 정보를 기반으로 억양 및 강도를 부가하여 운율을 처리하는 단계; 및운율 처리된 상기 합성 대상 번역문의 합성 단위들을 검색하고, 상기 검색 결과를 기반으로 상기 합성 대상 번역문에 대한 합성음을 생성하는 단계;를 포함하는 것인 자동 통역 시스템에서 원시 발화자의 목소리와 유사한 특성을 갖는 합성음을 생성하는 방법
19 19
제18항에 있어서, 상기 운율을 처리하는 단계는,상기 원시 음성 신호에 대한 음높이 정보, 발성 강도 정보 중 적어도 하나의 특성 정보를 기반으로 상기 합성 대상 번역문에 운율을 부여하는 것인 자동 통역 시스템에서 원시 발화자의 목소리와 유사한 특성을 갖는 합성음을 생성하는 방법
20 20
제18항에 있어서, 상기 검색 결과를 기반으로 합성음을 생성하는 단계는,상기 원시 음성 신호에 대한 발화 속도 정보 및 성도 특징 정보 중 적어도 하나의 특성 정보를 기반으로 상기 합성 대상 번역문에 대한 합성음을 생성하는 것인 자동 통역 시스템에서 원시 발화자의 목소리와 유사한 특성을 갖는 합성음을 생성하는 방법
지정국 정보가 없습니다
순번, 패밀리번호, 국가코드, 국가명, 종류의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 패밀리정보 - 패밀리정보 표입니다.
순번 패밀리번호 국가코드 국가명 종류
1 US10108606 US 미국 FAMILY
2 US20170255616 US 미국 FAMILY

DOCDB 패밀리 정보

순번, 패밀리번호, 국가코드, 국가명, 종류의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 패밀리정보 - DOCDB 패밀리 정보 표입니다.
순번 패밀리번호 국가코드 국가명 종류
1 US10108606 US 미국 DOCDBFAMILY
2 US2017255616 US 미국 DOCDBFAMILY
순번, 연구부처, 주관기관, 연구사업, 연구과제의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 국가R&D 연구정보 정보 표입니다.
순번 연구부처 주관기관 연구사업 연구과제
1 미래창조과학부 한국전자통신연구원 SW컴퓨팅산업원천기술개발 지식학습 기반의 다국어 확장이 용이한 관광/국제행사 통역률 90%급 자동 통번역 소프트웨어 원천 기술 개발