맞춤기술찾기

이전대상기술

개인 운율 모델에 기반하여 감정 음성을 합성하기 위한 방법 및 장치 및 기록 매체

  • 기술번호 : KST2014047210
  • 담당센터 : 대전기술혁신센터
  • 전화번호 : 042-610-2279
요약, Int. CL, CPC, 출원번호/일자, 출원인, 등록번호/일자, 공개번호/일자, 공고번호/일자, 국제출원번호/일자, 국제공개번호/일자, 우선권정보, 법적상태, 심사진행상태, 심판사항, 구분, 원출원번호/일자, 관련 출원번호, 기술이전 희망, 심사청구여부/일자, 심사청구항수의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 서지정보 표입니다.
요약 개인 운율 모델에 기반하여 감정 음성을 합성하기 위한 방법 및 시스템이 제공된다. 본 발명에 의한 감정 음성 합성 방법은, 개인별 음성을 분석하여 개인별 감정 운율 구조의 특성을 추출하는 감정 운율 구조 특성 추출 단계, 추출된 개인별 감정 운율 구조를 감정 음성 데이터베이스에 저장하는 단계, 입력 텍스트 및 목표 감정을 수신하는 수신 단계, 감정 음성 데이터베이스로부터 음성을 합성할 발화자(speaker)에 상응하는 개인별 감정 운율 구조를 검색하는 단계, 및 입력 텍스트를 무감정 음성(emotionless speech)으로 변환하고, 변환된 무감정 음성 목표 감정에 상응하는 개인별 감정 운율 구조에 기반하여 수정함으로써 발화자에 상응하는 감정 음성을 생성하여 출력하는 감정 음성 합성 단계를 포함한다. 본 발명에서는 감정 음성을 합성할 때 개인별 감정 운율 구조를 이용하기 때문에, 일련의 반복된 인식 테스트로부터, 평균 인식 비율은 최고 95.5%에 도달한다.
Int. CL G10L 13/02 (2006.01) G10L 13/08 (2006.01)
CPC G10L 13/10(2013.01) G10L 13/10(2013.01) G10L 13/10(2013.01) G10L 13/10(2013.01) G10L 13/10(2013.01)
출원번호/일자 1020110034531 (2011.04.14)
출원인 한국과학기술원
등록번호/일자 10-1203188-0000 (2012.11.14)
공개번호/일자 10-2012-0117041 (2012.10.24) 문서열기
공고번호/일자 (20121122) 문서열기
국제출원번호/일자
국제공개번호/일자
우선권정보
법적상태 소멸
심사진행상태 수리
심판사항
구분 신규
원출원번호/일자
관련 출원번호
심사청구여부/일자 Y (2011.04.14)
심사청구항수 22

출원인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 출원인 표입니다.
번호 이름 국적 주소
1 한국과학기술원 대한민국 대전광역시 유성구

발명자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 발명자 표입니다.
번호 이름 국적 주소
1 박종철 대한민국 대전광역시 유성구
2 이호준 대한민국 대전광역시 유성구

대리인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 대리인 표입니다.
번호 이름 국적 주소
1 특허법인 다해 대한민국 서울특별시 강남구 삼성로***, *층(삼성동,고운빌딩)

최종권리자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 최종권리자 표입니다.
번호 이름 국적 주소
1 한국과학기술원 대전광역시 유성구
번호, 서류명, 접수/발송일자, 처리상태, 접수/발송일자의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 행정처리 표입니다.
번호 서류명 접수/발송일자 처리상태 접수/발송번호
1 [특허출원]특허출원서
[Patent Application] Patent Application
2011.04.14 수리 (Accepted) 1-1-2011-0273158-02
2 선행기술조사의뢰서
Request for Prior Art Search
2012.02.13 수리 (Accepted) 9-1-9999-9999999-89
3 선행기술조사보고서
Report of Prior Art Search
2012.03.21 수리 (Accepted) 9-1-2012-0021151-83
4 의견제출통지서
Notification of reason for refusal
2012.04.25 발송처리완료 (Completion of Transmission) 9-5-2012-0240679-96
5 [거절이유 등 통지에 따른 의견]의견(답변, 소명)서
[Opinion according to the Notification of Reasons for Refusal] Written Opinion(Written Reply, Written Substantiation)
2012.05.15 수리 (Accepted) 1-1-2012-0388832-65
6 [명세서등 보정]보정서
[Amendment to Description, etc.] Amendment
2012.05.15 보정승인간주 (Regarded as an acceptance of amendment) 1-1-2012-0388834-56
7 등록결정서
Decision to grant
2012.10.29 발송처리완료 (Completion of Transmission) 9-5-2012-0645867-16
8 [일부 청구항 포기]취하(포기)서
[Abandonment of Partial Claims] Request for Withdrawal (Abandonment)
2012.11.14 수리 (Accepted) 2-1-2012-0549543-31
9 출원인정보변경(경정)신고서
Notification of change of applicant's information
2013.02.01 수리 (Accepted) 4-1-2013-5019983-17
10 출원인정보변경(경정)신고서
Notification of change of applicant's information
2014.12.24 수리 (Accepted) 4-1-2014-5157968-69
11 출원인정보변경(경정)신고서
Notification of change of applicant's information
2014.12.24 수리 (Accepted) 4-1-2014-5157993-01
12 출원인정보변경(경정)신고서
Notification of change of applicant's information
2014.12.24 수리 (Accepted) 4-1-2014-5158129-58
13 출원인정보변경(경정)신고서
Notification of change of applicant's information
2019.04.24 수리 (Accepted) 4-1-2019-5081392-49
14 출원인정보변경(경정)신고서
Notification of change of applicant's information
2020.05.15 수리 (Accepted) 4-1-2020-5108396-12
15 출원인정보변경(경정)신고서
Notification of change of applicant's information
2020.06.12 수리 (Accepted) 4-1-2020-5131486-63
번호, 청구항의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 청구항 표입니다.
번호 청구항
1 1
삭제
2 2
개인 운율 모델에 기반하여 감정 음성을 합성하기 위한 방법에 있어서, 개인별 음성을 분석하여 개인별 감정 운율 구조(personal emotional prosody structure)의 특성을 추출하는 감정 운율 구조 특성 추출 단계; 추출된 개인별 감정 운율 구조를 감정 음성 데이터베이스에 저장하는 단계; 입력 텍스트 및 목표 감정을 수신하는 수신 단계; 상기 감정 음성 데이터베이스로부터 음성을 합성할 발화자(speaker)에 상응하는 개인별 감정 운율 구조를 검색하는 단계; 및 상기 입력 텍스트를 무감정 음성(emotionless speech)으로 변환하고, 변환된 무감정 음성을 상기 목표 감정에 상응하는 상기 개인별 감정 운율 구조에 기반하여 수정함으로써 상기 발화자에 상응하는 감정 음성을 생성하여 출력하는 감정 음성 합성 단계를 포함하고, 상기 감정 운율 구조 특성 추출 단계는, 상기 발화자의 기본 감정(basic emotion)에 따른 음성 정보를 포함하는 데이터셋으로부터 일반 감정 운율 구조를 추출하는 일반 감정 운율 구조 추출 단계; 및 각 발화자의 개인별 감정 운율 구조를 상기 일반 감정 운율 구조와 비교하여 상기 개인별 감정 운율 구조의 상대적 차분치를 파라미터화하는 개인별 감정 운율 구조 추출 단계를 포함하는 것을 특징으로 하는 개인 운율 모델 기반 감정 음성 합성 방법
3 3
제2항에 있어서, 상기 일반 감정 운율 구조 추출 단계는, 상기 발화자별로 화남, 두려움, 행복함, 슬픔, 및 중립의 감정 상태에 상응하는 음성의 특성을 추출하는 단계를 포함하는 것을 특징으로 하는 개인 운율 모델 기반 감정 음성 합성 방법
4 4
제2항에 있어서, 상기 개인별 감정 운율 구조 추출 단계는, 상기 발화자의 각각의 감정에 따른 음성의 전체 피치(overall pitch), 강도(intensity), 및 발화 속도(speech rate)를 파라미터로서 문장 레벨에서 분석하는 문장 레벨 감정 운율 구조 분석 단계; 상기 발화자의 각각의 감정에 따른 음성에 포함되는 억양구(intonation phrase, IP)들 간의 휴지 길이(pause length)를 파라미터로서 억양구 레벨에서 분석하는 억양구 레벨 감정 운율 구조 분석 단계; 및 상기 발화자의 각각의 감정에 따른 음성에 포함되는 억양구들 각각의 억양구 경계 패턴(IP boundary pattern)을 파라미터로서 음절 레벨에서 분석하는 음절 레벨 감정 운율 구조 분석 단계를 포함하는 것을 특징으로 하는 개인 운율 모델 기반 감정 음성 합성 방법
5 5
제4항에 있어서, 상기 문장 레벨 감정 운율 구조 분석 단계는, 감정별 음성의 피치값의 사분위간 평균(interquartile mean, IQM)을 연산하는 단계; 감정별 음성의 강도 중 소정값 이상의 강도를 선택하는 단계; 감정별 음성의 전체 발화 길이로부터 상기 발화 속도를 연산하는 단계; 상기 피치값, 강도 및 발화 속도를 정규화하여 문장별 불일치(disparity) 및 발화자별 불일치를 제거하는 단계; 및 정규화된 결과를 이용하여, 중립의 감정 상태에 상응하는 개인별 감정 운율 구조를 표준으로 하여 감정별 개인별 감정 운율의 파라미터들의 차이를 연산하고, 연산 결과를 이용하여 상기 개인별 감정 운율 구조를 구성하는 단계를 포함하는 것을 특징으로 하는 개인 운율 모델 기반 감정 음성 합성 방법
6 6
제4항에 있어서, 상기 억양구 레벨 감정 운율 구조 분석 단계는, 감정별 음성의 억양구 간 휴지 영역(pause region)을 검출하는 단계; 및 상기 휴지 영역들의 전체 길이를 합산하여 전체 휴지 길이를 연산하는 단계를 포함하는 것을 특징으로 하는 개인 운율 모델 기반 감정 음성 합성 방법
7 7
제4항에 있어서, 상기 음절 레벨 감정 운율 구조 분석 단계는, 상기 음성의 억양구 경계 패턴을 L%, H%, LH%, HL%, LHL%, HLH%, HLHL%, LHLH% 및 LHLHL% 중 하나에 상응하는 피치 컨투어(pitch contour)로서 분석하는 단계를 포함하는 것을 특징으로 하는 개인 운율 모델 기반 감정 음성 합성 방법
8 8
제2항에 있어서, 상기 감정 음성 합성 단계는, TTS(Text-to-Speech) 시스템을 이용하여 상기 입력 텍스트를 무감정 음성으로 변환하는 단계; 상기 감정 음성 데이터베이스로부터 상기 발화자의 상기 목표 감정에 상응하는 감정 운율 구조를 검색하는 단계; 및 검색된 감정 운율 구조의 파라미터들을 이용하여 상기 무감정 음성을 수정함으로써 상기 감정 음성을 생성하는 음성 수정 단계를 포함하는 것을 특징으로 하는 개인 운율 모델 기반 감정 음성 합성 방법
9 9
제8항에 있어서, 상기 음성 수정 단계는, 상기 개인별 감정 운율 구조로부터 상기 목표 감정에 상응하는 피치 컨투어를 파라미터로서 추출하는 단계; 및 추출된 피치 컨투어를 이용하여 상기 무감정 음성의 피치 컨투어를 수정하는 음절 레벨 수정 단계를 포함하는 것을 특징으로 하는 개인 운율 모델 기반 감정 음성 합성 방법
10 10
제8항에 있어서, 상기 음성 수정 단계는, 상기 개인별 감정 운율 구조로부터 상기 목표 감정에 상응하는 휴지 길이를 파라미터로서 추출하는 단계; 및 추출된 휴지 길이를 이용하여 상기 무감정 음성의 휴지 길이를 수정하는 억양구 레벨 수정 단계를 포함하는 것을 특징으로 하는 개인 운율 모델 기반 감정 음성 합성 방법
11 11
제8항에 있어서, 상기 음성 수정 단계는, 상기 개인별 감정 운율 구조로부터 상기 목표 감정에 상응하는 전체 피치, 전체 강도, 및 발화 속도를 파라미터로서 추출하는 단계; 및 추출된 전체 피치, 전체 강도, 및 발화 속도를 이용하여 상기 무감정 음성의 전체 피치, 전체 강도, 및 발화 속도를 수정하는 문장 레벨 수정 단계를 포함하는 것을 특징으로 하는 개인 운율 모델 기반 감정 음성 합성 방법
12 12
청구항 12은(는) 설정등록료 납부시 포기되었습니다
13 13
삭제
14 14
개인 운율 모델에 기반하여 감정 음성을 합성하기 위한 시스템에 있어서, 개인별 음성을 분석하여 개인별 감정 운율 구조의 특성을 추출하는 감정 운율 구조 특성 추출부; 추출된 개인별 감정 운율 구조를 저장하는 감정 음성 데이터베이스; 입력 텍스트 및 목표 감정이 수신되면 상기 입력 텍스트를 무감정 음성으로 변환하고, 상기 감정 음성 데이터베이스로부터 음성을 합성할 발화자에 상응하는 개인별 감정 운율 구조를 검색하며, 변환된 무감정 음성을 상기 목표 감정에 상응하는 상기 개인별 감정 운율 구조에 기반하여 수정함으로써 상기 발화자에 상응하는 감정 음성을 생성하여 출력하는 감정 음성 합성부를 포함하고, 상기 감정 운율 구조 특성 추출부는, 상기 발화자의 기본 감정(basic emotion)에 따른 음성 정보를 포함하는 데이터셋으로부터 일반 감정 운율 구조를 추출하는 동작, 및 각 발화자의 개인별 감정 운율 구조를 상기 일반 감정 운율 구조와 비교하여 상기 개인별 감정 운율 구조의 상대적 차분치를 파라미터화하는 동작을 수행하도록 적응되는 것을 특징으로 하는 개인 운율 모델 기반 감정 음성 합성 시스템
15 15
제14항에 있어서, 상기 감정 운율 구조 특성 추출부는, 상기 일반 감정 운율 구조를 추출하기 위하여, 상기 발화자별로 화남, 두려움, 행복함, 슬픔, 및 중립의 감정 상태에 상응하는 음성의 특성을 추출하도록 구성되는 것을 특징으로 하는 개인 운율 모델 기반 감정 음성 합성 시스템
16 16
제14항에 있어서, 상기 감정 운율 구조 특성 추출부는, 상기 개인별 감정 운율 구조를 추출하기 위하여, 상기 발화자의 각각의 감정에 따른 음성의 전체 피치, 강도, 및 발화 속도를 파라미터로서 문장 레벨에서 분석하는 문장 레벨 감정 운율 구조 분석 동작, 상기 발화자의 각각의 감정에 따른 음성에 포함되는 억양구(IP)들 간의 휴지 길이를 파라미터로서 억양구 레벨에서 분석하는 억양구 레벨 감정 운율 구조 분석 동작, 및 상기 발화자의 각각의 감정에 따른 음성에 포함되는 억양구들 각각의 억양구 경계 패턴을 파라미터로서 음절 레벨에서 분석하는 음절 레벨 감정 운율 구조 분석 동작을 수행하도록 적응되는 것을 특징으로 하는 개인 운율 모델 기반 감정 음성 합성 시스템
17 17
제16항에 있어서, 상기 감정 운율 구조 특성 추출부는, 문장 레벨 감정 운율 구조를 분석하기 위하여, 감정별 음성의 피치값의 사분위간 평균(IQM)을 연산하는 동작, 감정별 음성의 강도 중 소정값 이상의 강도를 선택하는 동작, 감정별 음성의 전체 발화 길이로부터 상기 발화 속도를 연산하는 동작, 상기 피치값, 강도 및 발화 속도를 정규화하여 문장별 불일치 및 발화자별 불일치를 제거하는 동작, 및 정규화된 결과를 이용하여, 중립의 감정 상태에 상응하는 개인별 감정 운율 구조를 표준으로 하여 감정별 개인별 감정 운율의 파라미터들의 차이를 연산하고, 연산 결과를 이용하여 상기 개인별 감정 운율 구조를 구성하는 동작을 수행하도록 적응되는 것을 특징으로 하는 개인 운율 모델 기반 감정 음성 합성 시스템
18 18
제16항에 있어서, 상기 감정 운율 구조 특성 추출부는, 억양구 레벨 감정 운율 구조를 분석하기 위하여, 감정별 음성의 억양구 간 휴지 영역을 검출하는 동작, 및 상기 휴지 영역들의 전체 길이를 합산하여 전체 휴지 길이를 연산하는 동작을 수행하도록 적응되는 것을 특징으로 하는 개인 운율 모델 기반 감정 음성 합성 시스템
19 19
제16항에 있어서, 상기 감정 운율 구조 특성 추출부는, 음절 레벨 감정 운율 구조를 분석하기 위하여, 상기 음성의 억양구 경계 패턴을 L%, H%, LH%, HL%, LHL%, HLH%, HLHL%, LHLH% 및 LHLHL% 중 하나에 상응하는 피치 컨투어로서 분석하는 동작을 수행하도록 적응되는 것을 특징으로 하는 개인 운율 모델 기반 감정 음성 합성 시스템
20 20
제14항에 있어서, 상기 감정 음성 합성부는, TTS 시스템을 이용하여 상기 입력 텍스트를 무감정 음성으로 변환하는 동작, 감정 음성 데이터베이스로부터 상기 발화자의 상기 목표 감정에 상응하는 감정 운율 구조를 검색하는 동작, 및 검색된 감정 운율 구조의 파라미터들을 이용하여 상기 무감정 음성을 수정함으로써 상기 감정 음성을 생성하는 음성 수정 동작을 수행하도록 적응되는 것을 특징으로 하는 개인 운율 모델 기반 감정 음성 합성 시스템
21 21
제20항에 있어서, 상기 감정 음성 합성부는, 상기 음성 수정 동작을 수행하기 위하여, 상기 개인별 감정 운율 구조로부터 상기 목표 감정에 상응하는 피치 컨투어를 파라미터로서 추출하는 동작, 및 추출된 피치 컨투어를 이용하여 상기 무감정 음성의 피치 컨투어를 수정하는 음절 레벨 수정 동작을 수행하도록 적응되는 것을 특징으로 하는 개인 운율 모델 기반 감정 음성 합성 시스템
22 22
제20항에 있어서, 상기 감정 음성 합성부는, 상기 음성 수정 동작을 수행하기 위하여, 상기 개인별 감정 운율 구조로부터 상기 목표 감정에 상응하는 휴지 길이를 파라미터로서 추출하는 동작, 및 추출된 휴지 길이를 이용하여 상기 무감정 음성의 휴지 길이를 수정하는 억양구 레벨 수정 동작을 수행하도록 적응되는 것을 특징으로 하는 개인 운율 모델 기반 감정 음성 합성 시스템
23 23
제20항에 있어서, 상기 감정 음성 합성부는, 상기 음성 수정 동작을 수행하기 위하여, 상기 개인별 감정 운율 구조로부터 상기 목표 감정에 상응하는 전체 피치, 전체 강도, 및 발화 속도를 파라미터로서 추출하는 동작, 및 추출된 전체 피치, 전체 강도, 및 발화 속도를 이용하여 상기 무감정 음성의 전체 피치, 전체 강도, 및 발화 속도를 수정하는 문장 레벨 수정 동작을 수행하도록 적응되는 것을 특징으로 하는 개인 운율 모델 기반 감정 음성 합성 시스템
24 24
청구항 24은(는) 설정등록료 납부시 포기되었습니다
지정국 정보가 없습니다
패밀리정보가 없습니다
순번, 연구부처, 주관기관, 연구사업, 연구과제의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 국가R&D 연구정보 정보 표입니다.
순번 연구부처 주관기관 연구사업 연구과제
1 지식경제부 카이스트 지식경제프론티어기술개발 멀티모달 감정/상황/의도 표현 DB 및 표현 자동생성 기술