맞춤기술찾기

이전대상기술

감정 음성 합성 기능을 가지는 보조 로봇 및 보조 로봇용 감정 음성 합성 방법 및 기록 매체

  • 기술번호 : KST2015119437
  • 담당센터 : 대전기술혁신센터
  • 전화번호 : 042-610-2279
요약, Int. CL, CPC, 출원번호/일자, 출원인, 등록번호/일자, 공개번호/일자, 공고번호/일자, 국제출원번호/일자, 국제공개번호/일자, 우선권정보, 법적상태, 심사진행상태, 심판사항, 구분, 원출원번호/일자, 관련 출원번호, 기술이전 희망, 심사청구여부/일자, 심사청구항수의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 서지정보 표입니다.
요약 인간과 상호작용하는 보조 로봇에서 출력할 감정 음성을 개인 운율 모델에 기반하여 합성하기 위한 방법 및 이러한 보조 로봇이 개시된다. 본 발명에 따른 방법은, 개인별 음성을 분석하여 개인별 감정 운율 구조(personal emotional prosody structure)의 특성을 추출하는 감정 운율 구조 특성 추출하고, 추출된 개인별 감정 운율 구조를 감정 음성 데이터베이스에 저장하는 단계, 보조 로봇의 주위 환경에 대한 상황 정보를 수신하고, 수신된 상황 정보에 따라 입력 텍스트를 결정하며, 결정된 입력 텍스트의 문장 타입을 식별하는 단계, 입력 텍스트 및 목표 감정을 수신하는 수신 단계, 감정 음성 데이터베이스로부터 음성을 합성할 발화자(speaker)에 상응하는 개인별 감정 운율 구조를 검색하는 단계, 및 입력 텍스트를 무감정 음성(emotionless speech)으로 변환하고, 변환된 무감정 음성을 목표 감정에 상응하는 개인별 감정 운율 구조에 기반하여 수정함으로써 발화자에 상응하는 감정 음성을 생성하며, 생성된 감정 음성의 문장 어미(sentence final syllable)를 식별된 문장 타입에 따라서 수정하여 출력하는 감정 음성 합성 단계를 포함한다. 본 발명에 의하여 사용자와 보조 로봇 사이의 상호 작용의 품질을 향상시킬 수 있다.
Int. CL B25J 13/08 (2006.01) G06F 19/00 (2011.01) G06F 9/44 (2006.01)
CPC B25J 13/08(2013.01) B25J 13/08(2013.01) B25J 13/08(2013.01) B25J 13/08(2013.01) B25J 13/08(2013.01) B25J 13/08(2013.01)
출원번호/일자 1020110039199 (2011.04.26)
출원인 한국과학기술원
등록번호/일자 10-1221188-0000 (2013.01.04)
공개번호/일자 10-2012-0121298 (2012.11.05) 문서열기
공고번호/일자 (20130110) 문서열기
국제출원번호/일자
국제공개번호/일자
우선권정보
법적상태 소멸
심사진행상태 수리
심판사항
구분 신규
원출원번호/일자
관련 출원번호
심사청구여부/일자 Y (2011.04.26)
심사청구항수 23

출원인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 출원인 표입니다.
번호 이름 국적 주소
1 한국과학기술원 대한민국 대전광역시 유성구

발명자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 발명자 표입니다.
번호 이름 국적 주소
1 박종철 대한민국 대전광역시 유성구
2 이호준 대한민국 대전광역시 유성구

대리인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 대리인 표입니다.
번호 이름 국적 주소
1 김강욱 대한민국 전북 전주시 덕진구 틀못*길**, 은빛빌딩 ***호(장동)(특허법인다해(전라도분사무소))

최종권리자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 최종권리자 표입니다.
번호 이름 국적 주소
1 한국과학기술원 대전광역시 유성구
번호, 서류명, 접수/발송일자, 처리상태, 접수/발송일자의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 행정처리 표입니다.
번호 서류명 접수/발송일자 처리상태 접수/발송번호
1 [특허출원]특허출원서
[Patent Application] Patent Application
2011.04.26 수리 (Accepted) 1-1-2011-0311219-70
2 선행기술조사의뢰서
Request for Prior Art Search
2012.11.01 수리 (Accepted) 9-1-9999-9999999-89
3 선행기술조사보고서
Report of Prior Art Search
2012.12.05 수리 (Accepted) 9-1-2012-0089963-11
4 등록결정서
Decision to grant
2013.01.02 발송처리완료 (Completion of Transmission) 9-5-2013-0002250-32
5 출원인정보변경(경정)신고서
Notification of change of applicant's information
2013.02.01 수리 (Accepted) 4-1-2013-5019983-17
6 출원인정보변경(경정)신고서
Notification of change of applicant's information
2014.12.24 수리 (Accepted) 4-1-2014-5157968-69
7 출원인정보변경(경정)신고서
Notification of change of applicant's information
2014.12.24 수리 (Accepted) 4-1-2014-5158129-58
8 출원인정보변경(경정)신고서
Notification of change of applicant's information
2014.12.24 수리 (Accepted) 4-1-2014-5157993-01
9 출원인정보변경(경정)신고서
Notification of change of applicant's information
2019.04.24 수리 (Accepted) 4-1-2019-5081392-49
10 출원인정보변경(경정)신고서
Notification of change of applicant's information
2020.05.15 수리 (Accepted) 4-1-2020-5108396-12
11 출원인정보변경(경정)신고서
Notification of change of applicant's information
2020.06.12 수리 (Accepted) 4-1-2020-5131486-63
번호, 청구항의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 청구항 표입니다.
번호 청구항
1 1
인간과 상호작용하는 보조 로봇(assistive robot)에서 출력할 감정 음성을 개인 운율 모델에 기반하여 합성하기 위한 방법에 있어서, 개인별 음성을 분석하여 개인별 감정 운율 구조(personal emotional prosody structure)의 특성을 추출하는 감정 운율 구조 특성 추출하고, 추출된 개인별 감정 운율 구조를 감정 음성 데이터베이스에 저장하는 단계; 상기 보조 로봇의 주위 환경에 대한 상황 정보를 수신하고, 수신된 상황 정보에 따라 입력 텍스트를 결정하며, 결정된 입력 텍스트의 문장 타입을 식별하는 단계; 상기 입력 텍스트 및 목표 감정을 수신하는 수신 단계; 상기 감정 음성 데이터베이스로부터 음성을 합성할 발화자(speaker)에 상응하는 개인별 감정 운율 구조를 검색하는 단계; 및 상기 입력 텍스트를 무감정 음성(emotionless speech)으로 변환하고, 변환된 무감정 음성을 상기 목표 감정에 상응하는 상기 개인별 감정 운율 구조에 기반하여 수정함으로써 상기 발화자에 상응하는 감정 음성을 생성하며, 생성된 감정 음성의 문장 어미(sentence final syllable)를 식별된 문장 타입에 따라서 수정하여 출력하는 감정 음성 합성 단계를 포함하는 것을 특징으로 하는 보조 로봇용 감정 음성 합성 방법
2 2
제1항에 있어서, 상기 감정 운율 구조 특성 추출 단계는, 상기 발화자의 기본 감정(basic emotion)에 따른 음성 정보를 포함하는 데이터셋으로부터 일반 감정 운율 구조를 추출하는 일반 감정 운율 구조 추출 단계; 및 각 발화자의 개인별 감정 운율 구조를 상기 일반 감정 운율 구조와 비교하여 상기 개인별 감정 운율 구조의 상대적 차분치를 파라미터화하는 개인별 감정 운율 구조 추출 단계를 포함하는 것을 특징으로 하는 보조 로봇용 감정 음성 합성 방법
3 3
제2항에 있어서, 상기 개인별 감정 운율 구조 추출 단계는, 상기 발화자의 각각의 감정에 따른 음성의 전체 피치(overall pitch), 강도(intensity), 및 발화 속도(speech rate)를 파라미터로서 문장 레벨에서 분석하는 문장 레벨 감정 운율 구조 분석 단계; 상기 발화자의 각각의 감정에 따른 음성에 포함되는 억양구(intonation phrase, IP)들 간의 휴지 길이(pause length)를 파라미터로서 억양구 레벨에서 분석하는 억양구 레벨 감정 운율 구조 분석 단계; 및 상기 발화자의 각각의 감정에 따른 음성에 포함되는 억양구들 각각의 억양구 경계 패턴(IP boundary pattern)을 파라미터로서 음절 레벨에서 분석하는 음절 레벨 감정 운율 구조 분석 단계를 포함하는 것을 특징으로 하는 보조 로봇용 감정 음성 합성 방법
4 4
제3항에 있어서, 상기 문장 레벨 감정 운율 구조 분석 단계는, 감정별 음성의 피치값의 사분위간 평균(interquartile mean, IQM)을 연산하는 단계; 감정별 음성의 강도 중 소정값 이상의 강도를 선택하는 단계; 감정별 음성의 전체 발화 길이로부터 상기 발화 속도를 연산하는 단계; 상기 피치값, 강도 및 발화 속도를 정규화하여 문장별 불일치(disparity) 및 발화자별 불일치를 제거하는 단계; 및 정규화된 결과를 이용하여, 중립의 감정 상태에 상응하는 개인별 감정 운율 구조를 표준으로 하여 감정별 개인별 감정 운율의 파라미터들의 차이를 연산하고, 연산 결과를 이용하여 상기 개인별 감정 운율 구조를 구성하는 단계를 포함하는 것을 특징으로 하는 보조 로봇용 감정 음성 합성 방법
5 5
제3항에 있어서, 상기 억양구 레벨 감정 운율 구조 분석 단계는, 감정별 음성의 억양구 간 휴지 영역(pause region)을 검출하는 단계; 및 상기 휴지 영역들의 전체 길이를 합산하여 전체 휴지 길이를 연산하는 단계를 포함하는 것을 특징으로 하는 보조 로봇용 감정 음성 합성 방법
6 6
제3항에 있어서, 상기 음절 레벨 감정 운율 구조 분석 단계는, 상기 음성의 억양구 경계 패턴을 L%, H%, LH%, HL%, LHL%, HLH%, HLHL%, LHLH% 및 LHLHL% 중 하나에 상응하는 피치 컨투어(pitch contour)로서 분석하는 단계를 포함하는 것을 특징으로 하는 보조 로봇용 감정 음성 합성 방법
7 7
제1항에 있어서, 상기 감정 음성 합성 단계는, TTS(Text-to-Speech) 시스템을 이용하여 상기 입력 텍스트를 무감정 음성으로 변환하는 단계; 상기 감정 음성 데이터베이스로부터 상기 발화자의 상기 목표 감정에 상응하는 감정 운율 구조를 검색하는 단계; 검색된 감정 운율 구조의 파라미터들을 이용하여 상기 무감정 음성을 수정함으로써 상기 감정 음성을 생성하는 음성 수정 단계; 및 생성된 감정 음성의 어미를 상기 문장 타입에 따라서 수정하는 어미 수정 단계를 포함하는 것을 특징으로 하는 보조 로봇용 감정 음성 합성 방법
8 8
제7항에 있어서, 상기 음성 수정 단계는, 상기 개인별 감정 운율 구조로부터 상기 목표 감정에 상응하는 피치 컨투어를 파라미터로서 추출하는 단계; 및 추출된 피치 컨투어를 이용하여 상기 무감정 음성의 피치 컨투어를 수정하는 음절 레벨 수정 단계를 포함하는 것을 특징으로 하는 보조 로봇용 감정 음성 합성 방법
9 9
제7항에 있어서, 상기 음성 수정 단계는, 상기 개인별 감정 운율 구조로부터 상기 목표 감정에 상응하는 휴지 길이를 파라미터로서 추출하는 단계; 및 추출된 휴지 길이를 이용하여 상기 무감정 음성의 휴지 길이를 수정하는 억양구 레벨 수정 단계를 포함하는 것을 특징으로 하는 보조 로봇용 감정 음성 합성 방법
10 10
제7항에 있어서, 상기 음성 수정 단계는, 상기 개인별 감정 운율 구조로부터 상기 목표 감정에 상응하는 전체 피치, 전체 강도, 및 발화 속도를 파라미터로서 추출하는 단계; 및 추출된 전체 피치, 전체 강도, 및 발화 속도를 이용하여 상기 무감정 음성의 전체 피치, 전체 강도, 및 발화 속도를 수정하는 문장 레벨 수정 단계를 포함하는 것을 특징으로 하는 보조 로봇용 감정 음성 합성 방법
11 11
제7항에 있어서, 상기 어미 수정 단계는, 상기 감정 음성의 억양이 L%, LH%, LHL%, LHLH%, LHLHL%, H%, HL%, HLH% 및 HLHL% 중 하나가 되도록 수정하고, 수정된 억양에 따라서 상기 감정 음성의 어미를 수정하는 단계를 포함하는 것을 특징으로 하는 보조 로봇용 감정 음성 합성 방법
12 12
제1항 내지 제11항 중 어느 한 항에 따르는 방법을 구현하기 위한 컴퓨터에 의하여 실행될 수 있는 명령어들을 포함하는 컴퓨터 프로그램이 기록된 컴퓨터에 의하여 독출될 수 있는 기록 매체
13 13
인간과 상호작용하며, 상황 정보에 따른 감정 음성을 개인 운율 모델에 기반하여 감정 음성을 합성하기 위한 보조 로봇에 있어서, 개인별 음성을 분석하여 개인별 감정 운율 구조의 특성을 추출하는 감정 운율 구조 특성 추출부; 추출된 개인별 감정 운율 구조를 저장하는 감정 음성 데이터베이스; 상기 보조 로봇의 주위 환경에 대한 상황 정보를 수신하기 위한 상황 정보 수신부; 수신된 상황 정보에 따라 입력 텍스트를 결정하며, 결정된 입력 텍스트의 문장 타입을 식별하는 문장 타입 식별부; 및 입력 텍스트 및 목표 감정이 수신되면 상기 입력 텍스트를 무감정 음성으로 변환하고, 상기 감정 음성 데이터베이스로부터 음성을 합성할 발화자에 상응하는 개인별 감정 운율 구조를 검색하며, 변환된 무감정 음성을 상기 목표 감정에 상응하는 상기 개인별 감정 운율 구조에 기반하여 수정함으로써 상기 발화자에 상응하는 감정 음성을 생성하고, 생성된 감정 음성의 문장 어미를 식별된 문장 타입에 따라서 수정하여 출력하는 감정 음성 합성부를 포함하는 것을 특징으로 하는 감정 음성 합성 기능을 가지는 보조 로봇
14 14
제13항에 있어서, 상기 감정 운율 구조 특성 추출부는, 상기 발화자의 기본 감정에 따른 음성 정보를 포함하는 데이터셋으로부터 일반 감정 운율 구조를 추출하는 동작, 및 각 발화자의 개인별 감정 운율 구조를 상기 일반 감정 운율 구조와 비교하여 상기 개인별 감정 운율 구조의 상대적 차분치를 파라미터화하는 동작을 수행하도록 적응되는 것을 특징으로 하는 감정 음성 합성 기능을 가지는 보조 로봇
15 15
제14항에 있어서, 상기 감정 운율 구조 특성 추출부는, 상기 개인별 감정 운율 구조를 추출하기 위하여, 상기 발화자의 각각의 감정에 따른 음성의 전체 피치, 강도, 및 발화 속도를 파라미터로서 문장 레벨에서 분석하는 문장 레벨 감정 운율 구조 분석 동작, 상기 발화자의 각각의 감정에 따른 음성에 포함되는 억양구(IP)들 간의 휴지 길이를 파라미터로서 억양구 레벨에서 분석하는 억양구 레벨 감정 운율 구조 분석 동작, 및 상기 발화자의 각각의 감정에 따른 음성에 포함되는 억양구들 각각의 억양구 경계 패턴을 파라미터로서 음절 레벨에서 분석하는 음절 레벨 감정 운율 구조 분석 동작을 수행하도록 적응되는 것을 특징으로 하는 감정 음성 합성 기능을 가지는 보조 로봇
16 16
제15항에 있어서, 상기 감정 운율 구조 특성 추출부는, 문장 레벨 감정 운율 구조를 분석하기 위하여, 감정별 음성의 피치값의 사분위간 평균(IQM)을 연산하는 동작, 감정별 음성의 강도 중 소정값 이상의 강도를 선택하는 동작, 감정별 음성의 전체 발화 길이로부터 상기 발화 속도를 연산하는 동작, 상기 피치값, 강도 및 발화 속도를 정규화하여 문장별 불일치 및 발화자별 불일치를 제거하는 동작, 및 정규화된 결과를 이용하여, 중립의 감정 상태에 상응하는 개인별 감정 운율 구조를 표준으로 하여 감정별 개인별 감정 운율의 파라미터들의 차이를 연산하고, 연산 결과를 이용하여 상기 개인별 감정 운율 구조를 구성하는 동작을 수행하도록 적응되는 것을 특징으로 하는 감정 음성 합성 기능을 가지는 보조 로봇
17 17
제15항에 있어서, 상기 감정 운율 구조 특성 추출부는, 억양구 레벨 감정 운율 구조를 분석하기 위하여, 감정별 음성의 억양구 간 휴지 영역을 검출하는 동작, 및 상기 휴지 영역들의 전체 길이를 합산하여 전체 휴지 길이를 연산하는 동작을 수행하도록 적응되는 것을 특징으로 하는 감정 음성 합성 기능을 가지는 보조 로봇
18 18
제15항에 있어서, 상기 감정 운율 구조 특성 추출부는, 음절 레벨 감정 운율 구조를 분석하기 위하여, 상기 음성의 억양구 경계 패턴을 L%, H%, LH%, HL%, LHL%, HLH%, HLHL%, LHLH% 및 LHLHL% 중 하나에 상응하는 피치 컨투어로서 분석하는 동작을 수행하도록 적응되는 것을 특징으로 하는 감정 음성 합성 기능을 가지는 보조 로봇
19 19
제13항에 있어서, 상기 감정 음성 합성부는, TTS 시스템을 이용하여 상기 입력 텍스트를 무감정 음성으로 변환하는 동작, 감정 음성 데이터베이스로부터 상기 발화자의 상기 목표 감정에 상응하는 감정 운율 구조를 검색하는 동작, 및 검색된 감정 운율 구조의 파라미터들을 이용하여 상기 무감정 음성을 수정함으로써 상기 감정 음성을 생성하는 음성 수정 동작, 및 생성된 감정 음성의 어미를 상기 문장 타입에 따라서 수정하는 어미 수정 동작을 수행하도록 적응되는 것을 특징으로 하는 감정 음성 합성 기능을 가지는 보조 로봇
20 20
제19항에 있어서, 상기 감정 음성 합성부는, 상기 음성 수정 동작을 수행하기 위하여, 상기 개인별 감정 운율 구조로부터 상기 목표 감정에 상응하는 피치 컨투어를 파라미터로서 추출하는 동작, 및 추출된 피치 컨투어를 이용하여 상기 무감정 음성의 피치 컨투어를 수정하는 음절 레벨 수정 동작을 수행하도록 적응되는 것을 특징으로 하는 감정 음성 합성 기능을 가지는 보조 로봇
21 21
제19항에 있어서, 상기 감정 음성 합성부는, 상기 음성 수정 동작을 수행하기 위하여, 상기 개인별 감정 운율 구조로부터 상기 목표 감정에 상응하는 휴지 길이를 파라미터로서 추출하는 동작, 및 추출된 휴지 길이를 이용하여 상기 무감정 음성의 휴지 길이를 수정하는 억양구 레벨 수정 동작을 수행하도록 적응되는 것을 특징으로 하는 감정 음성 합성 기능을 가지는 보조 로봇
22 22
제19항에 있어서, 상기 감정 음성 합성부는, 상기 음성 수정 동작을 수행하기 위하여, 상기 개인별 감정 운율 구조로부터 상기 목표 감정에 상응하는 전체 피치, 전체 강도, 및 발화 속도를 파라미터로서 추출하는 동작, 및 추출된 전체 피치, 전체 강도, 및 발화 속도를 이용하여 상기 무감정 음성의 전체 피치, 전체 강도, 및 발화 속도를 수정하는 문장 레벨 수정 동작을 수행하도록 적응되는 것을 특징으로 하는 감정 음성 합성 기능을 가지는 보조 로봇
23 23
제19항에 있어서, 상기 감정 음성 합성부는, 상기 어미 수정 동작을 수행하기 위하여, 상기 감정 음성의 억양이 L%, LH%, LHL%, LHLH%, LHLHL%, H%, HL%, HLH% 및 HLHL% 중 하나가 되도록 수정하고, 수정된 억양에 따라서 상기 감정 음성의 어미를 수정하는 동작을 수행하도록 적응되는 것을 특징으로 하는 감정 음성 합성 기능을 가지는 보조 로봇
지정국 정보가 없습니다
패밀리정보가 없습니다
국가 R&D 정보가 없습니다.