맞춤기술찾기

이전대상기술

음성변조를 위한 음성모델 부호화를 이용한 음성합성 기술 및 장치

  • 기술번호 : KST2018013953
  • 담당센터 : 대전기술혁신센터
  • 전화번호 : 042-610-2279
요약, Int. CL, CPC, 출원번호/일자, 출원인, 등록번호/일자, 공개번호/일자, 공고번호/일자, 국제출원번호/일자, 국제공개번호/일자, 우선권정보, 법적상태, 심사진행상태, 심판사항, 구분, 원출원번호/일자, 관련 출원번호, 기술이전 희망, 심사청구여부/일자, 심사청구항수의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 서지정보 표입니다.
요약 본 발명은 자동 음성합성에서 음성합성 장치를 구성하는 임의의 화자의 음성모델을 음성변조에 효과적이면서도 효율적인 음성모델 코드로 부호화하고, 상기 음성모델 코드를 변경하거나 복수의 화자의 음성모델 코드들을 서로 조합함으로써 변조된 목소리의 음성 정보를 담은 음성모델 코드로 변환하고, 변환된 음성모델 코드로부터 해당 음성모델을 복원하기 위하여 복호화시키고, 복원된 음성모델을 활용하여 주어진 텍스트에 해당하는 변조된 음성파형을 합성하는 음성합성 장치 및 방법이 개시된다. 일 실시예에 따른 음성합성 방법은, 음성모델을 음성모델 코드로 부호화하는 단계; 상기 음성모델 코드를 조작함에 따라 변조된 목소리 음성 정보를 포함하는 음성모델 코드로 변환하는 단계; 상기 부호화된 음성모델 코드 또는 상기 변조된 목소리 음성 정보를 포함하는 음성모델 코드를 복호화하여 합성 가능한 음성모델로 복원시키는 단계; 및 텍스트 정보가 입력됨에 따라 상기 복원된 음성모델에 기반하여 상기 입력된 텍스트 정보에 대해 변조된 목소리의 음성 파형을 합성하는 단계를 포함할 수 있다.
Int. CL G10L 13/08 (2006.01.01) G10L 13/02 (2006.01.01) G10L 21/04 (2006.01.01)
CPC G10L 13/08(2013.01) G10L 13/08(2013.01) G10L 13/08(2013.01)
출원번호/일자 1020170044719 (2017.04.06)
출원인 한국과학기술원
등록번호/일자
공개번호/일자 10-2018-0113325 (2018.10.16) 문서열기
공고번호/일자 문서열기
국제출원번호/일자
국제공개번호/일자
우선권정보
법적상태 등록
심사진행상태 수리
심판사항
구분 신규
원출원번호/일자
관련 출원번호
심사청구여부/일자 Y (2017.04.06)
심사청구항수 11

출원인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 출원인 표입니다.
번호 이름 국적 주소
1 한국과학기술원 대한민국 대전광역시 유성구

발명자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 발명자 표입니다.
번호 이름 국적 주소
1 김회린 대한민국 대전광역시 유성구
2 서영주 대한민국 대전광역시 유성구

대리인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 대리인 표입니다.
번호 이름 국적 주소
1 양성보 대한민국 서울특별시 강남구 선릉로***길 ** (논현동) 삼성빌딩 *층(피앤티특허법률사무소)

최종권리자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 최종권리자 표입니다.
번호 이름 국적 주소
1 한국과학기술원 대한민국 대전광역시 유성구
번호, 서류명, 접수/발송일자, 처리상태, 접수/발송일자의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 행정처리 표입니다.
번호 서류명 접수/발송일자 처리상태 접수/발송번호
1 [특허출원]특허출원서
[Patent Application] Patent Application
2017.04.06 수리 (Accepted) 1-1-2017-0338193-65
2 의견제출통지서
Notification of reason for refusal
2018.05.28 발송처리완료 (Completion of Transmission) 9-5-2018-0355810-63
3 [명세서등 보정]보정서
[Amendment to Description, etc.] Amendment
2018.06.20 보정승인간주 (Regarded as an acceptance of amendment) 1-1-2018-0606224-92
4 [거절이유 등 통지에 따른 의견]의견(답변, 소명)서
[Opinion according to the Notification of Reasons for Refusal] Written Opinion(Written Reply, Written Substantiation)
2018.06.20 수리 (Accepted) 1-1-2018-0606223-46
5 등록결정서
Decision to grant
2018.08.13 발송처리완료 (Completion of Transmission) 9-5-2018-0549645-75
6 출원인정보변경(경정)신고서
Notification of change of applicant's information
2019.04.24 수리 (Accepted) 4-1-2019-5081392-49
7 출원인정보변경(경정)신고서
Notification of change of applicant's information
2020.05.15 수리 (Accepted) 4-1-2020-5108396-12
8 출원인정보변경(경정)신고서
Notification of change of applicant's information
2020.06.12 수리 (Accepted) 4-1-2020-5131486-63
번호, 청구항의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 청구항 표입니다.
번호 청구항
1 1
음성합성 방법에 있어서, 음성모델을 음성모델 코드로 부호화하는 단계;상기 음성모델 코드를 조작함에 따라 변조된 목소리 음성 정보를 포함하는 음성모델 코드로 변환하는 단계;상기 부호화된 음성모델 코드 또는 상기 변조된 목소리 음성 정보를 포함하는 음성모델 코드를 복호화하여 합성 가능한 음성모델로 복원시키는 단계; 및 텍스트 정보가 입력됨에 따라 상기 복원된 음성모델을 활용하여 상기 입력된 텍스트 정보에 대해 변조된 목소리의 음성 파형을 합성하는 단계 를 포함하고,상기 음성모델을 음성모델 코드로 부호화하는 단계는,음성합성을 위한 훈련(Training) 또는 적응(Adaptation)을 통해 생성된 임의의 화자의 음성모델 전부 또는 일부를 주성분 분석 기법에 의해 획득된 고유음성성분에 대한 가중치로 부호화하는 주성분 변환 부호화 알고리즘을 적용하여 디지털 음성모델 코드를 생성하고, 상기 음성모델을 개별 벡터 또는 수퍼벡터(U)로 변환하고, 상기 변환된 개별 벡터 또는 수퍼벡터에 대해 주성분 분석에 기반하여 고유벡터 또는 고유음성성분(E)의 K(K는 자연수) 차원의 가중치 벡터(W)를 추출하는 주성분 변환 알고리즘을 수학식 1과 같이 나타내는 단계를 포함하고,wk는 k번째 고유음성성분에 대한 가중치 원소로서 스칼라 실수값, E는 음성모델의 수퍼벡터들의 공분산행렬에 대해 주성분분석을 수행함에 따라 획득된 고유벡터들 중에서 가장 큰 K(1≤K≤S) 개의 고유치들에 대응하는 고유벡터들로 구성된 행렬, U는 상기 임의의 화자에 대한 음성모델을 변환한 수퍼벡터를 의미하는 수학식 1:음성합성 방법
2 2
삭제
3 3
삭제
4 4
제1항에 있어서,상기 음성모델을 음성모델 코드로 부호화하는 단계는,상기 임의의 화자에 대한 음성모델을 변환한 수퍼벡터(U)가 수학식 2와 같이 주어지고, 는 상기 임의의 화자에 대한 음성모델을 v번째 아음소 GMM-HMM에서 i번째 상태의 j번째 혼합에서의 평균벡터, 또는 공분산행렬의 대각원소들로 구성된 벡터, 또는 DNN-HMM의 v번째 계층에서의 가중치행렬에서 i번째 노드의 j번째 가중치를 의미하는 수학식 2:것을 특징으로 하는 음성합성 방법
5 5
제4항에 있어서,상기 음성모델을 음성모델 코드로 부호화하는 단계는,복수의 화자의 수퍼벡터의 데이터로부터 수학식 3을 통하여 주성분 분석에 사용된 수퍼벡터들에 대한 평균벡터(M)를 도출함에 따라 획득된 음성모델 코드를 저장하는 단계를 포함하고, 수학식 3:s는 전체 S명의 화자들로부터 획득한 음성모델들 중에서 임의의 화자의 음성모델의 인덱스를 나타내고 mean(·)은 주성분분석에 사용된 전체 화자음성모델들에 대한 개별 원소 평균치를 그 원소로 취하는 벡터를 구하는 함수를 의미하는것을 특징으로 하는 음성합성 방법
6 6
음성합성 방법에 있어서, 음성모델을 음성모델 코드로 부호화하는 단계;상기 음성모델 코드를 조작함에 따라 변조된 목소리 음성 정보를 포함하는 음성모델 코드로 변환하는 단계;상기 부호화된 음성모델 코드 또는 상기 변조된 목소리 음성 정보를 포함하는 음성모델 코드를 복호화하여 합성 가능한 음성모델로 복원시키는 단계; 및 텍스트 정보가 입력됨에 따라 상기 복원된 음성모델을 활용하여 상기 입력된 텍스트 정보에 대해 변조된 목소리의 음성 파형을 합성하는 단계를 포함하고,상기 음성모델 코드를 조작함에 따라 변조된 목소리 음성 정보를 포함하는 음성모델 코드로 변환하는 단계는,상기 부호화된 음성모델 코드를 기 선택된 목소리 음성 정보를 포함하는 음성모델 코드로 변경하거나 복수의 임의의 화자들로부터 획득된 음성모델 코드에 포함된 코드 정보를 각각 기 설정된 비율로 조합함으로써 변조된 목소리 음성 정보를 포함하는 음성모델 코드로 변환하는 단계 를 포함하는 음성합성 방법
7 7
음성합성 방법에 있어서, 음성모델을 음성모델 코드로 부호화하는 단계;상기 음성모델 코드를 조작함에 따라 변조된 목소리 음성 정보를 포함하는 음성모델 코드로 변환하는 단계;상기 부호화된 음성모델 코드 또는 상기 변조된 목소리 음성 정보를 포함하는 음성모델 코드를 복호화하여 합성 가능한 음성모델로 복원시키는 단계; 및 텍스트 정보가 입력됨에 따라 상기 복원된 음성모델을 활용하여 상기 입력된 텍스트 정보에 대해 변조된 목소리의 음성 파형을 합성하는 단계를 포함하고,상기 부호화된 음성모델 코드 또는 상기 변조된 목소리 음성 정보를 포함하는 음성모델 코드를 복호화하여 합성 가능한 음성모델로 복원시키는 단계는,상기 부호화된 음성모델 코드 또는 상기 변조된 목소리 음성 정보를 포함하는 음성모델 코드에 주성분 변환 복호화 알고리즘을 적용하여 수퍼벡터로 복호화하고, 상기 수퍼벡터에 대응되는 음성모델의 파라메터를 복원한 후, 상기 복원된 파라메터를 포함하는 음성모델을 저장하는 단계를 포함하는 음성합성 방법
8 8
컴퓨터 시스템이 음성을 합성하도록 제어하는 명령(instruction)을 포함하는 컴퓨터 판독가능 저장 매체로서,상기 명령은, 음성모델을 음성모델 코드로 부호화하는 단계;상기 음성모델 코드를 조작함에 따라 변조된 목소리 음성 정보를 포함하는 음성모델 코드로 변환하는 단계;상기 부호화된 음성모델 코드 또는 상기 변조된 목소리 음성 정보를 포함하는 음성모델 코드를 복호화하여 합성 가능한 음성모델로 복원시키는 단계; 및 텍스트 정보가 입력됨에 따라 상기 복원된 음성모델을 활용하여 상기 입력된 텍스트 정보에 대해 변조된 목소리의 음성 파형을 합성하는 단계 를 포함하고,상기 음성모델을 음성모델 코드로 부호화하는 단계는,음성합성을 위한 훈련(Training) 또는 적응(Adaptation)을 통해 생성된 임의의 화자의 음성모델 전부 또는 일부를 주성분 분석 기법에 의해 획득된 고유음성성분에 대한 가중치로 부호화하는 주성분 변환 부호화 알고리즘을 적용하여 디지털 음성모델 코드를 생성하고, 상기 음성모델을 개별 벡터 또는 수퍼벡터(U)로 변환하고, 상기 변환된 개별 벡터 또는 수퍼벡터에 대해 주성분 분석에 기반하여 고유벡터 또는 고유음성성분(E)의 K(K는 자연수) 차원의 가중치 벡터(W)를 추출하는 주성분 변환 알고리즘을 수학식 1과 같이 나타내는 단계를 포함하고,wk는 k번째 고유음성성분에 대한 가중치 원소로서 스칼라 실수값, E는 음성모델의 수퍼벡터들의 공분산행렬에 대해 주성분분석을 수행함에 따라 획득된 고유벡터들 중에서 가장 큰 K(1≤K≤S) 개의 고유치들에 대응하는 고유벡터들로 구성된 행렬, U는 상기 임의의 화자에 대한 음성모델을 변환한 수퍼벡터를 의미하는 것수학식 1:을 포함하는 방법에 의하여 상기 컴퓨터 시스템을 제어하는, 컴퓨터 판독가능 저장 매체
9 9
음성합성 장치에 있어서, 음성모델을 음성모델 코드로 부호화하는 음성모델 부호화기;상기 음성모델 코드를 조작함에 따라 변조된 목소리 음성 정보를 포함하는 음성모델 코드로 변환하는 음성모델 코드 변환기;상기 부호화된 음성모델 코드 또는 상기 변조된 목소리 음성 정보를 포함하는 음성모델 코드를 복호화하여 합성 가능한 음성모델로 복원시키는 음성모델 복호화기; 및 텍스트 정보가 입력됨에 따라 상기 복원된 음성모델을 활용하여 상기 입력된 텍스트 정보에 대해 변조된 목소리의 음성 파형을 합성하는 음성 합성기를 포함하고,상기 음성모델 부호화기는,음성합성을 위한 훈련(Training) 또는 적응(Adaptation)을 통해 생성된 임의의 화자의 음성모델 전부 또는 일부를 주성분 분석 기법에 의해 획득된 고유음성성분에 대한 가중치로 부호화하는 주성분 변환 부호화 알고리즘을 적용하여 디지털 음성모델 코드를 생성하고, 상기 음성모델을 개별 벡터 또는 수퍼벡터(U)로 변환하고, 상기 변환된 개별 벡터 또는 수퍼벡터에 대해 주성분 분석에 기반하여 고유벡터 또는 고유음성성분(E)의 K(K는 자연수) 차원의 가중치 벡터(W)를 추출하는 주성분 변환 알고리즘을 수학식 1과 같이 나타내는 것을 포함하고,wk는 k번째 고유음성성분에 대한 가중치 원소로서 스칼라 실수값, E는 음성모델의 수퍼벡터들의 공분산행렬에 대해 주성분분석을 수행함에 따라 획득된 고유벡터들 중에서 가장 큰 K(1≤K≤S) 개의 고유치들에 대응하는 고유벡터들로 구성된 행렬, U는 상기 임의의 화자에 대한 음성모델을 변환한 수퍼벡터를 의미하는 수학식 1:음성합성 장치
10 10
삭제
11 11
삭제
12 12
제9항에 있어서,상기 음성모델 부호화기는,상기 임의의 화자에 대한 음성모델을 변환한 수퍼벡터(U)가 수학식 2와 같이 주어지고, 는 상기 임의의 화자에 대한 음성모델을 v번째 아음소 GMM-HMM에서 i번째 상태의 j번째 혼합에서의 평균벡터, 또는 공분산행렬의 대각원소들로 구성된 벡터, 또는 DNN-HMM의 v번째 계층에서의 가중치행렬에서 i번째 노드의 j번째 가중치를 의미하는 수학식 2:것을 특징으로 하는 음성합성 장치
13 13
제12항에 있어서,상기 음성모델 부호화기는,복수의 화자의 수퍼벡터의 데이터로부터 수학식 3을 통하여 주성분 분석에 사용된 수퍼벡터들에 대한 평균벡터(M)를 도출함에 따라 획득된 음성모델 코드를 저장하는 것을 포함하고, 수학식 3:s는 전체 S명의 화자들로부터 획득한 음성모델들 중에서 임의의 화자의 음성모델의 인덱스를 나타내고 mean(·)은 주성분 분석에 사용된 전체 화자음성모델들에 대한 개별 원소 평균치를 그 원소로 취하는 벡터를 구하는 함수를 의미하는것을 특징으로 하는 음성합성 장치
14 14
음성합성 장치에 있어서, 음성모델을 음성모델 코드로 부호화하는 음성모델 부호화기;상기 음성모델 코드를 조작함에 따라 변조된 목소리 음성 정보를 포함하는 음성모델 코드로 변환하는 음성모델 코드 변환기;상기 부호화된 음성모델 코드 또는 상기 변조된 목소리 음성 정보를 포함하는 음성모델 코드를 복호화하여 합성 가능한 음성모델로 복원시키는 음성모델 복호화기; 및 텍스트 정보가 입력됨에 따라 상기 복원된 음성모델을 활용하여 상기 입력된 텍스트 정보에 대해 변조된 목소리의 음성 파형을 합성하는 음성 합성기를 포함하고,상기 음성모델 코드 변환기는,상기 부호화된 음성모델 코드를 기 선택된 목소리 음성 정보를 포함하는 음성모델 코드로 변경하거나 복수의 임의의 화자들로부터 획득된 음성모델 코드 정보를 각각 기 설정된 비율로 조합함으로써 변조된 목소리 음성 정보를 포함하는 음성모델 코드로 변환하는 것을 특징으로 하는 음성합성 장치
15 15
음성합성 장치에 있어서, 음성모델을 음성모델 코드로 부호화하는 음성모델 부호화기;상기 음성모델 코드를 조작함에 따라 변조된 목소리 음성 정보를 포함하는 음성모델 코드로 변환하는 음성모델 코드 변환기;상기 부호화된 음성모델 코드 또는 상기 변조된 목소리 음성 정보를 포함하는 음성모델 코드를 복호화하여 합성 가능한 음성모델로 복원시키는 음성모델 복호화기; 및 텍스트 정보가 입력됨에 따라 상기 복원된 음성모델을 활용하여 상기 입력된 텍스트 정보에 대해 변조된 목소리의 음성 파형을 합성하는 음성 합성기를 포함하고,상기 음성모델 복호화기는, 상기 부호화된 음성모델 코드 또는 상기 변조된 목소리 음성 정보를 포함하는 음성모델 코드에 주성분 변환 복호화 알고리즘을 적용하여 수퍼벡터로 복호화하고, 상기 수퍼벡터에 대응되는 음성모델의 파라메터를 복원한 후, 상기 복원된 파라메터를 포함하는 음성모델을 저장하는 것을 특징으로 하는 음성합성 장치
지정국 정보가 없습니다
패밀리정보가 없습니다
순번, 연구부처, 주관기관, 연구사업, 연구과제의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 국가R&D 연구정보 정보 표입니다.
순번 연구부처 주관기관 연구사업 연구과제
1 미래창조과학부 한국과학기술원 정보통신.방송 연구개발사업 사용자 디지털 감성 DNA에 기반한 디지털생명체 기술 개발