맞춤기술찾기

홈으로 가기
맞춤기술찾기
이전대상기술
프린트하기

이전대상기술

심화 학습 모델을 이용한 목표 화자의 적응형 목소리 변환 방법 및 이를 구현하는 음성 변환 장치

  • 기술번호 : KST2019011614
  • 담당센터 : 서울동부기술혁신센터
  • 전화번호 : 02-2155-3662
상담신청 PDF 받기
요약, Int. CL, CPC, 출원번호/일자, 출원인, 등록번호/일자, 공개번호/일자, 공고번호/일자, 국제출원번호/일자, 국제공개번호/일자, 우선권정보, 법적상태, 심사진행상태, 심판사항, 구분, 원출원번호/일자, 관련 출원번호, 기술이전 희망, 심사청구여부/일자, 심사청구항수의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 서지정보 표입니다.
요약 본 발명은 심화 학습 모델을 이용한 목표 화자의 적응형 목소리 변환 방법 및 이를 구현하는 음성 변환 장치에 관한 것으로서, 보다 구체적으로는, 사용자 맞춤형 음성 보정 장치가, (1) 원시 화자의 음성 문장을 포함하는 데이터베이스에 저장된 음성 데이터에 대하여, 파형 보간법을 이용하여, 음성 문장 각각의 프레임에 대해 특징 벡터들을 추출하는 단계; (2) 상기 데이터베이스에 저장된 음성 데이터에 대하여, 각각의 화자에 대해 서로 다른 값을 갖는 코드 벡터들을 추출하는 단계; (3) 추출된 특징 벡터들 및 코드 벡터들을 이용하여 미리 설정된 딥 러닝 모델을 학습시키는 단계; 및 (4) 학습된 딥 러닝 모델에, 상기 원시 화자의 특징 벡터 및 코드 벡터와, 목표 화자의 코드 벡터를 입력한 결과에 기초하여, 목표 화자의 음성을 생성하는 단계를 포함하는 것을 그 구성상의 특징으로 한다.본 발명에서 제안하고 있는 심화 학습 모델을 이용한 목표 화자의 적응형 목소리 변환 방법 및 이를 구현하는 음성 변환 장치에 따르면, 사용자 맞춤형 음성 보정 장치가, 원시 화자의 음성 문장을 포함하는 데이터베이스에 저장된 음성 데이터에 대하여, 파형 보간법을 이용하여 음성 문장 각각의 프레임에 대해 특징 벡터들을 추출하고, 데이터베이스에 저장된 음성 데이터에 대하여, 각각의 화자에 대해 서로 다른 값을 갖는 코드 벡터들을 추출하며, 추출된 특징 벡터들 및 코드 벡터들을 이용하여 미리 설정된 딥 러닝 모델을 학습시키고, 학습된 딥 러닝 모델에 원시 화자의 특징 벡터 및 코드 벡터와, 목표 화자의 코드 벡터를 입력한 결과에 기초하여, 목표 화자의 음성을 생성함으로써, 상대적으로 적은 음성 데이터만으로 추출된 목표 화자의 코드 벡터를 이용하여 목표 화자가 발화하지 않은 문장들도 목표 화자의 음성 특징을 반영하여 새로운 음성으로 생성할 수 있다.또한, 추출되는 특징 벡터를 이용하여 화자에 독립적인 성분과 비독립적인 성분을 구별함으로써, 화자에 독립적인 파라미터가 추정 에러에 의해 받는 영향을 감소시킬 수 있다.
Int. CL G10L 13/033 (2013.01.01) G10L 13/04 (2006.01.01)
CPC G10L 13/033(2013.01) G10L 13/033(2013.01)
출원번호/일자 1020150060949 (2015.04.29)
출원인 서울대학교산학협력단
등록번호/일자 10-1666930-0000 (2016.10.11)
공개번호/일자
공고번호/일자 (20161024) 문서열기
국제출원번호/일자
국제공개번호/일자
우선권정보
법적상태 등록
심사진행상태 수리
심판사항
구분 신규
원출원번호/일자
관련 출원번호
심사청구여부/일자 Y (2015.04.29)
심사청구항수 7

출원인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 출원인 표입니다.
번호 이름 국적 주소
1 서울대학교산학협력단 대한민국 서울특별시 관악구

발명자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 발명자 표입니다.
번호 이름 국적 주소
1 김남수 대한민국 서울특별시 서초구
2 강태균 대한민국 서울특별시 강서구
3 권기수 대한민국 서울특별시 관악구
4 이준엽 대한민국 서울특별시 송파구
5 김형용 대한민국 서울특별시 노원구

대리인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 대리인 표입니다.
번호 이름 국적 주소
1 김건우 대한민국 서울특별시 금천구 가산디지털*로 ***, 에이동 ***호 특허그룹덕원 (가산동, 우림 라이온스밸리)

최종권리자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 최종권리자 표입니다.
번호 이름 국적 주소
1 서울대학교산학협력단 대한민국 서울특별시 관악구
번호, 서류명, 접수/발송일자, 처리상태, 접수/발송일자의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 행정처리 표입니다.
번호 서류명 접수/발송일자 처리상태 접수/발송번호
1 [특허출원]특허출원서
[Patent Application] Patent Application		 2015.04.29 수리 (Accepted) 1-1-2015-0420722-07
2 의견제출통지서
Notification of reason for refusal		 2016.03.14 발송처리완료 (Completion of Transmission) 9-5-2016-0190090-46
3 [명세서등 보정]보정서
[Amendment to Description, etc.] Amendment		 2016.05.12 보정승인간주 (Regarded as an acceptance of amendment) 1-1-2016-0452684-88
4 등록결정서
Decision to grant		 2016.08.29 발송처리완료 (Completion of Transmission) 9-5-2016-0620147-70
5 [출원서등 보정]보정서
[Amendment to Patent Application, etc.] Amendment		 2016.10.05 수리 (Accepted) 1-1-2016-0962045-07
6 출원인정보변경(경정)신고서
Notification of change of applicant's information		 2019.05.13 수리 (Accepted) 4-1-2019-5093546-10
7 출원인정보변경(경정)신고서
Notification of change of applicant's information		 2019.05.23 수리 (Accepted) 4-1-2019-5101798-31
8 출원인정보변경(경정)신고서
Notification of change of applicant's information		 2019.08.02 수리 (Accepted) 4-1-2019-5154561-59
9 출원인정보변경(경정)신고서
Notification of change of applicant's information		 2020.11.25 수리 (Accepted) 4-1-2020-5265458-48
번호, 청구항의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 청구항 표입니다.
번호 청구항
1 1
사용자 맞춤형 음성 보정 장치가,(1) 원시 화자의 음성 문장을 포함하는 데이터베이스에 저장된 음성 데이터에 대하여, 파형 보간법을 이용하여, 음성 문장 각각의 프레임에 대해 특징 벡터들을 추출하는 단계;(2) 상기 데이터베이스에 저장된 음성 데이터에 대하여, 각각의 화자에 대해 서로 다른 값을 갖는 코드 벡터들을 추출하는 단계;(3) 추출된 특징 벡터들 및 코드 벡터들을 이용하여 미리 설정된 딥 러닝 모델을 학습시키는 단계; 및(4) 학습된 딥 러닝 모델에, 상기 원시 화자의 특징 벡터 및 코드 벡터와, 목표 화자의 코드 벡터를 입력한 결과에 기초하여, 목표 화자의 음성을 생성하는 단계를 포함하되,상기 단계 (3)에서는,상기 딥 러닝 모델로부터 추정되는, 상기 원시 화자와 구별되는 제2 화자의 특징 벡터와, 상기 데이터베이스에 저장된 상기 제2 화자의 특징 벡터 사이의 에러가 최소화되도록, 상기 딥 러닝 모델을 학습시키는 것을 특징으로 하는, 심화 학습 모델을 이용한 목표 화자의 적응형 목소리 변환 방법
2 2
삭제
3 3
제1항에 있어서, 상기 단계 (4)에서는,상기 원시 화자의 특징 벡터 및 코드 벡터와, 상기 목표 화자의 코드 벡터를 상기 학습된 딥 러닝 모델에 입력하여, 상기 목표 화자의 특징 벡터를 추정하고, 상기 추정된 목표 화자의 특징 벡터에 기초하여 상기 목표 화자의 음성을 생성하는 것을 특징으로 하는, 심화 학습 모델을 이용한 목표 화자의 적응형 목소리 변환 방법
4 4
제3항에 있어서, 상기 단계 (4)에서는,상기 추정된 목표 화자의 특징 벡터에 대해, 파형 보간법을 역으로 적용하여 상기 목표 화자의 음성을 생성하는 것을 특징으로 하는, 심화 학습 모델을 이용한 목표 화자의 적응형 목소리 변환 방법
5 5
제1항에 있어서, 상기 단계 (2)에서,상기 각각의 화자에 대해 서로 다른 값을 갖도록 추출되는 코드 벡터는, i-벡터를 포함하는 것을 특징으로 하는, 심화 학습 모델을 이용한 목표 화자의 적응형 목소리 변환 방법
6 6
제5항에 있어서, 상기 i-벡터는,s = m + Tw 의 식으로 표현되되,s는 대화측 슈퍼 벡터(conversation side supervector)이고, m은 화자 독립적인 성분(speaker-independent component)이며, T는 총 가변 행렬(total-variability matrix)이고, w가 i-벡터인 것을 특징으로 하는, 심화 학습 모델을 이용한 목표 화자의 적응형 목소리 변환 방법
7 7
제1항에 있어서, 상기 단계 (3)에서,상기 딥 러닝 모델은 심화 볼츠만 기계(deep Boltzmann machine) 또는 심화 오토인코더(depp autoencoder)를 포함하는 것을 특징으로 하는, 심화 학습 모델을 이용한 목표 화자의 적응형 목소리 변환 방법
8 8
제1,3,4,5,6,7항 중 어느 한 항의 심화 학습 모델을 이용한 목표 화자의 적응형 목소리 변환 방법을 구현하는 음성 변환 장치
지정국 정보가 없습니다
패밀리정보가 없습니다
순번, 연구부처, 주관기관, 연구사업, 연구과제의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 국가R&D 연구정보 정보 표입니다.
순번 연구부처 주관기관 연구사업 연구과제
1 미래창조과학부 서울대학교 산학협력단 정보통신기술인력양성 사업 실감 오케스트라 서비스를 위한 입체음향 취득/재현기술 개발
2 미래창조과학부 서울대학교 산학협력단 기초연구사업/중견연구자지원 사업 통합 사운드 씬 인지 기술