맞춤기술찾기

이전대상기술

생성 모델 기반 데이터 증강 기법을 활용한 딥러닝 기반 감정음성합성 장치 및 방법

  • 기술번호 : KST2020004265
  • 담당센터 : 대전기술혁신센터
  • 전화번호 : 042-610-2279
요약, Int. CL, CPC, 출원번호/일자, 출원인, 등록번호/일자, 공개번호/일자, 공고번호/일자, 국제출원번호/일자, 국제공개번호/일자, 우선권정보, 법적상태, 심사진행상태, 심판사항, 구분, 원출원번호/일자, 관련 출원번호, 기술이전 희망, 심사청구여부/일자, 심사청구항수의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 서지정보 표입니다.
요약 본 발명은 음성 합성을 수행하는 방법 및 장치에 대한 것으로, 보다 상세하게는 유사 증강 데이터를 생성하여 음성합성 모델을 훈련하고, 유사 증강 데이터를 생성하는 경우 유사데이터 생성모델(generative model)에 상기 감정 조절 벡터를 입력하여 유사 증강 데이터를 생성하는 것을 포함한다.
Int. CL G10L 13/04 (2006.01.01) G10L 13/08 (2006.01.01) G10L 15/06 (2006.01.01) G10L 25/63 (2013.01.01)
CPC G10L 13/00(2013.01) G10L 13/00(2013.01) G10L 13/00(2013.01) G10L 13/00(2013.01)
출원번호/일자 1020180124925 (2018.10.19)
출원인 한국전자통신연구원, 연세대학교 산학협력단
등록번호/일자
공개번호/일자 10-2020-0044337 (2020.04.29) 문서열기
공고번호/일자
국제출원번호/일자
국제공개번호/일자
우선권정보
법적상태 공개
심사진행상태 수리
심판사항
구분 신규
원출원번호/일자
관련 출원번호
심사청구여부/일자 N
심사청구항수 20

출원인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 출원인 표입니다.
번호 이름 국적 주소
1 한국전자통신연구원 대한민국 대전광역시 유성구
2 연세대학교 산학협력단 대한민국 서울특별시 서대문구

발명자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 발명자 표입니다.
번호 이름 국적 주소
1 장인선 대전광역시 유성구
2 안충현 대전광역시 유성구
3 서정일 대전광역시 유성구
4 양승준 대전광역시 유성구
5 최지훈 대전광역시 유성구
6 강홍구 서울특별시 서대문구
7 강현주 서울특별시 서대문구
8 권오성 서울특별시 동대문구

대리인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 대리인 표입니다.
번호 이름 국적 주소
1 성병기 대한민국 서울특별시 서초구 사임당로 **, **층 (서초동, 재우빌딩)(마루특허법률사무소)

최종권리자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 최종권리자 표입니다.
번호 이름 국적 주소
최종권리자 정보가 없습니다
번호, 서류명, 접수/발송일자, 처리상태, 접수/발송일자의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 행정처리 표입니다.
번호 서류명 접수/발송일자 처리상태 접수/발송번호
1 [특허출원]특허출원서
[Patent Application] Patent Application
2018.10.19 수리 (Accepted) 1-1-2018-1031516-11
번호, 청구항의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 청구항 표입니다.
번호 청구항
1 1
음성 합성 장치가 음성 합성을 수행하는 방법에 있어서데이터 베이스로부터 음성데이터들을 입력 받고, 상기 음성데이터들로부터 파라미터들을 추출하는 단계; 상기 음성데이터들을 기초로 유사 증강 데이터들을 생성하는 단계; 상기 음성데이터들과 상기 유사 증강 데이터들에 기초하여 음성합성 모델을 훈련하는 단계; 및텍스트를 입력 받고, 상기 음성합성 모델을 사용하여 음성을 합성하여 출력하는 단계; 를 포함하되,상기 유사 증강 데이터를 생성하는 경우 감정 조절 벡터를 생성하고, 유사데이터 생성모델(generative model)에 상기 감정 조절 벡터를 입력하여,적어도 하나 이상의 상기 유사 증강 데이터를 생성하는 것을 특징으로 하는 음성 합성을 수행하는 방법
2 2
제 1 항에 있어서상기 감정 조절 벡터는상기 유사데이터 생성모델의 입력으로 사용되는 확률 변수를 제어함으로써 감정 표현의 방법이나 감정 표현의 강도를 조절하는 것을 특징으로 하는 음성 합성을 수행하는 방법
3 3
제 1 항에 있어서상기 생성된 적어도 하나 이상의 데이터는상기 음성데이터와 유사한 확률 분포를 갖는 것을 특징으로 하는 음성 합성을 수행하는 방법
4 4
제 1 항에 있어서상기 유사데이터 생성모델은 상기 음성데이터들의 파라미터들을 입력 받아 훈련되는 것을 특징으로 하는 음성 합성을 수행하는 방법
5 5
제 1 항에 있어서상기 유사데이터 생성모델은 상기 음성데이터들로부터 추출한 파라미터들의 확률 분포를 통계적으로 모델링하는 것을 특징으로 하는 음성 합성을 수행하는 방법
6 6
제 1 항에 있어서상기 유사데이터 생성모델을 훈련하는 경우, VAE (Variational Auto Encoder)를 이용하는 것을 특징으로 하는 음성 합성을 수행하는 방법
7 7
제 1 항에 있어서상기 음성데이터의 파라미터를 입력 받아 감정 조절 모델이 훈련되고,상기 훈련된 감정 조절 모델은 랜덤 변수를 입력 받아 상기 감정 조절 벡터를 생성하는 것을 특징으로 하는 음성 합성을 수행하는 방법
8 8
제 1 항에 있어서상기 음성합성 모델을 훈련하는 경우, 상기 음성데이터들로부터 추출된 파라미터들 및 유사 증강데이터들로부터 추출된 파라미터들에 기초하여 상기 음성합성 모델을 훈련하는 것을 특징으로 하는 음성 합성을 수행하는 방법
9 9
제 1 항에 있어서음성합성 모델을 훈련하는 경우, 언어 및 음성 파라미터 간의 매핑 (mapping) 관계에 대한 정보를 저장하는 것을 특징으로 하는 음성 합성을 수행하는 방법
10 10
제 9 항에 있어서상기 텍스트를 입력 받은 경우,상기 음성합성 모델에 저장된 언어 및 음성 파라미터 간의 매핑 (mapping) 관계에 대한 정보에 기초하여, 상기 텍스트에 대응되는 음성 파라미터를 추정하여 음성 파형을 합성하여 출력하는 것을 특징으로 하는 음성 합성을 수행하는 방법
11 11
음성합성 장치에 있어서데이터 베이스로부터 음성데이터들을 입력 받고, 상기 음성데이터들로부터 파라미터들을 추출하는 파라미터 추출부;상기 음성데이터들을 기초로 유사 증강 데이터들을 생성하는 유사 데이터 생성부; 상기 음성데이터들과 상기 유사 증강 데이터들에 기초하여 음성합성 모델을 훈련하는 음성합성 모델 훈련부; 및텍스트를 입력 받고, 상기 음성합성 모델을 사용하여 음성을 합성하여 출력하는 음성 합성부; 를 포함하되,상기 유사 데이터 생성부가 상기 유사 증강 데이터를 생성하는 경우 감정 조절 벡터를 생성하고, 유사데이터 생성모델(generative model)에 상기 감정 조절 벡터를 입력하여,적어도 하나 이상의 데이터를 추가로 생성하는 것을 특징으로 하는 음성합성 장치
12 12
제 11 항에 있어서상기 감정 조절 벡터는상기 유사데이터 생성모델의 입력으로 사용되는 확률 변수를 제어함으로써 감정 표현의 방법이나 감정 표현의 강도를 조절하는 것을 특징으로 하는 음성합성 장치
13 13
제 11 항에 있어서상기 생성된 적어도 하나 이상의 데이터는상기 음성데이터와 유사한 확률 분포를 갖는 것을 특징으로 하는 음성합성 장치
14 14
제 11 항에 있어서상기 유사데이터 생성모델은 상기 음성데이터들의 파라미터들을 입력 받아 훈련되는 것을 특징으로 하는 음성합성 장치
15 15
제 11 항에 있어서상기 유사데이터 생성모델은 상기 음성데이터들로부터 추출한 파라미터들의 확률 분포를 통계적으로 모델링하는 것을 특징으로 하는 음성합성 장치
16 16
제 11 항에 있어서상기 유사데이터 생성모델을 훈련하는 경우, VAE (Variational Auto Encoder)를 이용하는 것을 특징으로 하는 음성합성 장치
17 17
제 1 항에 있어서제어 벡터 생성부;를 더 포함하되,상기 음성데이터의 파라미터를 입력 받아 감정 조절 모델이 훈련되고,상기 훈련된 감정 조절 모델은 랜덤 변수를 입력 받아 상기 감정 조절 벡터를 생성하는 것을 특징으로 하는 음성합성 장치
18 18
제 1 항에 있어서상기 음성합성 모델을 훈련하는 경우, 상기 음성데이터들로부터 추출된 파라미터들 및 유사 증강데이터들로부터 추출된 파라미터들에 기초하여 상기 음성합성 모델을 훈련하는 것을 특징으로 하는 음성합성 장치
19 19
제 11 항에 있어서음성합성 모델을 훈련하는 경우, 언어 및 음성 파라미터 간의 매핑 (mapping) 관계에 대한 정보를 저장하는 것을 특징으로 하는 음성합성 장치
20 20
제 19 항에 있어서음성 파라미터 생성부;를 더 포함하고,상기 텍스트를 입력 받은 경우,상기 음성합성 모델에 저장된 언어 및 음성 파라미터 간의 매핑 (mapping) 관계에 대한 정보에 기초하여, 상기 음성 파라미터 생성부는 상기 텍스트에 대응되는 음성 파라미터를 추정하고,음성 합성부는 상기 추정된 음성 파라미터에 기초하여 음성 파형을 합성하여 출력하는 것을 특징으로 하는 음성합성 장치
지정국 정보가 없습니다
패밀리정보가 없습니다
순번, 연구부처, 주관기관, 연구사업, 연구과제의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 국가R&D 연구정보 정보 표입니다.
순번 연구부처 주관기관 연구사업 연구과제
1 과학기술정보통신부 ETRI ETRI연구개발지원사업 시청각장애인 방송접근권 향상을 위한 디지털자막·음성해설 서비스 기술 개발