맞춤기술찾기

이전대상기술

VAE를 이용한 화자 인식 특징 추출 방법 및 시스템

  • 기술번호 : KST2019011855
  • 담당센터 : 서울동부기술혁신센터
  • 전화번호 : 02-2155-3662
요약, Int. CL, CPC, 출원번호/일자, 출원인, 등록번호/일자, 공개번호/일자, 공고번호/일자, 국제출원번호/일자, 국제공개번호/일자, 우선권정보, 법적상태, 심사진행상태, 심판사항, 구분, 원출원번호/일자, 관련 출원번호, 기술이전 희망, 심사청구여부/일자, 심사청구항수의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 서지정보 표입니다.
요약 본 발명은 VAE를 이용한 화자 인식 특징 추출 방법에 관한 것으로서, 보다 구체적으로는 (1) 복수 개의 음성 파일들로 구성된 학습 데이터를 사용하여 화자 독립적 모델인 일반 배경 모델(universal background model, UBM)을 학습하는 단계; (2) 상기 단계 (1)에서 학습된 일반 배경 모델을 이용하여 상기 복수 개의 음성 파일들에서의 Baum-Welch statistics를 추출하고, 상기 추출된 Baum-Welch statistics에 기초하여 하나의 통합 벡터를 생성하는 단계; (3) 상기 단계 (2)에서 생성된 하나의 통합 벡터를 입력 벡터로 하여 VAE를 학습하는 단계; 및 (4) 상기 단계 (3)에서의 학습 결과를 바탕으로 딥 러닝(deep learning) 구조를 생성하여 상기 입력 벡터를 재구성하는 과정에서 생성되는 랜덤 변수(latent variables)를 화자 인식 특징으로 추출하는 단계를 포함하는 것을 그 구성상의 특징으로 한다.또한, 본 발명은 VAE를 이용한 화자 인식 특징 추출 시스템에 관한 것으로서, 보다 구체적으로는 복수 개의 음성 파일들로 구성된 학습 데이터를 사용하여 화자 독립적 모델인 일반 배경 모델(universal background model, UBM)을 학습하는 UBM 학습부; 상기 UBM 학습부에서 학습된 일반 배경 모델을 이용하여 상기 복수 개의 음성 파일들에서의 Baum-Welch statistics를 추출하고, 상기 추출된 Baum-Welch statistics에 기초하여 하나의 통합 벡터를 생성하는 Baum-Welch statistics 추출부; 상기 Baum-Welch statistics 추출부에서 생성된 하나의 통합 벡터를 입력 벡터로 하여 VAE를 학습하는 VAE 학습부; 및 상기 VAE 학습부에서의 학습 결과를 바탕으로 딥 러닝(deep learning) 구조를 생성하여 상기 입력 벡터를 재구성하는 과정에서 생성되는 랜덤 변수(latent variables)를 화자 인식 특징으로 추출하는 화자 인식 특징 추출부를 포함하는 것을 그 구성상의 특징으로 한다.본 발명에서 제안하고 있는 VAE를 이용한 화자 인식 특징 추출 방법 및 시스템에 따르면, 입력된 벡터를 여러 은닉층을 통과시켜 출력에서 재구성하는 딥 러닝(deep learning) 구조인 오토 인코더(autoencoder)의 일종으로, 가운데 은닉층에 랜덤 변수들을 가지고 있는 구조를 갖는 variational auto encoder(VAE)를 이용하되, VAE의 구조 중 입력층과 은닉층으로 구성되는 인코더 네트워크를 화자 인식 특징 추출기로 활용하고, 입력 벡터를 재구성하는 과정에서 얻어지는 랜덤 변수들을 화자 인식 특징으로 사용함으로써, 보다 비관측 데이터에 대해서도 강인하고 안정적인 고정된 차원의 특징을 추출할 수 있어, 화자 인식의 성능이 보다 높아질 수 있다.
Int. CL G10L 17/02 (2013.01.01) G10L 19/038 (2013.01.01)
CPC G10L 17/02(2013.01) G10L 17/02(2013.01)
출원번호/일자 1020160130100 (2016.10.07)
출원인 서울대학교산학협력단
등록번호/일자 10-1843074-0000 (2018.03.22)
공개번호/일자
공고번호/일자 (20180328) 문서열기
국제출원번호/일자
국제공개번호/일자
우선권정보
법적상태 등록
심사진행상태 수리
심판사항
구분 신규
원출원번호/일자
관련 출원번호
심사청구여부/일자 Y (2016.10.07)
심사청구항수 8

출원인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 출원인 표입니다.
번호 이름 국적 주소
1 서울대학교산학협력단 대한민국 서울특별시 관악구

발명자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 발명자 표입니다.
번호 이름 국적 주소
1 김남수 대한민국 서울특별시 서초구
2 강우현 대한민국 서울특별시 강남구

대리인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 대리인 표입니다.
번호 이름 국적 주소
1 김건우 대한민국 서울특별시 금천구 가산디지털*로 ***, 에이동 ***호 특허그룹덕원 (가산동, 우림 라이온스밸리)

최종권리자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 최종권리자 표입니다.
번호 이름 국적 주소
1 서울대학교산학협력단 서울특별시 관악구
번호, 서류명, 접수/발송일자, 처리상태, 접수/발송일자의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 행정처리 표입니다.
번호 서류명 접수/발송일자 처리상태 접수/발송번호
1 [특허출원]특허출원서
[Patent Application] Patent Application
2016.10.07 수리 (Accepted) 1-1-2016-0974893-12
2 의견제출통지서
Notification of reason for refusal
2017.08.30 발송처리완료 (Completion of Transmission) 9-5-2017-0605417-30
3 [명세서등 보정]보정서
[Amendment to Description, etc.] Amendment
2017.10.25 보정승인간주 (Regarded as an acceptance of amendment) 1-1-2017-1053210-26
4 등록결정서
Decision to grant
2018.02.19 발송처리완료 (Completion of Transmission) 9-5-2018-0119129-19
5 출원인정보변경(경정)신고서
Notification of change of applicant's information
2019.05.13 수리 (Accepted) 4-1-2019-5093546-10
6 출원인정보변경(경정)신고서
Notification of change of applicant's information
2019.05.23 수리 (Accepted) 4-1-2019-5101798-31
7 출원인정보변경(경정)신고서
Notification of change of applicant's information
2019.08.02 수리 (Accepted) 4-1-2019-5154561-59
8 출원인정보변경(경정)신고서
Notification of change of applicant's information
2020.11.25 수리 (Accepted) 4-1-2020-5265458-48
번호, 청구항의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 청구항 표입니다.
번호 청구항
1 1
VAE(variational auto encoder)를 이용한 화자 인식 특징 추출 방법으로서,(1) 복수 개의 음성 파일들로 구성된 학습 데이터를 사용하여 화자 독립적 모델인 일반 배경 모델(universal background model, UBM)을 학습하는 단계;(2) 상기 단계 (1)에서 학습된 일반 배경 모델을 이용하여 상기 복수 개의 음성 파일들에서의 Baum-Welch statistics를 추출하고, 상기 추출된 Baum-Welch statistics에 기초하여 하나의 통합 벡터를 생성하는 단계;(3) 상기 단계 (2)에서 생성된 하나의 통합 벡터를 입력 벡터로 하여 VAE를 학습하는 단계; 및(4) 상기 단계 (3)에서의 학습 결과를 바탕으로 딥 러닝(deep learning) 구조를 생성하여 상기 입력 벡터를 재구성하는 과정에서 생성되는 랜덤 변수(latent variables)를 화자 인식 특징으로 추출하는 단계를 포함하되,상기 단계 (4)의 딥 러닝 구조는,입력 벡터를 입력하는 입력층(input layer), 상기 입력층을 통해 입력된 입력 벡터의 차원을 축소하여 상기 랜덤 변수를 생성하는 은닉층(hidden layer)으로 구성되어, 상기 입력 벡터로부터 상기 랜덤 변수를 추론하는 인코더(encoder) 네트워크; 및상기 은닉층 및 상기 랜덤 변수를 상기 입력 벡터와 동일한 크기로 변환하여 출력 벡터를 생성하는 출력층(output layer)으로 구성되어, 상기 랜덤 변수로부터 출력 벡터를 생성하는 디코더(decoder) 네트워크로 구성되는 것을 특징으로 하는, VAE를 이용한 화자 인식 특징 추출 방법
2 2
제1항에 있어서, 상기 단계 (2)의 Baum-Welch statistics는,하기의 수학식을 통해 계산되는 0차 Baum-Welch statistics 및 1차 Baum-Welch statistics를 포함하는 것을 특징으로 하는, VAE를 이용한 화자 인식 특징 추출 방법
3 3
제2항에 있어서, 상기 단계 (2)의 통합 벡터는,상기 Baum-Welch statistics들에 기초한 벡터로서, 하기의 수학식으로 나타내어지는 것을 특징으로 하는, VAE를 이용한 화자 인식 특징 추출 방법
4 4
삭제
5 5
삭제
6 6
제1항에 있어서,상기 인코더 네트워크는 화자 인식 특징 추출기로 사용되는 것을 특징으로 하는, VAE를 이용한 화자 인식 특징 추출 방법
7 7
VAE(variational auto encoder)를 이용한 화자 인식 특징 추출 시스템으로서,복수 개의 음성 파일들로 구성된 학습 데이터를 사용하여 화자 독립적 모델인 일반 배경 모델(universal background model, UBM)을 학습하는 UBM 학습부(100);상기 UBM 학습부(100)에서 학습된 일반 배경 모델을 이용하여 상기 복수 개의 음성 파일들에서의 Baum-Welch statistics를 추출하고, 상기 추출된 Baum-Welch statistics에 기초하여 하나의 통합 벡터를 생성하는 Baum-Welch statistics 추출부(200);상기 Baum-Welch statistics 추출부(200)에서 생성된 하나의 통합 벡터를 입력 벡터로 하여 VAE를 학습하는 VAE 학습부(300); 및상기 VAE 학습부(300)에서의 학습 결과를 바탕으로 딥 러닝(deep learning) 구조를 생성하여 상기 입력 벡터를 재구성하는 과정에서 생성되는 랜덤 변수(latent variables)를 화자 인식 특징으로 추출하는 화자 인식 특징 추출부(400)를 포함하되,상기 딥 러닝 구조는,입력 벡터를 입력하는 입력층(input layer), 상기 입력층을 통해 입력된 입력 벡터의 차원을 축소하여 상기 랜덤 변수를 생성하는 은닉층(hidden layer)으로 구성되어, 상기 입력 벡터로부터 상기 랜덤 변수를 추론하는 인코더(encoder) 네트워크; 및상기 은닉층 및 상기 랜덤 변수를 상기 입력 벡터와 동일한 크기로 변환하여 출력 벡터를 생성하는 출력층(output layer)으로 구성되어, 상기 랜덤 변수로부터 출력 벡터를 생성하는 디코더(decoder) 네트워크로 구성되는 것을 특징으로 하는, VAE를 이용한 화자 인식 특징 추출 시스템
8 8
제7항에 있어서, 상기 Baum-Welch statistics는,하기의 수학식을 통해 계산되는 0차 Baum-Welch statistics 및 1차 Baum-Welch statistics를 포함하는 것을 특징으로 하는, VAE를 이용한 화자 인식 특징 추출 시스템
9 9
제7항에 있어서, 상기 통합 벡터는,상기 Baum-Welch statistics들에 기초한 벡터로서, 하기의 수학식으로 나타내어지는 것을 특징으로 하는, VAE를 이용한 화자 인식 특징 추출 시스템
10 10
삭제
11 11
삭제
12 12
제7항에 있어서,상기 인코더 네트워크는 화자 인식 특징 추출기로 사용되는 것을 특징으로 하는, VAE를 이용한 화자 인식 특징 추출 시스템
지정국 정보가 없습니다
패밀리정보가 없습니다
순번, 연구부처, 주관기관, 연구사업, 연구과제의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 국가R&D 연구정보 정보 표입니다.
순번 연구부처 주관기관 연구사업 연구과제
1 미래창조과학부 서울대학교 산학협력단 기초연구사업/중견연구자지원사업 통합 사운드 씬 인지 기술