맞춤기술찾기

이전대상기술

잔향 환경에 강인한 음원 방향 추정을 위한 심화 신경망 기반의 앙상블 음원 방향 추정 방법 및 장치

  • 기술번호 : KST2019018469
  • 담당센터 : 서울서부기술혁신센터
  • 전화번호 : 02-6124-6930
요약, Int. CL, CPC, 출원번호/일자, 출원인, 등록번호/일자, 공개번호/일자, 공고번호/일자, 국제출원번호/일자, 국제공개번호/일자, 우선권정보, 법적상태, 심사진행상태, 심판사항, 구분, 원출원번호/일자, 관련 출원번호, 기술이전 희망, 심사청구여부/일자, 심사청구항수의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 서지정보 표입니다.
요약 잔향 환경에 강인한 음원 방향 추정을 위한 심화 신경망 기반의 앙상블 음원 방향 추정 방법 및 장치가 제시된다. 일 실시예에 따른 심화 신경망 기반의 앙상블 음원 방향 추정 방법은, 잔향 환경의 음성 데이터에서 특징 벡터를 추출하는 단계; 상기 음성 데이터의 잔향 환경에 따라 잔향 환경 확률을 추정하는 단계; 추정된 상기 잔향 환경 확률을 기반으로 가중치 평균 방식을 이용하여, 미리 학습된 잔향 환경에서의 복수 개의 심화 신경망들을 앙상블로 결합시켜 앙상블 음원 방향 추정 모델을 생성하는 단계; 및 상기 앙상블 음원 방향 추정 모델을 기반으로 음원 방향을 추정하는 단계를 포함하여 이루어질 수 있다.
Int. CL G01S 3/802 (2006.01.01) G10L 25/30 (2013.01.01) G06N 3/02 (2019.01.01)
CPC G01S 3/8027(2013.01) G01S 3/8027(2013.01) G01S 3/8027(2013.01)
출원번호/일자 1020180030080 (2018.03.15)
출원인 한양대학교 산학협력단
등록번호/일자
공개번호/일자 10-2019-0108711 (2019.09.25) 문서열기
공고번호/일자 문서열기
국제출원번호/일자
국제공개번호/일자
우선권정보
법적상태 등록
심사진행상태 수리
심판사항
구분 신규
원출원번호/일자
관련 출원번호
심사청구여부/일자 Y (2018.03.15)
심사청구항수 14

출원인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 출원인 표입니다.
번호 이름 국적 주소
1 한양대학교 산학협력단 대한민국 서울특별시 성동구

발명자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 발명자 표입니다.
번호 이름 국적 주소
1 장준혁 서울특별시 강남구
2 권오현 서울특별시 노원구
3 박송규 서울특별시 성동구

대리인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 대리인 표입니다.
번호 이름 국적 주소
1 양성보 대한민국 서울특별시 강남구 선릉로***길 ** (논현동) 삼성빌딩 *층(피앤티특허법률사무소)

최종권리자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 최종권리자 표입니다.
번호 이름 국적 주소
1 한양대학교 산학협력단 서울특별시 성동구
번호, 서류명, 접수/발송일자, 처리상태, 접수/발송일자의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 행정처리 표입니다.
번호 서류명 접수/발송일자 처리상태 접수/발송번호
1 [특허출원]특허출원서
[Patent Application] Patent Application
2018.03.15 수리 (Accepted) 1-1-2018-0258737-83
2 선행기술조사의뢰서
Request for Prior Art Search
2019.06.14 수리 (Accepted) 9-1-9999-9999999-89
3 선행기술조사보고서
Report of Prior Art Search
2019.07.11 수리 (Accepted) 9-1-2019-0032833-12
4 의견제출통지서
Notification of reason for refusal
2019.08.01 발송처리완료 (Completion of Transmission) 9-5-2019-0552153-29
5 출원인정보변경(경정)신고서
Notification of change of applicant's information
2019.08.05 수리 (Accepted) 4-1-2019-5155816-75
6 출원인정보변경(경정)신고서
Notification of change of applicant's information
2019.08.06 수리 (Accepted) 4-1-2019-5156285-09
7 [거절이유 등 통지에 따른 의견]의견(답변, 소명)서
[Opinion according to the Notification of Reasons for Refusal] Written Opinion(Written Reply, Written Substantiation)
2019.10.01 수리 (Accepted) 1-1-2019-1004376-27
8 [명세서등 보정]보정서
[Amendment to Description, etc.] Amendment
2019.10.01 보정승인간주 (Regarded as an acceptance of amendment) 1-1-2019-1004377-73
9 등록결정서
Decision to grant
2020.02.06 발송처리완료 (Completion of Transmission) 9-5-2020-0090316-85
번호, 청구항의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 청구항 표입니다.
번호 청구항
1 1
잔향 환경의 음성 데이터에서 특징 벡터를 추출하는 단계; 추출된 상기 특징 벡터를 입력으로 사용하여 상기 음성 데이터의 잔향 환경에 따라 잔향 환경 확률을 추정하는 단계; 추정된 상기 잔향 환경 확률을 기반으로 가중치 평균 방식을 이용하여, 미리 학습된 잔향 환경에서의 복수 개의 심화 신경망들을 앙상블로 결합시켜 앙상블 음원 방향 추정 모델을 생성하는 단계; 및 상기 앙상블 음원 방향 추정 모델을 기반으로 음원 방향을 추정하는 단계를 포함하고, 상기 추정된 상기 잔향 환경 확률을 기반으로 가중치 평균 방식을 이용하여, 미리 학습된 잔향 환경에서의 복수 개의 심화 신경망들을 앙상블로 결합시켜 앙상블 음원 방향 추정 모델을 생성하는 단계는, 심화 신경망 모델에서의 출력 확률 중 가장 확률이 높은 두 개의 심화신경망의 출력에 가중치를 결합시키는 것을 특징으로 하는, 심화 신경망 기반의 앙상블 음원 방향 추정 방법
2 2
제1항에 있어서,상기 잔향 환경의 음성 데이터에서 특징 벡터를 추출하는 단계는, 입력된 상기 음성 데이터로부터 GCC-PHAT(Generalized Cross Correlation-Phase Transform)를 통해 상기 특징 벡터를 추출하고, 주파수 영역에서 구해진 상기 GCC-PHAT를 통해 추출된 상기 특징 벡터를 역 푸리에 변환하여 시간 영역에서의 입력 신호들에 대한 상호상관계수(Cross-correlation coefficient)를 구하는 것을 특징으로 하는, 심화 신경망 기반의 앙상블 음원 방향 추정 방법
3 3
제1항에 있어서, 상기 음성 데이터의 잔향 환경에 따라 잔향 환경 확률을 추정하는 단계는, 상기 음성 데이터의 잔향 환경은 잔향 시간의 추정을 통해 잔향 환경 확률 값들을 산정하는 것을 특징으로 하는, 심화 신경망 기반의 앙상블 음원 방향 추정 방법
4 4
제1항에 있어서, 상기 미리 학습된 잔향 환경에서의 복수 개의 심화 신경망들은, 잔향 환경에 따라 구별하기 위해 서로 다른 잔향 시간에 대해 각각의 복수 개의 음원 방향 추정을 위한 심화 신경망들이 학습을 통해 생성된 것을 특징으로 하는, 심화 신경망 기반의 앙상블 음원 방향 추정 방법
5 5
제1항에 있어서, 상기 앙상블 음원 방향 추정 모델을 기반으로 음원 방향을 추정하는 단계는, 상기 앙상블 음원 방향 추정 모델을 기반으로 음원 방향의 각도를 추정하는 것을 특징으로 하는, 심화 신경망 기반의 앙상블 음원 방향 추정 방법
6 6
제1항에 있어서, 상기 잔향 환경의 음성 데이터에서 특징 벡터를 추출하는 단계 이전에, 앙상블 심화 신경망을 구성하기 위해 각 잔향 환경별 음원 방향 추정을 위한 복수 개의 심화 신경망들을 준비하는 학습 단계에서, 잔향 환경의 음성 데이터에서 특징 벡터를 추출하는 단계; 상기 학습 단계에서 추출된 상기 특징 벡터들을 잔향 환경별로 분류하는 단계; 및 상기 학습 단계에서 상기 잔향 환경별로 분류된 상기 특징 벡터들을 입력 특징 벡터로 사용하여 각각의 복수 개의 음원 방향 추정을 위한 심화 신경망들을 생성하는 단계를 더 포함하고, 상기 미리 학습된 잔향 환경에서의 복수 개의 심화 신경망들을 앙상블로 결합시켜 앙상블 음원 방향 추정 모델을 생성하는 단계는, 상기 복수 개의 음원 방향 추정을 위한 심화 신경망들을 앙상블로 결합시켜 상기 앙상블 음원 방향 추정 모델을 생성하는 것을 특징으로 하는, 심화 신경망 기반의 앙상블 음원 방향 추정 방법
7 7
앙상블 심화 신경망을 구성하기 위해 각 잔향 환경별 음원 방향 추정을 위한 복수 개의 심화 신경망들을 준비하는 학습 단계; 및 상기 학습 단계에서 생성된 복수 개의 음원 방향 추정을 위한 심화 신경망들을 앙상블로 결합시켜, 추정된 잔향 환경에 적합한 음원 방향 추정 모델을 선택하는 테스트 단계를 포함하고, 상기 학습 단계는, 상기 학습 단계에서, 잔향 환경의 음성 데이터에서 특징 벡터를 추출하는 단계; 상기 학습 단계에서 추출된 상기 특징 벡터들을 잔향 환경별로 분류하는 단계; 및 상기 학습 단계에서 상기 잔향 환경별로 분류된 상기 특징 벡터들을 입력 특징 벡터로 사용하여 각각의 복수 개의 음원 방향 추정을 위한 심화 신경망들을 생성하는 단계를 포함하고, 상기 테스트 단계는, 상기 테스트 단계에서, 잔향 환경의 음성 데이터에서 특징 벡터를 추출하는 단계; 상기 테스트 단계에서 추출된 상기 특징 벡터를 입력으로 사용하여 상기 음성 데이터의 잔향 환경에 따라 잔향 환경 확률을 추정하는 단계; 상기 테스트 단계에서 추정된 상기 잔향 환경 확률을 기반으로 가중치 평균 방식을 이용하여, 미리 학습된 잔향 환경에서의 복수 개의 심화 신경망들을 앙상블로 결합시켜 앙상블 음원 방향 추정 모델을 생성하는 단계; 및 상기 테스트 단계에서 상기 앙상블 음원 방향 추정 모델을 기반으로 음원 방향을 추정하는 단계를 포함하며, 상기 추정된 상기 잔향 환경 확률을 기반으로 가중치 평균 방식을 이용하여, 미리 학습된 잔향 환경에서의 복수 개의 심화 신경망들을 앙상블로 결합시켜 앙상블 음원 방향 추정 모델을 생성하는 단계는, 심화 신경망 모델에서의 출력 확률 중 가장 확률이 높은 두 개의 심화신경망의 출력에 가중치를 결합시키는 것을 특징으로 하는, 심화 신경망 기반의 앙상블 음원 방향 추정 방법
8 8
제7항에 있어서, 상기 학습 단계에서, 잔향 환경의 음성 데이터에서 특징 벡터를 추출하는 단계는, 입력된 상기 음성 데이터로부터 GCC-PHAT(Generalized Cross Correlation-Phase Transform)를 통해 상기 특징 벡터를 추출하는 것을 특징으로 하는, 심화 신경망 기반의 앙상블 음원 방향 추정 방법
9 9
제7항에 있어서, 상기 특징 벡터들을 잔향 환경별로 분류하는 단계는, 잔향 환경에 따라 구별하기 위해 상기 특징 벡터들을 서로 다른 잔향 시간에 따라 분류하며, 상기 잔향 환경별로 분류된 상기 특징 벡터들을 입력 특징 벡터로 사용하여 각각의 복수 개의 음원 방향 추정을 위한 심화 신경망들을 생성하는 단계는, 서로 다른 잔향 시간을 가지는 상기 특징 벡터들을 입력 특징 벡터로 사용하여 각각의 복수 개의 음원 방향 추정을 위한 심화 신경망들을 학습을 통해 생성하는 것을 특징으로 하는, 심화 신경망 기반의 앙상블 음원 방향 추정 방법
10 10
삭제
11 11
잔향 환경의 음성 데이터에서 특징 벡터를 추출하는 특징 벡터 추출부; 추출된 상기 특징 벡터를 입력으로 사용하여 상기 음성 데이터의 잔향 환경에 따라 잔향 환경 확률을 추정하는 잔향 환경 확률 추정부; 및 추정된 상기 잔향 환경 확률을 기반으로 가중치 평균 방식을 이용하여, 미리 학습된 잔향 환경에서의 복수 개의 심화 신경망들을 앙상블로 결합시켜 앙상블 음원 방향 추정 모델을 생성하고, 상기 앙상블 음원 방향 추정 모델을 기반으로 음원 방향을 추정하는 앙상블 음원 방향 추정 모델링부을 포함하고, 상기 앙상블 음원 방향 추정 모델링부는, 심화 신경망 모델에서의 출력 확률 중 가장 확률이 높은 두 개의 심화신경망의 출력에 가중치를 결합시키는 것을 특징으로 하는, 심화 신경망 기반의 앙상블 음원 방향 추정 장치
12 12
제11항에 있어서,상기 잔향 환경 확률 추정부는, 상기 음성 데이터의 잔향 환경은 잔향 시간의 추정을 통해 잔향 환경 확률 값들을 산정하는 것을 특징으로 하는, 심화 신경망 기반의 앙상블 음원 방향 추정 장치
13 13
제11항에 있어서,상기 미리 학습된 잔향 환경에서의 복수 개의 심화 신경망들은, 잔향 환경에 따라 구별하기 위해 서로 다른 잔향 시간에 대해 각각의 복수 개의 음원 방향 추정을 위한 심화 신경망들이 학습을 통해 생성된 것을 특징으로 하는, 심화 신경망 기반의 앙상블 음원 방향 추정 장치
14 14
제11항에 있어서, 앙상블 심화 신경망을 구성하기 위해 각 잔향 환경별 음원 방향 추정을 위한 복수 개의 심화 신경망들을 준비하는 학습 단계에서, 잔향 환경의 음성 데이터에서 특징 벡터를 추출하는 학습 단계 특징 벡터 추출부; 상기 학습 단계에서 추출된 상기 특징 벡터들을 잔향 환경별로 분류하는 특징 벡터 분류부; 및 상기 학습 단계에서 상기 잔향 환경별로 분류된 상기 특징 벡터들을 입력 특징 벡터로 사용하여 각각의 복수 개의 음원 방향 추정을 위한 심화 신경망들을 생성하는 음원 방향 추정 심화 신경망을 더 포함하는, 심화 신경망 기반의 앙상블 음원 방향 추정 장치
15 15
제14항에 있어서, 상기 특징 벡터 분류부는, 잔향 환경에 따라 구별하기 위해 상기 특징 벡터들을 서로 다른 잔향 시간에 따라 분류하며, 상기 음원 방향 추정 심화 신경망은, 서로 다른 잔향 시간을 가지는 상기 특징 벡터들을 입력 특징 벡터로 사용하여 각각의 복수 개의 음원 방향 추정을 위한 심화 신경망들을 학습을 통해 생성하는 것을 특징으로 하는, 심화 신경망 기반의 앙상블 음원 방향 추정 장치
16 16
삭제
지정국 정보가 없습니다
패밀리정보가 없습니다
순번, 연구부처, 주관기관, 연구사업, 연구과제의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 국가R&D 연구정보 정보 표입니다.
순번 연구부처 주관기관 연구사업 연구과제
1 미래창조과학부 한양대학교 산학협력단 정보통신산업진흥원 부설 정보통신기술진흥센터 / 정보통신방송 연구개발사업 / 방송통신산업기술개발사업(이지바로) AI스피커 음성비서를 위한 지능형 음성신호처리 기술개발