맞춤기술찾기

이전대상기술

딥러닝 기반 음성 통신 전처리 시스템

  • 기술번호 : KST2023001990
  • 담당센터 : 서울동부기술혁신센터
  • 전화번호 : 02-2155-3662
요약, Int. CL, CPC, 출원번호/일자, 출원인, 등록번호/일자, 공개번호/일자, 공고번호/일자, 국제출원번호/일자, 국제공개번호/일자, 우선권정보, 법적상태, 심사진행상태, 심판사항, 구분, 원출원번호/일자, 관련 출원번호, 기술이전 희망, 심사청구여부/일자, 심사청구항수의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 서지정보 표입니다.
요약 본 발명은 딥러닝 기반 음성 통신 전처리 시스템에 관한 것으로서, 보다 구체적으로는 딥러닝 기반 음성 통신 전처리 시스템으로서, 다채널 마이크로 입력받은 멀티채널 음성으로부터 공간에 대한 공간 정보 및 음성에 대한 음성 정보를 추출하는 멀티채널 음성 전처리 모듈; 상기 멀티채널 음성 전처리 모듈로부터 추출된 공간 정보 및 음성 정보를 전달받고, 공간 정보가 추출 처리된 음성의 왜곡을 보정하여 향상된 음성을 출력하는 음성 왜곡 보정 모듈; 상기 음성 왜곡 보정 모듈로부터 음성의 왜곡이 보정된 향상된 복합 음성을 전달받고, 향상된 복합 음성을 각각의 개별 음성으로 분리하는 복합 음성 분리 모듈; 및 상기 복합 음성 분리 모듈로부터 개별로 분리된 음성을 각각 압축하여 음성 채널을 통해 전송하고, 전송받은 압축된 음성에 대해 복원하는 음성 코덱 모듈을 포함하는 것을 그 구성상의 특징으로 한다. 본 발명에서 제안하고 있는 딥러닝 기반 음성 통신 전처리 시스템에 따르면, 다채널 마이크로 입력받은 멀티채널 음성으로부터 공간에 대한 공간 정보 및 음성에 대한 음성 정보를 추출하는 멀티채널 음성 전처리 모듈과, 멀티채널 음성 전처리 모듈로부터 추출된 공간 정보 및 음성 정보를 전달받고, 공간 정보가 추출 처리된 음성의 왜곡을 보정하여 향상된 음성을 출력하는 음성 왜곡 보정 모듈과, 음성 왜곡 보정 모듈로부터 음성의 왜곡이 보정된 향상된 복합 음성을 전달받고, 향상된 복합 음성을 각각의 개별 음성으로 분리하는 복합 음성 분리 모듈과, 복합 음성 분리 모듈로부터 개별로 분리된 음성을 각각 압축하여 음성 채널을 통해 전송하고, 전송받은 압축된 음성에 대해 복원하는 음성 코덱 모듈을 포함하여 구성함으로써, 왜곡된 음성을 복원할 뿐만 아니라, 다채널 마이크로 입력받은 음성으로부터 공간 정보를 추출하여 2개 이상의 음성이 포함되어 있을 때 이를 각각 분리하고 코덱을 통해 불필요한 잡음을 이차적으로 제거하여 깨끗한 음성을 개별적으로 복원이 가능하도록 하며, 그에 따른 음성 통신에 적용되는 다양한 서비스에 활용될 수 있도록 할 수 있다. 또한, 본 발명의 딥러닝 기반 음성 통신 전처리 시스템에 따르면, 다채널 마이크로부터 입력되는 음성의 공간적 정보를 추출하여 왜곡된 음성의 복원, 혼합된 음성의 분리, 그리고 코덱을 통한 개별 음성 복원 기술이 통합된 딥러닝 기반의 음성 통신 전처리 시스템 모델로 구현이 가능하도록 함으로써, 하나의 통합 시스템으로 제안하여 하나의 파이프라인으로 처리하여 모든 모듈을 한 번에 훈련할 수 있어서, 모델의 유지 및 업데이트가 매우 용이하고, 모든 과정을 딥러닝으로 처리를 하여 기존 수식보다 현실 왜곡 음성 데이터에 더 적합한 weight를 얻고, 내부 모듈간의 상호작용으로 인해 성능 향상이 가능하도록 할 수 있다.
Int. CL G10L 19/008 (2014.01.01) G10L 19/16 (2013.01.01) G10L 21/0272 (2013.01.01) G10L 21/0208 (2013.01.01)
CPC G10L 19/008(2013.01) G10L 19/167(2013.01) G10L 21/0272(2013.01) G10L 21/0208(2013.01)
출원번호/일자 1020210174265 (2021.12.07)
출원인 서울대학교산학협력단
등록번호/일자
공개번호/일자 10-2023-0085772 (2023.06.14) 문서열기
공고번호/일자
국제출원번호/일자
국제공개번호/일자
우선권정보
법적상태 공개
심사진행상태 수리
심판사항
구분 국내출원/신규
원출원번호/일자
관련 출원번호
심사청구여부/일자 Y (2021.12.07)
심사청구항수 7

출원인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 출원인 표입니다.
번호 이름 국적 주소
1 서울대학교산학협력단 대한민국 서울특별시 관악구

발명자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 발명자 표입니다.
번호 이름 국적 주소
1 김남수 서울특별시 서초구
2 김정훈 서울특별시 관악구
3 안성환 서울특별시 관악구
4 김지환 서울특별시 관악구
5 우범준 서울특별시 관악구

대리인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 대리인 표입니다.
번호 이름 국적 주소
1 김건우 대한민국 서울 강서구 마곡중앙*로 ** *층 D**호(마곡동, 한일노벨리아타워)(특허그룹덕원)

최종권리자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 최종권리자 표입니다.
번호 이름 국적 주소
최종권리자 정보가 없습니다
번호, 서류명, 접수/발송일자, 처리상태, 접수/발송일자의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 행정처리 표입니다.
번호 서류명 접수/발송일자 처리상태 접수/발송번호
1 [특허출원]특허출원서
[Patent Application] Patent Application
2021.12.07 수리 (Accepted) 1-1-2021-1420155-49
2 [출원서 등 보정]보정서
[Amendment to Patent Application, etc.] Amendment
2021.12.10 수리 (Accepted) 1-1-2021-1433226-97
3 특허고객번호 정보변경(경정)신고서·정정신고서
2022.04.04 수리 (Accepted) 4-1-2022-5079741-71
4 선행기술조사의뢰서
Request for Prior Art Search
2022.05.12 수리 (Accepted) 9-1-9999-9999999-89
5 특허고객번호 정보변경(경정)신고서·정정신고서
2022.08.11 수리 (Accepted) 4-1-2022-5189083-38
6 특허고객번호 정보변경(경정)신고서·정정신고서
2022.10.07 수리 (Accepted) 4-1-2022-5235636-01
번호, 청구항의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 청구항 표입니다.
번호 청구항
1 1
딥러닝 기반 음성 통신 전처리 시스템(100)으로서,다채널 마이크로 입력받은 멀티채널 음성으로부터 공간에 대한 공간 정보 및 음성에 대한 음성 정보를 추출하는 멀티채널 음성 전처리 모듈(110);상기 멀티채널 음성 전처리 모듈(110)로부터 추출된 공간 정보 및 음성 정보를 전달받고, 공간 정보가 추출 처리된 음성의 왜곡을 보정하여 향상된 음성을 출력하는 음성 왜곡 보정 모듈(120);상기 음성 왜곡 보정 모듈(120)로부터 음성의 왜곡이 보정된 향상된 복합 음성을 전달받고, 향상된 복합 음성을 각각의 개별 음성으로 분리하는 복합 음성 분리 모듈(130); 및상기 복합 음성 분리 모듈(130)로부터 개별로 분리된 음성을 각각 압축하여 음성 채널을 통해 전송하고, 전송받은 압축된 음성에 대해 복원하는 음성 코덱 모듈(140)을 포함하는 것을 특징으로 하는, 딥러닝 기반 음성 통신 전처리 시스템
2 2
제1항에 있어서, 상기 멀티채널 음성 전처리 모듈(110)은,다채널 마이크로 입력되는 음성의 마이크 배열에 따라 채널별로 입력되는 음성들의 정보를 취합하여 활용 가능한 공간적 임베딩을 추출하는 네트워크로 구성되는 것을 특징으로 하는, 딥러닝 기반 음성 통신 전처리 시스템
3 3
제1항에 있어서, 상기 음성 왜곡 보정 모듈(120)은,상기 멀티채널 음성 전처리 모듈(110)로부터 추출된 공간 정보 및 음성 정보를 전달받아 공간 정보가 추출 처리된 음성의 왜곡을 보정하여 향상된 음성을 상기 복합 음성 분리 모듈(130)로 출력하되, 음성 분리를 위한 화자의 수를 측정하여 측정된 화자의 수를 복합 음성 분리 모듈(130)로 출력하는 화자 수 측정 모듈(121)을 더 포함하여 구성하는 것을 특징으로 하는, 딥러닝 기반 음성 통신 전처리 시스템
4 4
제1항 내지 제3항 중 어느 한 항에 있어서, 상기 복합 음성 분리 모듈(130)은,상기 음성 왜곡 보정 모듈(120)로부터 음성의 왜곡이 보정된 향상된 복합 음성을 전달받고, 음성의 특징을 추출하는 인코더(131);상기 인코더(131)를 통해 추출된 음성의 특징들을 분리해주는 음성 분리 네트워크(132); 및상기 음성 분리 네트워크(132)를 통해 분리된 음성의 특징들을 다시 음성으로 복원하는 디코더(133)를 포함하여 구성하는 것을 특징으로 하는, 딥러닝 기반 음성 통신 전처리 시스템
5 5
제4항에 있어서, 상기 음성 코덱 모듈(140)은,상기 복합 음성 분리 모듈(130)로부터 개별로 분리된 음성을 각각 압축하는 인코더(141); 및음성 채널을 통해 전송받은 압축된 음성에 대해 복원하는 뉴럴 디코더(142)를 포함하여 구성하는 것을 특징으로 하는, 딥러닝 기반 음성 통신 전처리 시스템
6 6
제5항에 있어서, 상기 음성 코덱 모듈(140)의 인코더(141)는,상기 복합 음성 분리 모듈(130)로부터 개별로 분리된 음성을 각각 압축하되, 음성을 인코딩하여 비트 스트림(bit stream)으로 음성 정보를 압축 처리하는 것을 특징으로 하는, 딥러닝 기반 음성 통신 전처리 시스템
7 7
제6항에 있어서, 상기 음성 통신 전처리 시스템(100)은,상기 멀티채널 음성 전처리 모듈(110)과, 음성 왜곡 보정 모듈(120)과, 복합 음성 분리 모듈(130), 및 음성 코덱 모듈(140)을 딥러닝 기반의 하나의 통합 모델로 구성하는 것을 특징으로 하는, 딥러닝 기반 음성 통신 전처리 시스템
지정국 정보가 없습니다
패밀리정보가 없습니다
순번, 연구부처, 주관기관, 연구사업, 연구과제의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 국가R&D 연구정보 정보 표입니다.
순번 연구부처 주관기관 연구사업 연구과제
1 과학기술정보통신부 한양대학교산학협력단 기반SW핵심기술 원격 다자간 영상회의에서의 음성 품질 고도화 기술개발