맞춤기술찾기

홈으로 가기
맞춤기술찾기
이전대상기술
프린트하기

이전대상기술

화자 검출을 이용한 오디오 신호 처리 방법 및 장치

  • 기술번호 : KST2015126475
  • 담당센터 : 서울서부기술혁신센터
  • 전화번호 : 02-6124-6930
상담신청 PDF 받기
요약, Int. CL, CPC, 출원번호/일자, 출원인, 등록번호/일자, 공개번호/일자, 공고번호/일자, 국제출원번호/일자, 국제공개번호/일자, 우선권정보, 법적상태, 심사진행상태, 심판사항, 구분, 원출원번호/일자, 관련 출원번호, 기술이전 희망, 심사청구여부/일자, 심사청구항수의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 서지정보 표입니다.
요약 본 발명은 화자 검출을 이용한 오디오 신호 처리 방법 및 장치에 관한 발명으로써, 더욱 상세하게는 뎁스 카메라을 이용하여 하나 이상의 화자의 위치 정보를 검출하고, 이를 이용하여 각 화자에 대응하는 음원을 추출하기 위한 발명이다.이를 위해 본 발명은, 오디오 신호를 수신하는 단계, 뎁스 카메라를 통해 촬영된 뎁스 픽쳐 데이터를 획득하는 단계, 상기 뎁스 픽쳐 데이터에서 적어도 하나의 사용자 머리 위치 정보를 추출하는 단계, 상기 추출된 사용자 머리 위치 정보를 3차원 상의 좌표 정보로 변환하는 단계, 상기 변환된 좌표 정보 및 상기 수신된 오디오 신호를 이용하여, 상기 적어도 하나의 사용자 머리 위치 정보 중 화자의 위치 정보를 식별하는 단계, 상기 식별된 화자의 위치 정보에 대응하는 가중치를 획득하는 단계, 및 상기 가중치를 이용하여, 상기 수신된 오디오 신호에 빔포밍을 수행하여 상기 화자의 음원을 분리하는 단계를 포함하는 것을 특징으로 하는 오디오 신호 처리 방법 및 이를 이용한 오디오 신호 처리 장치를 개시한다.
Int. CL G10L 17/14 (2013.01) G06T 7/00 (2006.01)
CPC G10L 17/14(2013.01) G10L 17/14(2013.01) G10L 17/14(2013.01)
출원번호/일자 1020120142986 (2012.12.10)
출원인 연세대학교 산학협력단
등록번호/일자 10-1542647-0000 (2015.07.31)
공개번호/일자 10-2014-0074718 (2014.06.18) 문서열기
공고번호/일자 (20150812) 문서열기
국제출원번호/일자
국제공개번호/일자
우선권정보
법적상태 등록
심사진행상태 수리
심판사항
구분 신규
원출원번호/일자
관련 출원번호
심사청구여부/일자 Y (2013.11.19)
심사청구항수 14

출원인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 출원인 표입니다.
번호 이름 국적 주소
1 연세대학교 산학협력단 대한민국 서울특별시 서대문구

발명자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 발명자 표입니다.
번호 이름 국적 주소
1 유경국 대한민국 경기도 부천시 원미구
2 이지석 대한민국 서울특별시 서대문구
3 양재모 대한민국 서울특별시 서대문구
4 강홍구 대한민국 서울특별시 은평구

대리인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 대리인 표입니다.
번호 이름 국적 주소
1 임국일 대한민국 서울특별시 서초구 반포대로**길 **, *층 (서초동)(특허법인 아이피에스)

최종권리자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 최종권리자 표입니다.
번호 이름 국적 주소
1 연세대학교 산학협력단 대한민국 서울특별시 서대문구
번호, 서류명, 접수/발송일자, 처리상태, 접수/발송일자의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 행정처리 표입니다.
번호 서류명 접수/발송일자 처리상태 접수/발송번호
1 [특허출원]특허출원서
[Patent Application] Patent Application		 2012.12.10 수리 (Accepted) 1-1-2012-1025251-14
2 출원인정보변경(경정)신고서
Notification of change of applicant's information		 2013.04.24 수리 (Accepted) 4-1-2013-5062749-37
3 출원인정보변경(경정)신고서
Notification of change of applicant's information		 2013.06.24 수리 (Accepted) 4-1-2013-5088566-87
4 [심사청구]심사청구(우선심사신청)서
[Request for Examination] Request for Examination (Request for Preferential Examination)		 2013.11.19 수리 (Accepted) 1-1-2013-1053580-55
5 선행기술조사의뢰서
Request for Prior Art Search		 2014.08.06 수리 (Accepted) 9-1-9999-9999999-89
6 선행기술조사보고서
Report of Prior Art Search		 2014.09.15 수리 (Accepted) 9-1-2014-0072520-81
7 출원인정보변경(경정)신고서
Notification of change of applicant's information		 2014.09.25 수리 (Accepted) 4-1-2014-5114224-78
8 [대리인선임]대리인(대표자)에 관한 신고서
[Appointment of Agent] Report on Agent (Representative)		 2014.10.22 수리 (Accepted) 1-1-2014-1009333-53
9 의견제출통지서
Notification of reason for refusal		 2014.12.17 발송처리완료 (Completion of Transmission) 9-5-2014-0864419-70
10 [거절이유 등 통지에 따른 의견]의견(답변, 소명)서
[Opinion according to the Notification of Reasons for Refusal] Written Opinion(Written Reply, Written Substantiation)		 2015.01.26 수리 (Accepted) 1-1-2015-0080876-32
11 [명세서등 보정]보정서
[Amendment to Description, etc.] Amendment		 2015.01.26 보정승인간주 (Regarded as an acceptance of amendment) 1-1-2015-0080903-88
12 등록결정서
Decision to grant		 2015.06.25 발송처리완료 (Completion of Transmission) 9-5-2015-0427209-40
번호, 청구항의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 청구항 표입니다.
번호 청구항
1 1
오디오 신호를 수신하는 단계;뎁스 카메라를 통해 촬영된 뎁스 픽쳐 데이터를 획득하는 단계;상기 뎁스 픽쳐 데이터에서 적어도 하나의 사용자 머리 위치 정보를 추출하는 단계;상기 추출된 사용자 머리 위치 정보를 3차원 상의 좌표 정보로 변환하는 단계;상기 변환된 좌표 정보 및 상기 수신된 오디오 신호를 이용하여, 상기 적어도 하나의 사용자 머리 위치 정보 중 화자의 위치 정보를 식별하는 단계;상기 식별된 화자의 위치 정보에 대응하는 가중치를 획득하는 단계; 및상기 가중치를 이용하여, 상기 수신된 오디오 신호에 빔포밍을 수행하여 상기 화자의 음원을 분리하는 단계;를 포함하며,상기 화자의 위치 정보를 식별하는 단계는,상기 변환된 좌표를 이용하여, 상기 사용자 머리 위치에서 마이크로폰 어레이의 각 마이크에 대한 소리의 도달시간 차이를 구하는 단계;상기 도달시간 차이를 이용하여 상기 사용자 머리 위치에 대한 방향 벡터를 구하는 단계;상기 방향 벡터를 이용하여 상기 오디오 신호의 빔포밍을 위한 가중치를 획득하는 단계; 및상기 가중치로 상기 오디오 신호를 빔포밍한 출력의 파워를 이용하여 상기 사용자 머리 위치가 화자의 위치인지 여부를 판별하는 단계;를 포함하는 것을 특징으로 하는 오디오 신호 처리 방법
2 2
삭제
3 3
제 1항에 있어서,상기 사용자 머리 위치가 화자의 위치인지 여부를 판별하는 단계는,상기 빔포밍한 출력의 파워를 기 설정된 임계값과 비교하고,상기 빔포밍한 출력의 파워가 기 설정된 임계값 이상일 경우, 해당 사용자 머리 위치를 화자의 위치로 식별하는 것을 특징으로 하는 오디오 신호 처리 방법
4 4
제 1항에 있어서,상기 가중치를 획득하는 단계는,상기 식별된 화자의 위치 정보에 대응하는 방향 벡터를 이용하여 상기 가중치를 획득하는 것을 특징으로 하는 오디오 신호 처리 방법
5 5
제 4항에 있어서,상기 가중치는 주파수 빈(frequecy bin)별 가중치인 것을 특징으로 하는 오디오 신호 처리 방법
6 6
제 1항에 있어서,상기 사용자 머리 위치 정보를 추출하는 단계는,상기 사용자 머리 위치를 검출하는 단계; 및상기 사용자 머리 위치를 추적하는 단계;를 포함하는 것을 특징으로 하는 오디오 신호 처리 방법
7 7
제 6항에 있어서,상기 사용자 머리 위치를 검출하는 단계는,상기 뎁스 픽쳐 데이터에서 배경 이미지를 제거하는 단계;상기 배경 이미지가 제거된 뎁스 픽쳐 데이터에서 엣지 이미지를 추출하는 단계;상기 뎁스 픽쳐 데이터에서 거리 이미지를 추출하는 단계;상기 추출된 엣지 이미지와 거리 이미지간의 매칭을 통해 머리 후보군을 획득하는 단계; 및상기 획득된 머리 후보군을 기 설정된 머리 템플릿 이미지와 템플릿 매칭을 수행하여 사용자 머리 위치를 획득하는 단계;를 포함하는 것을 특징으로 하는 오디오 신호 처리 방법
8 8
제 6항에 있어서,상기 사용자 머리 위치를 추적하는 단계는,상기 검출된 사용자 머리 위치에 대응하는 윈도우를 설정하는 단계; 및상기 윈도우를 이용하여 상기 사용자 머리의 중심부를 추적하는 단계;를 포함하는 것을 특징으로 하는 오디오 신호 처리 방법
9 9
오디오 신호 처리 장치에 있어서,뎁스 카메라를 통해 촬영된 뎁스 픽쳐 데이터를 획득하고, 상기 뎁스 픽쳐 데이터에서 적어도 하나의 사용자 머리 위치 정보를 추출하고, 상기 추출된 사용자 머리 위치 정보를 3차원 상의 좌표 정보로 변환하는 비디오 처리부;오디오 신호를 수신하고, 상기 비디오 처리부에서 변환된 좌표 정보 및 상기 수신된 오디오 신호를 이용하여 상기 적어도 하나의 사용자 머리 위치 정보 중 화자의 위치 정보를 식별하고, 상기 식별된 화자의 위치 정보에 대응하는 가중치를 획득하는 오디오 처리부; 및상기 가중치를 이용하여, 상기 수신된 오디오 신호에 빔포밍을 수행하여 상기 화자의 음원을 분리하는 음원 분리부;를 포함하며,상기 오디오 처리부는,상기 변환된 좌표를 이용하여, 상기 사용자 머리 위치에서 마이크로폰 어레이의 각 마이크에 대한 소리의 도달시간 차이를 구하고,상기 도달시간 차이를 이용하여 상기 사용자 머리 위치에 대한 방향 벡터를 구하고,상기 방향 벡터를 이용하여 상기 오디오 신호의 빔포밍을 위한 가중치를 획득하고,상기 가중치로 상기 오디오 신호를 빔포밍한 출력의 파워를 이용하여 상기 사용자 머리 위치가 화자의 위치인지 여부를 판별하는것을 특징으로 하는 오디오 신호 처리 장치
10 10
삭제
11 11
제 9항에 있어서,상기 오디오 처리부는,상기 빔포밍한 출력의 파워를 기 설정된 임계값과 비교하고,상기 빔포밍한 출력의 파워가 기 설정된 임계값 이상일 경우, 해당 사용자 머리 위치를 화자의 위치로 식별하는 것을 특징으로 하는 오디오 신호 처리 장치
12 12
제 9항에 있어서,상기 오디오 처리부는,상기 식별된 화자의 위치 정보에 대응하는 방향 벡터를 이용하여 상기 가중치를 획득하는 것을 특징으로 하는 오디오 신호 처리 장치
13 13
제 12항에 있어서,상기 가중치는 주파수 빈(frequecy bin)별 가중치인 것을 특징으로 하는 오디오 신호 처리 장치
14 14
제 9항에 있어서,상기 비디오 처리부는,상기 사용자 머리 위치를 검출하는 머리 위치 검출부; 및상기 사용자 머리 위치를 추적하는 머리 위치 추적부를 포함하는 것을 특징으로 하는 오디오 신호 처리 장치
15 15
제 14항에 있어서,상기 머리 위치 검출부는,상기 뎁스 픽쳐 데이터에서 배경 이미지를 제거하고,상기 배경 이미지가 제거된 뎁스 픽쳐 데이터에서 엣지 이미지를 추출하고,상기 뎁스 픽쳐 데이터에서 거리 이미지를 추출하고,상기 추출된 엣지 이미지와 거리 이미지간의 매칭을 통해 머리 후보군을 획득하고,상기 획득된 머리 후보군을 기 설정된 머리 템플릿 이미지와 템플릿 매칭을 수행하여 사용자 머리 위치를 획득하는 것을 특징으로 하는 오디오 신호 처리 장치
16 16
제 14항에 있어서,상기 사용자 머리 위치를 추적부는,상기 검출된 사용자 머리 위치에 대응하는 윈도우를 설정하고,상기 윈도우를 이용하여 상기 사용자 머리의 중심부를 추적하는 것을 특징으로 하는 오디오 신호 처리 장치
지정국 정보가 없습니다
패밀리정보가 없습니다
국가 R&D 정보가 없습니다.