맞춤기술찾기

홈으로 가기
맞춤기술찾기
이전대상기술
프린트하기

이전대상기술

멀티모달 화자인식 시스템의 인식성능 향상을 위한 입력영상의 신뢰도 계산방법

  • 기술번호 : KST2015176866
  • 담당센터 : 광주기술혁신센터
  • 전화번호 : 062-360-4654
상담신청 PDF 받기
요약, Int. CL, CPC, 출원번호/일자, 출원인, 등록번호/일자, 공개번호/일자, 공고번호/일자, 국제출원번호/일자, 국제공개번호/일자, 우선권정보, 법적상태, 심사진행상태, 심판사항, 구분, 원출원번호/일자, 관련 출원번호, 기술이전 희망, 심사청구여부/일자, 심사청구항수의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 서지정보 표입니다.
요약 본 발명은 멀티모달 화자인식 시스템의 인식성능 향상을 위한 입력영상의 신뢰도 계산방법에 관한 것으로, 보다 구체적으로는 영상 및 음성을 이용하여 화자를 인식하는 멀티모달 화자인식 시스템에서 상기 영상과 상기 음성이 각각 입력된 후 통합되기 이전에, 상기 입력되는 영상과, 기저장된 표준영상과의 밝기 차이를 가우시안 퍼지 멤버쉽 함수를 이용하여 수치화한 영상신뢰도를 계산한 후 상기 영상신뢰도를 이용하여 상기 영상에 반영될 영상 가중치를 계산하는 멀티모달 화자인식 시스템의 인식성능 향상을 위한 입력영상의 신뢰도 계산방법에 관한 것이다.
Int. CL G10L 15/00 (2006.01) G06T 7/00 (2006.01)
CPC G06K 9/6293(2013.01) G06K 9/6293(2013.01) G06K 9/6293(2013.01)
출원번호/일자 1020100133965 (2010.12.23)
출원인 전남대학교산학협력단
등록번호/일자 10-1218666-0000 (2012.12.28)
공개번호/일자 10-2012-0072149 (2012.07.03) 문서열기
공고번호/일자 (20130121) 문서열기
국제출원번호/일자
국제공개번호/일자
우선권정보
법적상태 소멸
심사진행상태 수리
심판사항
구분 신규
원출원번호/일자
관련 출원번호
심사청구여부/일자 Y (2010.12.23)
심사청구항수 20

출원인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 출원인 표입니다.
번호 이름 국적 주소
1 전남대학교산학협력단 대한민국 광주광역시 북구

발명자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 발명자 표입니다.
번호 이름 국적 주소
1 김진영 대한민국 광주광역시 북구
2 무하무드 타렉 방글라데시 광주광역시 북구
3 송민규 대한민국 광주광역시 북구
4 나승유 대한민국 광주광역시 북구

대리인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 대리인 표입니다.
번호 이름 국적 주소
1 특허법인아이엠 대한민국 서울특별시 강남구 봉은사로 ***, ***호 (역삼동, 혜전빌딩)

최종권리자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 최종권리자 표입니다.
번호 이름 국적 주소
1 전남대학교산학협력단 광주광역시 북구
번호, 서류명, 접수/발송일자, 처리상태, 접수/발송일자의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 행정처리 표입니다.
번호 서류명 접수/발송일자 처리상태 접수/발송번호
1 [특허출원]특허출원서
[Patent Application] Patent Application		 2010.12.23 수리 (Accepted) 1-1-2010-0854023-29
2 [출원서등 보정]보정서
[Amendment to Patent Application, etc.] Amendment		 2011.01.13 수리 (Accepted) 1-1-2011-0029996-23
3 의견제출통지서
Notification of reason for refusal		 2011.12.29 발송처리완료 (Completion of Transmission) 9-5-2011-0778146-56
4 [지정기간연장]기간연장(단축, 경과구제)신청서
[Designated Period Extension] Application of Period Extension(Reduction, Progress relief)		 2012.02.27 수리 (Accepted) 1-1-2012-0158290-35
5 [지정기간연장]기간연장(단축, 경과구제)신청서
[Designated Period Extension] Application of Period Extension(Reduction, Progress relief)		 2012.03.29 수리 (Accepted) 1-1-2012-0253640-74
6 [명세서등 보정]보정서
[Amendment to Description, etc.] Amendment		 2012.04.30 보정승인간주 (Regarded as an acceptance of amendment) 1-1-2012-0347080-32
7 [거절이유 등 통지에 따른 의견]의견(답변, 소명)서
[Opinion according to the Notification of Reasons for Refusal] Written Opinion(Written Reply, Written Substantiation)		 2012.04.30 수리 (Accepted) 1-1-2012-0347078-40
8 최후의견제출통지서
Notification of reason for final refusal		 2012.06.26 발송처리완료 (Completion of Transmission) 9-5-2012-0369617-12
9 출원인정보변경(경정)신고서
Notification of change of applicant's information		 2012.07.23 수리 (Accepted) 4-1-2012-5157698-67
10 [명세서등 보정]보정서
[Amendment to Description, etc.] Amendment		 2012.07.31 보정승인 (Acceptance of amendment) 1-1-2012-0612997-23
11 [거절이유 등 통지에 따른 의견]의견(답변, 소명)서
[Opinion according to the Notification of Reasons for Refusal] Written Opinion(Written Reply, Written Substantiation)		 2012.07.31 수리 (Accepted) 1-1-2012-0612981-04
12 등록결정서
Decision to grant		 2012.12.26 발송처리완료 (Completion of Transmission) 9-5-2012-0790526-19
13 출원인정보변경(경정)신고서
Notification of change of applicant's information		 2014.01.02 수리 (Accepted) 4-1-2014-0000058-61
14 출원인정보변경(경정)신고서
Notification of change of applicant's information		 2015.06.08 수리 (Accepted) 4-1-2015-5076218-57
15 출원인정보변경(경정)신고서
Notification of change of applicant's information		 2016.07.07 수리 (Accepted) 4-1-2016-5093177-51
16 출원인정보변경(경정)신고서
Notification of change of applicant's information		 2018.03.30 수리 (Accepted) 4-1-2018-5056463-72
번호, 청구항의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 청구항 표입니다.
번호 청구항
1 1
화자 인식을 위한 화자인식 시스템에서 미리 등록된 화자들의 영상인 표준영상들과, 현재 입력되는 화자의 영상인 입력영상을 서로 비교하여, 상기 입력영상과 상기 표준영상들의 유사도를 수치화한 영상신뢰도를 계산하는 입력영상의 신뢰도 계산방법에 있어서, 상기 각 표준영상들의 밝기 평균값을 평균하여, 상기 표준영상들의 전체 밝기 평균값으로 계산하는 제 1단계;상기 입력영상의 밝기 평균값을 구하는 제 2단계; 및높이를 '1'로 하고, 상기 표준영상들의 전체 밝기 평균값을 중심으로 하며, 상기 표준영상들의 밝기 평균값들 간의 표준편차값을 제 1표준편차로 하는 가우시안 함수(gaussian function)에서 상기 입력영상의 밝기 평균값에 대한 제 1가우시안 함수 값을 제 1영상신뢰도로 계산하는 제 3단계;를 포함하는 입력영상의 신뢰도 계산방법
2 2
제 1항에 있어서,상기 제 1단계는, 상기 표준영상의 중심을 기준으로 세로로 분할된 좌,우측 표준영상의 각 밝기 평균값 간의 차이값을 계산하는 제 1-1단계;를 포함하고,상기 제 2단계는,상기 입력영상의 중심을 기준으로 세로로 분할된 좌,우측 입력영상의 각 밝기 평균값 간의 차이값을 계산하는 제 2-1단계;를 포함하고,상기 제 3단계는,높이를 '1'로 하고, 상기 좌,우측 표준영상의 각 밝기 평균값 간의 차이값을 중심으로 하며, 상기 좌측 표준영상들의 밝기 평균값들 및 상기 우측 표준영상들의 밝기 평균값들 간의 표준편차값을 제 2표준편차로 하는 가우시안 함수에서 상기 좌,우측 입력영상의 밝기 평균값의 차이값에 대한 제 2가우시안 함수 값과, 상기 제 1가우시안 함수 값과의 곱을 제 2영상신뢰도로 계산하는 제 3-1단계;를 포함하는 것을 특징으로 하는 입력영상의 신뢰도 계산방법
3 3
제 2항에 있어서,상기 제 1단계는, 상기 표준영상의 중심을 기준으로 가로로 분할된 상,하측 표준영상의 각 밝기 평균값 간의 차이값을 계산하는 제 1-2단계;를 포함하고,상기 제 2단계는,상기 입력영상의 중심을 기준으로 가로로 분할된 상,하측 입력영상의 각 밝기 평균값 간의 차이값인 제 2 입력영상 차이값을 계산하는 제 2-2단계;를 포함하고,상기 제 3단계는,높이를 '1'로 하고, 상기 상,하측 표준영상의 각 밝기 평균값 간의 차이값을 중심으로 하며, 상기 상측 표준영상들의 밝기 평균값들 및 상기 하측 표준영상들의 밝기 평균값들 간의 표준편차값을 제 3표준편차로 하는 가우시안 함수에서 상기 상,하측 입력영상의 밝기 평균값의 차이값에 대한 제 3가우시안 함수 값과, 상기 제 1가우시안 함수 값 및 상기 제 2가우시안 함수 값들의 곱을 제 3영상신뢰도로 계산하는 제 3-2단계;를 포함하는 것을 특징으로 하는 입력영상의 신뢰도 계산방법
4 4
제 3항에 있어서,상기 가우시안 함수는 아래의 수학식 1을 이용하여, 화자인식 시스템에서 미리 등록된 화자들 중 m번째 화자에 대한 제 3영상신뢰도를 계산하는 것을 특징으로 하는 입력영상의 신뢰도 계산방법
5 5
제 1항에 있어서,상기 제 1단계는 아래의 수학식 2를 이용하여, m번째 화자에 대한 표준영상들의 전체 밝기 평균값을 계산하는 것을 특징으로 하는 입력영상의 신뢰도 계산방법
6 6
제 1항에 있어서,상기 제 1단계는 아래의 수학식 3을 이용하여, 상기 입력영상의 밝기 평균값을 계산하는 것을 특징으로 하는 입력영상의 신뢰도 계산방법
7 7
제 2항에 있어서,상기 제 1-1단계는 아래의 수학식 4를 이용하여, m번째 화자에 대한 좌측 표준영상의 밝기 평균값 및 우측 표준영상의 밝기 평균값 간의 차이값을 계산하는 것을 특징으로 하는 입력영상의 신뢰도 계산방법
8 8
제 2항에 있어서,상기 제 2-1단계는 아래의 수학식 5를 이용하여, 상기 좌측 입력영상의 밝기 평균값 및 상기 우측 입력영상의 밝기 평균값 간의 차이값을 계산하는 것을 특징으로 하는 입력영상의 신뢰도 계산방법
9 9
제 3항에 있어서,상기 제 1-2단계는 아래의 수학식 6을 이용하여, m번째 화자에 대한 상측 표준영상의 밝기 평균값 및 하측 표준영상의 밝기 평균값 간의 차이값을 계산하는 것을 특징으로 하는 입력영상의 신뢰도 계산방법
10 10
제 3항에 있어서,상기 제 2-2단계는, 아래의 수학식 7을 이용하여, 상기 상측 입력영상의 밝기 평균값 및 상기 하측 입력영상의 밝기 평균값 간의 차이값을 계산하는 것을 특징으로 하는 입력영상의 신뢰도 계산방법
11 11
제 4항에 있어서,상기 가우시안 함수에 이용되는 상기 제 1표준편차, 상기 제 2표준편차 및 상기 제 3표준편차는 화자 인식률을 최적화하는 목표함수(target function)로 PSO 알고리즘(paticle swarm optimization)에 의해 계산되는 것을 특징으로 하는 입력영상의 신뢰도 계산방법
12 12
제 11항에 있어서,상기 PSO 알고리즘은 아래의 수학식 8을 이용하여, 상기 제 1표준편차, 상기 제 2표준편차 및 상기 제 3표준편차를 계산하는 것을 특징으로 하는 입력영상의 신뢰도 계산방법
13 13
제 1항에 있어서,상기 제 1단계 이전에,상기 입력영상 및 상기 표준영상의 폭과 높이를 기설정된 크기로 변환하고, 기설정된 크기로 변환된 상기 입력영상 및 상기 표준영상의 RGB 색상을 0 내지 255의 밝기를 갖는 그레이 색상으로 변환하는 제 A단계;를 더 포함하는 것을 특징으로 하는 입력영상의 신뢰도 계산방법
14 14
제 13항에 있어서,상기 제 A단계는 아래의 수학식 1-1를 이용하여, 상기 입력영상 및 상기 표준영상의 각 픽셀의 RGB 색상을 상기 그레이 색상으로 변환하는 것을 특징으로 하는 입력영상의 신뢰도 계산방법
15 15
제 1항에 있어서,상기 제 3단계 이후에, 매핑함수(mapping function)를 이용하여, 상기 입력영상의 상기 제 1영상신뢰도, 제 2영상신뢰도 또는 제 3영상신뢰도가 높고 낮음에 따라 상기 입력영상에 의존하는 정도를 결정하기 위한 영상 가중치를 계산하며, 상기 입력영상과 함께 상기 화자의 음성이 입력되는 경우 상기 음성에 반영될 음성 가중치를 계산하는 제 4단계;를 더 포함하는 것을 특징으로 하는 입력영상의 신뢰도 계산방법
16 16
제 15항에 있어서,상기 매핑함수는 아래의 수학식 9를 이용하여, 상기 영상 가중치 및 상기 음성 가중치를 계산하는 것을 특징으로 하는 입력영상의 신뢰도 계산방법
17 17
제 15항에 있어서,상기 매핑함수에서 상기 영상 가중치와 상기 음성 가중치의 합은 1인 것을 특징으로 하는 입력영상의 신뢰도 계산방법
18 18
제 15항에 있어서,상기 제 4단계 이후에, 상기 영상 가중치를 상기 입력영상에 반영하고 상기 음성 가중치를 상기 음성에 반영하여, 상기 입력영상에서 특정 화자가 관측될 확률인 영상 스코어와, 상기 입력영상과 함께 입력되는 음성에서 특정 화자가 관측될 확률인 음성 스코어를 통합하여 시청각 통합 확률인 통합 스코어들로 생성하는 제 5단계;를 더 포함하는 것을 특징으로 하는 입력영상의 신뢰도 계산방법
19 19
제 18항에 있어서,상기 제 5단계는 아래의 수학식 10을 이용하여, 상기 영상 가중치 및 상기 음성 가중치가 반영된 상기 통합 스코어들이 생성되도록 계산하는 것을 특징으로 하는 입력영상의 신뢰도 계산방법
20 20
제 18항에 있어서,상기 제 5단계는 아래의 수학식 11를 이용하여, 상기 통합 스코어들 중 상기 표준영상에 가장 근접한 통합 스코어를 산출하는 것을 특징으로 하는 입력영상의 신뢰도 계산방법
지정국 정보가 없습니다
패밀리정보가 없습니다
순번, 연구부처, 주관기관, 연구사업, 연구과제의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 국가R&D 연구정보 정보 표입니다.
순번 연구부처 주관기관 연구사업 연구과제
1 지식경제부 전남대학교산학협력단 대학 IT 연구센터 육성·지원사업 / 정보통신기술인력양성(R＆D) 차세대 휴대폰용 지능형 사용자 인터페이스 플랫폼 기술개발