맞춤기술찾기

홈으로 가기
맞춤기술찾기
이전대상기술
프린트하기

이전대상기술

모바일 장치에서의 립리딩을 위한 입술영역 결정방법

  • 기술번호 : KST2014043124
  • 담당센터 : 광주기술혁신센터
  • 전화번호 : 062-360-4654
상담신청 PDF 받기
요약, Int. CL, CPC, 출원번호/일자, 출원인, 등록번호/일자, 공개번호/일자, 공고번호/일자, 국제출원번호/일자, 국제공개번호/일자, 우선권정보, 법적상태, 심사진행상태, 심판사항, 구분, 원출원번호/일자, 관련 출원번호, 기술이전 희망, 심사청구여부/일자, 심사청구항수의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 서지정보 표입니다.
요약 본 발명은 모바일 장치에서의 립리딩을 위한 입술영역 결정방법에 관한 것으로, 보다 구체적으로는 화자의 입술 움직임을 분석하여 발성 단어를 인식하는 립리딩의 전처리 단계로, 상기 화자의 얼굴이 포함된 영상에서 상기 입술이 위치한 영역을 인식할 시 조명이 가변하는 환경에서 상기 화자의 입술이 위치한 영역을 명확하게 인식할 수 있고, 스마트폰과 같은 모바일 장치에서 효율적으로 작동할 수 있게 적은 계산량으로 구현되는 모바일 장치에서의 립리딩을 위한 입술영역 결정방법에 관한 것이다.
Int. CL G06T 7/20 (2006.01)
CPC G06K 9/00335(2013.01) G06K 9/00335(2013.01) G06K 9/00335(2013.01)
출원번호/일자 1020100130816 (2010.12.20)
출원인 전남대학교산학협력단
등록번호/일자 10-1144158-0000 (2012.05.02)
공개번호/일자
공고번호/일자 (20120510) 문서열기
국제출원번호/일자
국제공개번호/일자
우선권정보
법적상태 소멸
심사진행상태 수리
심판사항
구분 신규
원출원번호/일자
관련 출원번호
심사청구여부/일자 Y (2010.12.20)
심사청구항수 13

출원인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 출원인 표입니다.
번호 이름 국적 주소
1 전남대학교산학협력단 대한민국 광주광역시 북구

발명자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 발명자 표입니다.
번호 이름 국적 주소
1 김진영 대한민국 광주광역시 북구
2 송민규 대한민국 광주광역시 북구
3 나승유 대한민국 광주광역시 북구

대리인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 대리인 표입니다.
번호 이름 국적 주소
1 특허법인아이엠 대한민국 서울특별시 강남구 봉은사로 ***, ***호 (역삼동, 혜전빌딩)

최종권리자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 최종권리자 표입니다.
번호 이름 국적 주소
1 전남대학교산학협력단 광주광역시 북구
번호, 서류명, 접수/발송일자, 처리상태, 접수/발송일자의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 행정처리 표입니다.
번호 서류명 접수/발송일자 처리상태 접수/발송번호
1 [특허출원]특허출원서
[Patent Application] Patent Application		 2010.12.20 수리 (Accepted) 1-1-2010-0840090-06
2 [출원서등 보정]보정서
[Amendment to Patent Application, etc.] Amendment		 2011.01.13 수리 (Accepted) 1-1-2011-0029957-53
3 의견제출통지서
Notification of reason for refusal		 2012.01.31 발송처리완료 (Completion of Transmission) 9-5-2012-0061001-63
4 [명세서등 보정]보정서
[Amendment to Description, etc.] Amendment		 2012.04.02 보정승인간주 (Regarded as an acceptance of amendment) 1-1-2012-0262807-13
5 [거절이유 등 통지에 따른 의견]의견(답변, 소명)서
[Opinion according to the Notification of Reasons for Refusal] Written Opinion(Written Reply, Written Substantiation)		 2012.04.02 수리 (Accepted) 1-1-2012-0262796-98
6 등록결정서
Decision to grant		 2012.04.20 발송처리완료 (Completion of Transmission) 9-5-2012-0230518-75
7 출원인정보변경(경정)신고서
Notification of change of applicant's information		 2012.07.23 수리 (Accepted) 4-1-2012-5157698-67
8 출원인정보변경(경정)신고서
Notification of change of applicant's information		 2014.01.02 수리 (Accepted) 4-1-2014-0000058-61
9 출원인정보변경(경정)신고서
Notification of change of applicant's information		 2015.06.08 수리 (Accepted) 4-1-2015-5076218-57
10 출원인정보변경(경정)신고서
Notification of change of applicant's information		 2016.07.07 수리 (Accepted) 4-1-2016-5093177-51
11 출원인정보변경(경정)신고서
Notification of change of applicant's information		 2018.03.30 수리 (Accepted) 4-1-2018-5056463-72
번호, 청구항의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 청구항 표입니다.
번호 청구항
1 1
입술영상을 분석하여 화자의 입술 움직임을 인식하는 립리딩(lipreading) 시 상기 입술영상 내에서 입술영역을 결정하기 위한 입술영역 결정방법에 있어서,상기 입술영상 중, RGB 색상값이 유사한 픽셀들을 집단화(clustering)하여 분할함으로써, 제 1후보객체들을 생성하는 제 1단계;상기 각 제 1후보객체의 픽셀들의 그레이 평균값이 임계값 이상인 제 2후보객체들을 추출하고, 기준이 되는 기준입술영상과의 유사도를 수치화한 신뢰도 함수를 이용하여 상기 제 2후보객체들 중 임계 신뢰도 이하의 제 3후보객체들을 제거하는 제 2단계;상기 제 2후보객체들의 픽셀들 중 임계 Y축 좌표값 이외의 Y축 좌표값을 갖는 픽셀들을 제거하고, 상기 집단화를 재수행하여 제 4후보객체들을 추출하는 제 3단계;상기 신뢰도 함수를 이용하여 상기 제 4후보객체들의 신뢰도를 계산하고, 상기 제 4후보객체들 중 가장 높은 신뢰도를 갖는 제 5후보객체를 상기 입술영역으로 결정하는 제 4단계;를 포함하며,상기 신뢰도 함수는, 상기 입술영상의 폭 및 높이와, 상기 각 후보객체의 폭, 높이, 기울기, 상기 입술영상의 X축 상에서 상기 각 후보객체의 최소 및 최대 X축 좌표값들이 연결된 수평축 및 상기 입술영상의 Y축 상에서 상기 각 후보객체의 최소 및 최대 Y축 좌표값들이 연결된 선인 수직축을 변수로 하여, 상기 후보객체가 상기 화자의 입술과 유사한 정도를 상기 신뢰도로 수치화한 것이며,상기 후보객체의 폭(LW)과, 상기 입술영상의 폭(W)이 이루는 비율을 계산하여 제 1신뢰도를 산출하는 제 1신뢰도 함수;상기 후보객체의 높이(LH)와, 상기 후보객체의 폭(LW)이 이루는 비율을 계산하여 제 2신뢰도를 산출하는 제 2신뢰도 함수;상기 후보객체가 갖는 기울기(LD)을 계산하여 제 3신뢰도를 산출하는 제 3신뢰도 함수;상기 후보객체의 수평축(LX) 및 상기 입술영상의 폭(W)이 이루는 비율을 계산하여 제 4신뢰도를 산출하는 제 4신뢰도 함수; 및상기 후보객체의 수직축(LY) 및 상기 입술영상의 높이(H)가 이루는 비율을 계산하여 제 5신뢰도를 산출하는 제 5신뢰도 함수;를 포함하며, 상기 제 1신뢰도, 제 2신뢰도, 제 3신뢰도, 제 4신뢰도 및 제 5신뢰도을 모두 곱한 값을 상기 신뢰도로 계산하는 것을 특징으로 하는 입술영역 결정방법
2 2
제 1항에 있어서,상기 제 1단계 이전에, 상기 입술영상을 좌측 입술영상과, 우측 입술영상으로 세로로 분리하는 제 A단계;를 더 포함하고,상기 제 1단계의 집단화는 상기 좌측 입술영상 및 상기 우측 입술영상에 대해 각각 수행되는 것을 특징으로 하는 입술영역 결정방법
3 3
제 1항 또는 제 2항에 있어서,상기 집단화는, K-평균 집단화 알고리즘(k-means clustering algorithm)을 이용한 것을 특징으로 하는 입술영역 결정방법
4 4
제 1항에 있어서,상기 임계 Y축 좌표값은, 평균적인 화자의 눈과 입술과의 거리를 기반으로 선택되는 것을 특징으로 하는 입술영역 결정방법
5 5
제 2항에 있어서,상기 제 1단계:는상기 좌, 우측 입술영상의 각 픽셀의 RGB 색상값으로 이루어지는 색상 벡터를 산출하는 1-1단계; 및상기 색상 벡터를 이용하여, 집단화하여 상기 제 1후보객체들로 분할하는 제 1-2단계;를 더 포함하는 것을 특징으로 하는 입술영역 결정방법
6 6
제 1항에 있어서,상기 제 2단계:는상기 제 1후보객체들을 그레이 영상으로 변환하고, 상기 각 그레이 영상의 픽셀들의 상기 그레이 평균값을 계산하는 제 2-1단계;상기 제 1후보객체들 중 상기 그레이 평균값이 상기 임계값 이상인 상기 제 2후보객체를 추출하는 제 2-2단계; 및상기 신뢰도 함수를 이용하여, 상기 제 2후보객체들 중 임계 신뢰도 이하의 제 3후보객체들을 제거하는 제 2-3단계;를 더 포함하는 것을 특징으로 하는 입술영역 결정방법
7 7
제 1항에 있어서,상기 제 3단계:는평균적인 화자의 눈과 입술과의 거리를 기반으로 상기 임계 Y축 좌표값의 범위를 산출하는 제 3-1단계;상기 제 2후보객체의 픽셀들 중 상기 임계 Y축 좌표값 이외의 상기 Y축 좌표값을 갖는 픽셀들을 제거하는 제 3-2단계; 및상기 제 2후보객체들의 각 픽셀을 대상으로 상기 집단화를 재수행하여, 상기 제 4후보객체들을 추출하는 제 3-3단계;를 더 포함하는 것을 특징으로 하는 입술영역 결정방법
8 8
제 1항에 있어서,상기 제 4단계:는상기 신뢰도 함수를 상기 제 4후보객체들에 적용하여, 상기 제 5후보객체를 선정하는 제 4-1단계;상기 제 5후보객체의 수평길이를 계산하고, 상기 수평길이의 중심점의 좌표값을 획득하는 제 4-2단계; 및상기 중심점을 중심으로 하고 상기 수평길이를 상변 및 하변의 길이로 하며 일정한 높이를 갖는 사각형 영역을 설정하여, 상기 사각형 영역을 상기 입술영역으로 결정하는 제 4-3단계;를 더 포함하는 것을 특징으로 하는 입술영역 결정방법
9 9
삭제
10 10
삭제
11 11
제 1항에 있어서,상기 제 1신뢰도 함수는 아래의 수학식 1을 이용하여, 상기 후보객체의 폭의 제 1신뢰도를 계산하는 것을 특징으로 하는 입술영역 결정방법
12 12
제 1항에 있어서,상기 제 2신뢰도 함수는 아래의 수학식 2를 이용하여, 상기 후보객체의 높이의 제 2신뢰도를 계산하는 것을 특징으로 하는 입술영역 결정방법
13 13
제 1항에 있어서,상기 제 3신뢰도 함수는 아래의 수학식 3을 이용하여, 상기 후보객체의 기울기의 제 3신뢰도를 계산하는 것을 특징으로 하는 입술영역 결정방법
14 14
제 1항에 있어서,상기 제 4신뢰도 함수는 아래의 수학식 4를 이용하여, 상기 후보객체의 수평축의 제 4신뢰도를 계산하는 것을 특징으로 하는 입술영역 결정방법
15 15
제 1항에 있어서,상기 제 5신뢰도 함수는 아래의 수학식 5를 이용하여, 상기 후보객체의 수직축의 제 5신뢰도를 계산하는 것을 특징으로 하는 입술영역 결정방법
지정국 정보가 없습니다
패밀리정보가 없습니다
순번, 연구부처, 주관기관, 연구사업, 연구과제의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 국가R&D 연구정보 정보 표입니다.
순번 연구부처 주관기관 연구사업 연구과제
1 지식경제부 전남대학교산학협력단 대학 IT 연구센터 육성·지원사업 / 정보통신기술인력양성(R＆D) 차세대 휴대폰용 지능형 사용자 인터페이스 플랫폼 기술개발