맞춤기술찾기

홈으로 가기
맞춤기술찾기
이전대상기술
프린트하기

이전대상기술

손뼉 소리 및 제스처 영상을 이용한 멀티모달 명령어의 시작점 판단 및 제어 권한 획득 방법

  • 기술번호 : KST2014027771
  • 담당센터 : 경기기술혁신센터
  • 전화번호 : 031-8006-1570
상담신청 PDF 받기
요약, Int. CL, CPC, 출원번호/일자, 출원인, 등록번호/일자, 공개번호/일자, 공고번호/일자, 국제출원번호/일자, 국제공개번호/일자, 우선권정보, 법적상태, 심사진행상태, 심판사항, 구분, 원출원번호/일자, 관련 출원번호, 기술이전 희망, 심사청구여부/일자, 심사청구항수의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 서지정보 표입니다.
요약 본 발명은 멀티 모달 응용 시스템에 있어 다중 모달리티를 이용한 효율적인 명령어의 시작점을 검출하는 방법을 제시하되, 사용자의 의식중/무의식중에 표현된 오발성 또는 의도하지 않은 제스처 행위 등으로 인한 시스템 명령어 오인식 등을 최소화하고자 하는데 그 목적 및 효과가 있다. 본 발명은 멀티모달 시스템의 운용상에 필요한 다중 모달리티 명령어를 입력함에 있어서, 소리와 제스처가 동시에 발생하는 손뼉치기를 1회 또는 n회 선 수행하여 발생하는 손뼉소리와 손뼉 제스처 영상을 마이크와 카메라 등으로 인지하고, 이들이 인지된 시점을 기준으로 개별 또는 멀티 모달리티를 사용하는 방식에 의한 시스템 운용 명령어 또는 콘텐츠 제어 명령어가 시작됨을 시스템에 전송해 주며, 다수의 사용자 중 현재 명령어를 입력하고자 하는 사용자를 식별하여 제어 권한을 부여할 수 있을 뿐만 아니라 다양한 소리 및 제스처 명령어에 대한 제어 효율 및 정확성을 향상시킬 수 있도록 구성되어 있다. 손뼉소리, 제스처 영상, 멀티모탈, 제어권한
Int. CL G06F 3/00 (2006.01) G06F 9/00 (2006.01)
CPC G06F 3/017(2013.01) G06F 3/017(2013.01)
출원번호/일자 1020090118875 (2009.12.03)
출원인 성균관대학교산학협력단
등록번호/일자 10-1030603-0000 (2011.04.14)
공개번호/일자
공고번호/일자 (20110420) 문서열기
국제출원번호/일자
국제공개번호/일자
우선권정보
법적상태 소멸
심사진행상태 수리
심판사항
구분 신규
원출원번호/일자
관련 출원번호
심사청구여부/일자 Y (2009.12.03)
심사청구항수 7

출원인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 출원인 표입니다.
번호 이름 국적 주소
1 성균관대학교산학협력단 대한민국 경기도 수원시 장안구

발명자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 발명자 표입니다.
번호 이름 국적 주소
1 홍광석 대한민국 경기도 과천시
2 김정현 대한민국 경기도 수원시 장안구
3 김동주 대한민국 경기도 수원시 장안구

대리인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 대리인 표입니다.
번호 이름 국적 주소
1 조영신 대한민국 서울특별시 서초구 서초대로**길 **, *층(서초동)(우연특허법률사무소)
2 강철중 대한민국 서울특별시 종로구 우정국로 ** 동덕빌딩 **층(세한국제특허법률사무소)
3 김윤배 대한민국 서울특별시 종로구 우정국로 ** 동덕빌딩 *층(세한국제특허법률사무소)
4 박지영 대한민국 서울시 관악구 관악로 * 서울대학교연구공원 본관 ***호(서울대학교산학협력단)

최종권리자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 최종권리자 표입니다.
번호 이름 국적 주소
1 성균관대학교산학협력단 대한민국 경기도 수원시 장안구
번호, 서류명, 접수/발송일자, 처리상태, 접수/발송일자의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 행정처리 표입니다.
번호 서류명 접수/발송일자 처리상태 접수/발송번호
1 [특허출원]특허출원서
[Patent Application] Patent Application		 2009.12.03 수리 (Accepted) 1-1-2009-0746342-10
2 [명세서등 보정]보정서
[Amendment to Description, etc.] Amendment		 2009.12.14 보정승인간주 (Regarded as an acceptance of amendment) 1-1-2009-0770902-86
3 선행기술조사의뢰서
Request for Prior Art Search		 2010.06.09 수리 (Accepted) 9-1-9999-9999999-89
4 선행기술조사보고서
Report of Prior Art Search		 2010.07.16 수리 (Accepted) 9-1-2010-0046013-41
5 등록결정서
Decision to grant		 2011.04.06 발송처리완료 (Completion of Transmission) 9-5-2011-0185987-84
6 출원인정보변경(경정)신고서
Notification of change of applicant's information		 2012.04.26 수리 (Accepted) 4-1-2012-5090770-53
7 출원인정보변경(경정)신고서
Notification of change of applicant's information		 2012.06.20 수리 (Accepted) 4-1-2012-5131828-19
8 출원인정보변경(경정)신고서
Notification of change of applicant's information		 2012.06.27 수리 (Accepted) 4-1-2012-5137236-29
9 출원인정보변경(경정)신고서
Notification of change of applicant's information		 2017.02.23 수리 (Accepted) 4-1-2017-5028829-43
번호, 청구항의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 청구항 표입니다.
번호 청구항
1 1
멀티 모달 명령어의 시작점 판단 방법에 있어서, 사용자가 손뼉치기 행위를 1회 또는 n회 이상 행하여, 손뼉치기에 의하여 발생하는 소리를 마이크 또는 스테레오 마이크로 검출하고, 카메라 또는 스테레오 카메라를 사용하여 손뼉치기 제스처영상을 촬영하는 단계; 마이크 또는 스테레오 마이크로 검출한 손뼉소리로부터 획득한 소리신호 중에서 사용자가 가진 소리신호의 특징을 추출하고, 촬영된 제스처영상으로부터 제스처 영상신호의 특징을 추출하는 단계; 추출된 손뼉소리 신호의 특징과 서버 또는 메모리에 저장된 손뼉소리 특징을 비교 인식하기 위한 손뼉소리 인식부와 추출된 손뼉제스처 영상신호의 특징과 서버 또는 메모리에 저장된 손뼉제스처 영상신호의 특징을 비교 인식하기 위한 손뼉제스처 인식부를 통해서 소리 및 제스처 영상신호를 인식하는 단계; 및 상기 손뼉소리 인식부 및 손뼉 제스처 인식부를 거쳐서 명령어 시작점을 판단하는 단계로 이루어진 손뼉 소리 및 제스처 영상을 이용한 멀티 모달 명령어의 시작점 판단 방법
2 2
멀티 모달 명령어의 시작점 판단 및 제어 권한 획득 방법에 있어서, 사용자가 손뼉치기 행위를 1회 또는 n회 이상 행하여, 손뼉치기에 의하여 발생하는 소리를 마이크 또는 스테레오 마이크로 검출하고, 카메라 또는 스테레오 카메라를 사용하여 손뼉치기 제스처영상을 촬영하는 단계; 마이크 또는 스테레오 마이크로로 검출한 손뼉소리로부터 획득한 소리신호 중에서 사용자가 가진 소리신호의 특징을 추출하고, 촬영된 제스처영상으로부터 제스처 영상신호의 특징을 추출하는 단계; 추출된 손뼉소리 신호의 특징과 서버 또는 메모리에 저장된 손뼉소리 특징을 비교 인식하기 위한 손뼉소리 인식부와 추출된 손뼉제스처 영상신호의 특징과 서버 또는 메모리에 저장된 손뼉제스처 영상신호의 특징을 비교 인식하기 위한 손뼉제스처 인식부를 통해서 소리 및 제스처 영상신호를 인식하는 단계; 상기 손뼉소리 인식부 및 손뼉 제스처 인식부를 거쳐서 명령어 시작점을 판단하는 단계; 및 명령어 시작점을 판단하고, 메모리에 저장된 손뼉소리의 특징과 제스처 영상신호 특징을 비교 분석하여 사용자가 시스템 제어 권한을 획득하는 단계로 구성된 손뼉 소리 및 제스처 영상을 이용한 멀티 모달 명령어의 시작점 판단 및 제어 권한 획득 방법
3 3
청구항2에 있어서, 상기 마이크 또는 스테레오 마이크로 검출한 손뼉소리에 포함된 배경 잡음을 제거하여 손뼉 소리의 끝점 검출 성능 향상시키기 위하여 단구간 에너지와 영교차율을 이용한 시간 영역에서의 끝점 검출 방법, 주파수 스펙트럼을 이용한 끝점 검출 방법, MFB 기반의 끝점 검출 방법, 소리 대역을 개별 대역으로 세분화하고 분할된 대역별로 스펙트럼을 분석하는 스펙트럼 차감법, 대역 에너지를 이용한 방법, FFT 스펙트럼 및 멜-스펙트럼 기반의 엔트로피를 이용한 끝점 검출 방법을 이용하여 배경잡음을 제거하는 단계를 더 포함한 손뼉 소리 및 제스처 영상을 이용한 멀티 모달 명령어의 시작점 판단 및 제어 권한 획득 방법
4 4
청구항2에 있어서, 상기 제스처 영상신호의 특징을 추출하는 단계는 MEI, MHI, 로스 커틀러 방법 및 카드보드 모델을 사용하여 이루어짐을 특징으로 하는 손뼉 소리 및 제스처 영상을 이용한 멀티 모달 명령어의 시작점 판단 및 제어 권한 획득 방법
5 5
청구항2에 있어서, 상기 제스처 영상신호를 인식하는 단계에서는 광학적 마커를 신체의 중요 부위에 부착하고 카메라로 입력된 제스처 영상신호로부터 이 마커들의 궤적을 추적하여 동작을 인식하는 방법, 신체의 특징 점을 추출하여 그 특징 점의 운동을 시간에 대한 영상신호로 구별하여 인식하는 방법, 인체의 형상 모델을 이용하는 방법 및 인체의 전체적인 모습을 여러 가지 매개변수를 이용하여 표현하고, 그 변화를 해석하여 동작을 인식하는 방법을 사용함을 특징으로 하는 손뼉 소리 및 제스처 영상을 이용한 멀티 모달 명령어의 시작점 판단 및 제어 권한 획득 방법
6 6
청구항2에 있어서, 상기 손뼉제스처 영상신호를 인식하는 단계에서는 손뼉 제스처 시에 손 제스처 영상을 인식하기 위하여 기본적으로 다차원으로 손 영상신호를 비교 인식하는 단계; 손, 팔의 움직임의 형상을 비교 분석하는 단계; 및 손 영상신호를 추출하고, 다차원 휴먼 모델의 재구성에 의한 팔의 다차원 형상 움직임을 추적 및 분석하는 단계를 구성됨을 특징으로 하는 손뼉 소리 및 제스처 영상을 이용한 멀티 모달 명령어의 시작점 판단 및 제어 권한 획득 방법
7 7
청구항2에 있어서, 상기 손뼉소리 및 손뼉 제스처 영상신호로부터 특징을 추출하는 단계에서는 사용자가 1회 또는 n회 이상 손뼉치기를 수행한 경우에 각각의 손뼉 치기할 때 발생하는 소리 및 영상신호를 멀티모달 방식으로 인식에 사용함을 특징으로 하는 손뼉 소리 및 제스처 영상을 이용한 멀티 모달 명령어의 시작점 판단 및 제어 권한 획득 방법
지정국 정보가 없습니다
패밀리정보가 없습니다
국가 R&D 정보가 없습니다.