맞춤기술찾기

이전대상기술

손가락 동작 인식을 이용한 키보드 입력 시스템 및 키보드 입력 방법

  • 기술번호 : KST2019011989
  • 담당센터 : 서울동부기술혁신센터
  • 전화번호 : 02-2155-3662
요약, Int. CL, CPC, 출원번호/일자, 출원인, 등록번호/일자, 공개번호/일자, 공고번호/일자, 국제출원번호/일자, 국제공개번호/일자, 우선권정보, 법적상태, 심사진행상태, 심판사항, 구분, 원출원번호/일자, 관련 출원번호, 기술이전 희망, 심사청구여부/일자, 심사청구항수의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 서지정보 표입니다.
요약 손가락 동작 인식을 이용한 키보드 입력 시스템 및 키보드 입력 방법이 개시된다. 본 발명의 실시예에 따른 키보드 입력 시스템은 영상 촬영부에 의해 획득된 영상에 글쇠들이 배열된 가상 키보드를 겹쳐서 표시하도록 구성되는 가상 키보드 표시부; 및 영상에서 인식된 사용자의 손가락 동작을 기반으로 가상 키보드의 글쇠를 출력하도록 구성되는 가상 키보드 입력부를 포함한다. 가상 키보드 입력부는 영상에서 사용자의 손가락 동작을 인식하도록 구성되는 손가락 인식부; 손가락 동작이 설정된 클릭 제스쳐에 해당하는지 판단하도록 구성되는 클릭 제스쳐 판단부; 및 클릭 제스쳐가 발생한 때에 사용자의 설정된 손가락 위치와 중첩되는 글쇠를 결정하도록 구성되는 글쇠 출력부를 포함하다. 클릭 제스쳐는 사용자의 적어도 두 손가락들 간의 상호 작용을 포함할 수 있다.
Int. CL G06F 3/01 (2006.01.01) G06F 3/00 (2006.01.01) G06F 3/0487 (2013.01.01) G06T 19/00 (2011.01.01) G06K 9/00 (2006.01.01)
CPC
출원번호/일자 1020180073217 (2018.06.26)
출원인 서울대학교산학협력단
등록번호/일자
공개번호/일자 10-2019-0001559 (2019.01.04) 문서열기
공고번호/일자 문서열기
국제출원번호/일자
국제공개번호/일자
우선권정보 대한민국  |   1020170080458   |   2017.06.26
법적상태 등록
심사진행상태 수리
심판사항
구분 신규
원출원번호/일자
관련 출원번호 1020200121775;
심사청구여부/일자 Y (2018.06.26)
심사청구항수 17

출원인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 출원인 표입니다.
번호 이름 국적 주소
1 서울대학교산학협력단 대한민국 서울특별시 관악구

발명자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 발명자 표입니다.
번호 이름 국적 주소
1 이혁재 대한민국 경기도 성남시 분당구
2 이태호 대한민국 경기도 안양시 만안구

대리인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 대리인 표입니다.
번호 이름 국적 주소
1 권혁수 대한민국 서울특별시 강남구 언주로 ***, *층(삼일빌딩, 역삼동)(KS고려국제특허법률사무소)
2 송윤호 대한민국 서울특별시 강남구 언주로 *** (역삼동) *층(삼일빌딩)(케이에스고려국제특허법률사무소)

최종권리자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 최종권리자 표입니다.
번호 이름 국적 주소
1 서울대학교 산학협력단 서울특별시 관악구
번호, 서류명, 접수/발송일자, 처리상태, 접수/발송일자의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 행정처리 표입니다.
번호 서류명 접수/발송일자 처리상태 접수/발송번호
1 [특허출원]특허출원서
[Patent Application] Patent Application
2018.06.26 수리 (Accepted) 1-1-2018-0625080-04
2 출원인정보변경(경정)신고서
Notification of change of applicant's information
2019.05.13 수리 (Accepted) 4-1-2019-5093546-10
3 출원인정보변경(경정)신고서
Notification of change of applicant's information
2019.05.23 수리 (Accepted) 4-1-2019-5101798-31
4 선행기술조사의뢰서
Request for Prior Art Search
2019.06.17 수리 (Accepted) 9-1-9999-9999999-89
5 출원인정보변경(경정)신고서
Notification of change of applicant's information
2019.08.02 수리 (Accepted) 4-1-2019-5154561-59
6 선행기술조사보고서
Report of Prior Art Search
2019.08.02 발송처리완료 (Completion of Transmission) 9-6-2019-0106498-49
7 의견제출통지서
Notification of reason for refusal
2019.10.02 발송처리완료 (Completion of Transmission) 9-5-2019-0716587-22
8 [지정기간연장]기간연장(단축, 경과구제)신청서
[Designated Period Extension] Application of Period Extension(Reduction, Progress relief)
2019.12.02 수리 (Accepted) 1-1-2019-1241549-77
9 [지정기간연장]기간연장(단축, 경과구제)신청서
[Designated Period Extension] Application of Period Extension(Reduction, Progress relief)
2020.01.02 수리 (Accepted) 1-1-2020-0001959-11
10 [명세서등 보정]보정서
[Amendment to Description, etc.] Amendment
2020.02.03 보정승인간주 (Regarded as an acceptance of amendment) 1-1-2020-0112845-85
11 [거절이유 등 통지에 따른 의견]의견(답변, 소명)서
[Opinion according to the Notification of Reasons for Refusal] Written Opinion(Written Reply, Written Substantiation)
2020.02.03 수리 (Accepted) 1-1-2020-0112844-39
12 거절결정서
Decision to Refuse a Patent
2020.06.10 발송처리완료 (Completion of Transmission) 9-5-2020-0398141-26
13 [명세서등 보정]보정서(재심사)
Amendment to Description, etc(Reexamination)
2020.07.10 보정승인 (Acceptance of amendment) 1-1-2020-0718909-55
14 [거절이유 등 통지에 따른 의견]의견서·답변서·소명서
2020.07.10 수리 (Accepted) 1-1-2020-0718908-10
15 등록결정서
Decision to Grant Registration
2020.08.10 발송처리완료 (Completion of Transmission) 9-5-2020-0545567-77
16 [분할출원]특허출원서
[Divisional Application] Patent Application
2020.09.21 수리 (Accepted) 1-1-2020-1002989-72
17 출원인정보변경(경정)신고서
Notification of change of applicant's information
2020.11.25 수리 (Accepted) 4-1-2020-5265458-48
번호, 청구항의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 청구항 표입니다.
번호 청구항
1 1
영상 촬영부에 의해 획득된 사용자 손의 영상에 글쇠들이 배열된 가상 키보드를 겹쳐서 표시하도록 구성되는 가상 키보드 표시부; 및상기 영상에서 인식된 사용자의 손가락 동작을 기반으로 상기 가상 키보드의 글쇠를 출력하도록 구성되는 가상 키보드 입력부를 포함하고,상기 가상 키보드 입력부는,상기 영상에서 상기 사용자의 손가락 동작을 인식하도록 구성되는 손가락 인식부;상기 손가락 동작이 설정된 클릭 제스쳐에 해당하는지 판단하도록 구성되는 클릭 제스쳐 판단부; 및상기 클릭 제스쳐가 발생한 때에 상기 사용자의 설정된 손가락 위치와 중첩되는 글쇠를 결정하도록 구성되는 글쇠 출력부를 포함하고,상기 클릭 제스쳐는 상기 사용자의 적어도 두 손가락들 간의 상호 작용을 포함하고,상기 클릭 제스쳐는 상기 사용자의 엄지손가락이 검지손가락에 접촉되는 동작이고, 상기 설정된 손가락 위치는 상기 사용자의 검지손가락의 끝 부분의 위치인, 키보드 입력 시스템
2 2
삭제
3 3
제1항에 있어서,상기 손가락 인식부는,상기 사용자의 손 영역을 포함하는 컨벡스헐(convex hull)을 구하고;상기 사용자의 손가락들 사이의 깊이 정보를 포함하는 컨벡서티 디펙트(convexity defects)를 구하고; 그리고상기 손 영역의 컨벡스헐에서 추출한 경계점들 및 상기 컨벡서티 디펙트를 기준으로 손가락 위치를 추적하도록 구성되는 키보드 입력 시스템
4 4
제3항에 있어서,상기 클릭 제스쳐 판단부는,상기 사용자의 엄지손가락의 손톱 위치를 결정하고;상기 엄지손가락의 손톱 위치와, 상기 사용자의 엄지손가락과 검지손가락 사이의 컨벡서티 디펙트 간의 거리를 산출하고; 그리고상기 엄지손가락의 손톱 위치와, 상기 컨벡서티 디펙트 간의 거리를 기반으로, 상기 클릭 제스쳐를 판단하도록 구성되는 키보드 입력 시스템
5 5
제1항에 있어서,상기 가상 키보드는 복수개의 글쇠 박스들을 포함하고, 상기 글쇠 박스들 중 적어도 하나는 복수개의 레이어로 글쇠들이 배열된 멀티탭 글쇠로 제공되고,상기 가상 키보드 입력부는 상기 사용자의 손가락 동작으로부터 설정된 레이어 제스쳐를 판단하도록 구성되는 레이어 제스쳐 판단부를 더 포함하고,상기 글쇠 출력부는 상기 멀티탭 글쇠 중 상기 레이어 제스쳐에 대응되는 레이어의 글쇠를 결정하도록 구성되는 키보드 입력 시스템
6 6
제5항에 있어서,상기 레이어 제스쳐 판단부는,상기 클릭 제스쳐가 발생한 때에 상기 사용자가 펼친 손가락 개수를 산출하고, 상기 손가락 개수를 기반으로 상기 레이어 제스쳐를 판단하도록 구성되는 키보드 입력 시스템
7 7
제6항에 있어서,상기 레이어 제스쳐 판단부는,상기 사용자가 엄지손가락을 제외한 4개의 손가락 중 검지손가락 만을 펼친 경우, 제1 레이어 제스쳐로 판단하고; 그리고상기 사용자가 엄지손가락을 제외한 4개의 손가락 중 검지손가락 및 중지손가락 만을 펼친 경우, 제2 레이어 제스쳐로 판단하도록 구성되고,상기 글쇠 출력부는,상기 사용자의 손가락 동작이 상기 제1 레이어 제스쳐에 해당하는 경우, 상기 멀티탭 글쇠 중 첫번째 레이어의 글쇠를 출력하고; 그리고상기 사용자의 손가락 동작이 상기 제2 레이어 제스쳐에 해당하는 경우, 상기 멀티탭 글쇠 중 두번째 레이어의 글쇠를 출력하도록 구성되는 키보드 입력 시스템
8 8
제1항에 있어서,상기 가상 키보드 입력부는,상기 사용자의 손가락 동작이 설정된 그랩 제스쳐에 해당하는지 판단하도록 구성되는 그랩 제스쳐 판단부를 더 포함하고,상기 손가락 동작이 그랩 제스쳐에 해당하는 경우, 상기 가상 키보드 표시부는 상기 가상 키보드의 글쇠들을 문자, 숫자 및 기호 중 적어도 둘 이상을 포함하는 복수개의 글쇠 유형들 간에 전환하여 표시하도록 구성되는 키보드 입력 시스템
9 9
제1항에 있어서,소정의 단어들 또는 문장들 내에서의 글쇠들의 출현 빈도, 그리고 상기 단어들 또는 상기 문장들에서 상기 글쇠들 간의 인접 빈도를 기반으로, 상기 가상 키보드의 글쇠 배열을 결정하도록 구성되는 글쇠 배열 결정부를 더 포함하는 키보드 입력 시스템
10 10
제9항에 있어서,상기 글쇠 배열 결정부는,상기 단어들 또는 상기 문장들을 상기 가상 키보드로 입력 시에, 사용자의 손가락 이동 거리, 글쇠 입력 시간 및 멀티탭 글쇠의 연속 입력에 따른 대기 시간을 기반으로 상기 단어들 또는 상기 문장들의 입력 시간을 산출하고, 상기 입력 시간이 최소가 되도록 상기 글쇠들의 배열을 결정하도록 구성되는 키보드 입력 시스템
11 11
영상 촬영부에 의해 획득된 사용자 손의 영상에 글쇠들이 배열된 가상 키보드를 겹쳐서 표시하는 단계; 및상기 영상에서 인식된 사용자의 손가락 동작을 기반으로 상기 가상 키보드의 글쇠를 출력하는 단계를 포함하고,상기 글쇠를 출력하는 단계는,상기 영상에서 상기 사용자의 손가락 동작을 인식하고, 상기 손가락 동작이 설정된 클릭 제스쳐에 해당하는지 판단하는 단계; 및상기 클릭 제스쳐가 발생한 때에 상기 사용자의 설정된 손가락 위치와 중첩되는 글쇠를 결정하는 단계를 포함하고,상기 클릭 제스쳐는 상기 사용자의 적어도 두 손가락들 간의 상호 작용을 포함하고,상기 클릭 제스쳐는 상기 사용자의 엄지손가락이 검지손가락에 접촉되는 동작이고, 상기 설정된 손가락 위치는 상기 사용자의 검지손가락의 끝 부분의 위치인, 키보드 입력 방법
12 12
삭제
13 13
제11항에 있어서,상기 클릭 제스쳐에 해당하는지 판단하는 단계는,상기 사용자의 손 영역을 포함하는 컨벡스헐(convex hull)을 구하는 단계;상기 사용자의 손가락들 사이의 깊이 정보를 포함하는 컨벡서티 디펙트(convexity defects)를 구하는 단계;상기 손 영역의 컨벡스헐에서 추출한 경계점들과, 상기 컨벡서티 디펙트를 기준으로 손가락 위치를 추적하는 단계;추적된 상기 손가락 위치로부터 상기 사용자의 엄지손가락의 손톱 위치를 결정하는 단계;상기 엄지손가락의 손톱 위치와, 엄지손가락과 검지손가락 사이의 컨벡서티 디펙트 간의 거리를 산출하는 단계; 그리고상기 엄지손가락의 손톱 위치와, 엄지손가락과 검지손가락 사이의 컨벡서티 디펙트 간의 거리를 기반으로, 상기 클릭 제스쳐를 판단하는 단계를 포함하는 키보드 입력 방법
14 14
제11항에 있어서,상기 가상 키보드는 복수개의 글쇠 박스들을 포함하고, 상기 글쇠 박스들 중 적어도 하나는 복수개의 레이어로 글쇠들이 배열된 멀티탭 글쇠로 제공되고,상기 키보드 입력 방법은 상기 사용자의 손가락 동작으로부터 설정된 레이어 제스쳐를 판단하는 단계를 더 포함하고,상기 글쇠를 출력하는 단계는, 상기 멀티탭 글쇠 중 상기 레이어 제스쳐에 대응되는 레이어의 글쇠를 결정하는 단계를 포함하는 키보드 입력 방법
15 15
제14항에 있어서,상기 레이어 제스쳐를 판단하는 단계는,상기 클릭 제스쳐가 발생한 때에 상기 사용자가 펼친 손가락 개수를 산출하고, 상기 손가락 개수로부터 상기 레이어 제스쳐를 판단하는 단계를 포함하는 키보드 입력 방법
16 16
제11항에 있어서,상기 사용자의 손가락 동작이 설정된 그랩 제스쳐에 해당하는지 판단하는 단계를 더 포함하고,상기 가상 키보드를 겹쳐서 표시하는 단계는, 상기 손가락 동작이 그랩 제스쳐에 해당하는 경우, 상기 가상 키보드의 글쇠들을 문자, 숫자 및 기호 중 적어도 둘 이상을 포함하는 복수개의 글쇠 유형들 간에 전환하여 표시하는 단계를 포함하는 키보드 입력 방법
17 17
제11항에 있어서,단어들 또는 문장들 내에서의 글쇠들의 빈도 및 상기 단어들 또는 상기 문장들에서 상기 글쇠들 간의 인접 빈도를 기반으로, 상기 가상 키보드의 글쇠 배열을 결정하는 단계를 더 포함하는 키보드 입력 방법
18 18
제17항에 있어서,상기 가상 키보드의 글쇠 배열을 결정하는 단계는,상기 단어들 또는 상기 문장들을 상기 가상 키보드로 입력 시에, 상기 사용자의 글쇠들간 손가락 이동 거리, 글쇠들의 입력 시간 및 멀티탭 글쇠의 연속 입력에 따른 대기 시간을 기반으로 상기 단어들 또는 상기 문장들의 입력 시간을 산출하고, 상기 입력 시간이 최소가 되도록 상기 글쇠들의 배열을 결정하는 키보드 입력 방법
19 19
제11항, 제13항 내지 제18항 중 어느 한 항에 기재된 키보드 입력 방법을 실행하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체
지정국 정보가 없습니다
순번, 패밀리번호, 국가코드, 국가명, 종류의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 패밀리정보 - 패밀리정보 표입니다.
순번 패밀리번호 국가코드 국가명 종류
1 KR1020200112777 KR 대한민국 FAMILY
2 US20200117282 US 미국 FAMILY
3 WO2019004686 WO 세계지적재산권기구(WIPO) FAMILY

DOCDB 패밀리 정보

순번, 패밀리번호, 국가코드, 국가명, 종류의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 패밀리정보 - DOCDB 패밀리 정보 표입니다.
순번 패밀리번호 국가코드 국가명 종류
1 US2020117282 US 미국 DOCDBFAMILY
2 WO2019004686 WO 세계지적재산권기구(WIPO) DOCDBFAMILY
국가 R&D 정보가 없습니다.