맞춤기술찾기

이전대상기술

깊이 영상 처리 기반의 가상 키보드 장치 및 조작 방법

  • 기술번호 : KST2017002375
  • 담당센터 : 부산기술혁신센터
  • 전화번호 : 051-606-6561
요약, Int. CL, CPC, 출원번호/일자, 출원인, 등록번호/일자, 공개번호/일자, 공고번호/일자, 국제출원번호/일자, 국제공개번호/일자, 우선권정보, 법적상태, 심사진행상태, 심판사항, 구분, 원출원번호/일자, 관련 출원번호, 기술이전 희망, 심사청구여부/일자, 심사청구항수의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 서지정보 표입니다.
요약 본 발명은 깊이 카메라를 이용하여 가상의 키보드를 생성하고 이를 이용한 키보드 장치 및 조작 방법에 관한 것으로서, 더욱 상세하게는 기존의 물리적 키보드가 한정된 크기에 국한되거나 별도의 휴대 과정이 필요하여 공간적 측면의 제약을 받는 사항과, 사용자에 따라 한정된 터치 스크린 상에서 터치 과정이 원활하게 이루어지지 않거나 입력 오류를 유발하는 제약 사항에 관계없이 깊이 카메라를 이용하여 깊이 정보를 분석함으로써 벽면과 책상 등의 평면체 또는 곡면체 등의 평구조부를 가상 키보드 기반체로 사용하는 기술에 관한 것이다. 본 발명에 따른 깊이 영상 처리 기반의 가상 키보드 장치 및 조작 방법은 깊이 카메라를 조작자가 원하는 위치에 설치하고 벽면 또는 책상과 같은 평면체 또는 완만한 곡면체 등의 평구조부를 가상 키보드 기반체로 하여 객체를 인식시키고 빔 프로젝터와 같은 영상 송출 모듈로 가상의 키보드를 생성한 후, 평구조부에 투사된 키보드의 특정 위치를 터치하면 깊이 카메라가 키보드 터치를 인식하여 DB 모듈에 입력된 키보드 정보 중, 해당 키를 추출하여 스피커 모듈로 타건음을 출력하는 알고리듬이 순차적으로 적용되고 상기한 개별 모듈이 하나의 시스템으로 구성되는 것을 특징으로 한다.
Int. CL G06F 3/03 (2006.01) G06F 3/00 (2006.01)
CPC G06F 3/0304(2013.01) G06F 3/0304(2013.01)
출원번호/일자 1020150083918 (2015.06.15)
출원인 동의대학교 산학협력단
등록번호/일자
공개번호/일자 10-2016-0147326 (2016.12.23) 문서열기
공고번호/일자
국제출원번호/일자
국제공개번호/일자
우선권정보
법적상태 공개
심사진행상태 수리
심판사항
구분 신규
원출원번호/일자
관련 출원번호 1020170103661;
심사청구여부/일자 Y (2015.06.15)
심사청구항수 4

출원인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 출원인 표입니다.
번호 이름 국적 주소
1 동의대학교 산학협력단 대한민국 부산광역시 부산진구

발명자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 발명자 표입니다.
번호 이름 국적 주소
1 권순각 대한민국 부산광역시 부산진구

대리인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 대리인 표입니다.
번호 이름 국적 주소
1 정병홍 대한민국 대전광역시 서구 청사로 ***(둔산동,매그놀리아) 매그놀리아 ***호(베스티안특허법률사무소)

최종권리자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 최종권리자 표입니다.
번호 이름 국적 주소
최종권리자 정보가 없습니다
번호, 서류명, 접수/발송일자, 처리상태, 접수/발송일자의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 행정처리 표입니다.
번호 서류명 접수/발송일자 처리상태 접수/발송번호
1 [특허출원]특허출원서
[Patent Application] Patent Application
2015.06.15 수리 (Accepted) 1-1-2015-0572045-70
2 [출원서등 보정]보정서
[Amendment to Patent Application, etc.] Amendment
2015.06.23 수리 (Accepted) 1-1-2015-0606413-11
3 [출원서등 보정]보정서
[Amendment to Patent Application, etc.] Amendment
2015.10.01 수리 (Accepted) 1-1-2015-0949975-47
4 선행기술조사의뢰서
Request for Prior Art Search
2015.11.10 수리 (Accepted) 9-1-9999-9999999-89
5 선행기술조사보고서
Report of Prior Art Search
2015.12.10 수리 (Accepted) 9-1-2015-0077190-13
6 의견제출통지서
Notification of reason for refusal
2016.09.27 발송처리완료 (Completion of Transmission) 9-5-2016-0691966-99
7 [명세서등 보정]보정서
[Amendment to Description, etc.] Amendment
2016.11.28 보정승인간주 (Regarded as an acceptance of amendment) 1-1-2016-1165867-16
8 [거절이유 등 통지에 따른 의견]의견(답변, 소명)서
[Opinion according to the Notification of Reasons for Refusal] Written Opinion(Written Reply, Written Substantiation)
2016.11.28 수리 (Accepted) 1-1-2016-1165863-23
9 거절결정서
Decision to Refuse a Patent
2017.04.27 발송처리완료 (Completion of Transmission) 9-5-2017-0301613-31
10 [법정기간연장]기간연장(단축, 경과구제)신청서
2017.06.02 수리 (Accepted) 1-1-2017-0530644-15
11 법정기간연장승인서
2017.06.07 발송처리완료 (Completion of Transmission) 1-5-2017-0077245-34
12 [명세서등 보정]보정서(재심사)
Amendment to Description, etc(Reexamination)
2017.07.03 보정각하 (Rejection of amendment) 1-1-2017-0632975-71
13 보정각하결정서
Decision of Rejection for Amendment
2017.07.18 발송처리완료 (Completion of Transmission) 9-5-2017-0498731-84
14 거절결정서
Decision to Refuse a Patent
2017.07.18 발송처리완료 (Completion of Transmission) 9-5-2017-0498734-10
15 [분할출원]특허출원서
[Divisional Application] Patent Application
2017.08.16 수리 (Accepted) 1-1-2017-0789432-38
번호, 청구항의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 청구항 표입니다.
번호 청구항
1 1
깊이 영상 처리 기반의 가상 키보드 장치 및 조작 방법에 있어서 가상 터치 센서의 상세 구성은, 터치 센서 영역을 활용하여 터치 센서 영역에 대한 깊이 영상을 얻는 깊이 영상 촬영 모듈(11); 상기 깊이 영상 촬영 모듈(11)이 촬영한 터치 센서 영역에 대한 영상의 공간 좌표 왜곡을 보정하는 공간 좌표 보정부(12); 상기 공간 좌표 보정부(12)에서 공간 좌표 왜곡이 보정된 깊이 영상에서 터치 센서 영역의 대표 깊이 값을 계산하는 깊이 값 계산부(13); 터치 센서 영역의 대표 깊이 값과 다른 깊이 값을 갖는 깊이 영상의 화소들을 순차적으로 그룹화하고 라벨링하여 순서대로 객체 수만큼의 크기 값으로 저장하여 객체를 검출하는 객체 검출부(14); 검출된 객체에 포인터를 추출하는 포인터 추출부(15); 추출된 포인터 위치의 깊이 값을 기준으로 터치 센서 영역에 대한 터치 여부를 판단하는 터치 판단부(16);가 구비되는 것을 특징으로 하는 깊이 영상 처리 기반의 가상 키보드 장치 및 조작 방법
2 2
제 1 항에 있어서, 상기 가상 터치 센서의 상세 구성에 있어서 공간 좌표의 보정 순서를 다르게 할 수 있으며 변경 순서는, 터치 센서 영역을 촬영하여 터치 센서 영역에 대한 깊이 영상을 얻는 깊이 영상 촬영 모듈(21); 깊이 영상에서 터치 센서 영역의 대표 깊이 값을 계산하는 깊이 값 계산부(22); 터치 센서 영역의 대표 깊이 값과 다른 깊이 값을 갖는 깊이 영상의 화소들을 순차적으로 그룹화하고 라벨링하여 순서대로 객체 수만큼의 크기 값으로 저장하여 객체를 검출하는 객체 검출부(23); 검출된 객체에서 포인터를 추출하는 포인터 추출부(24); 터치 센서 영역에 대한 영상의 공간 좌표 왜곡을 보정하는 공간 좌표 보정부(25); 추출된 포인터 위치의 깊이 값을 기준으로 터치 센서 영역에 대한 터치 여부를 판단하는 터치 판단부(26);로 공간 좌표의 보정 순서가 변경될 수 있는 것을 특징으로 하는 깊이 영상 처리 기반의 가상 키보드 장치 및 조작 방법
3 3
제 2 항에 있어서, 공간 좌표 보정은 절대 공간 좌표가 응용될 경우에는 사용되고 상대 공간 좌표가 응용될 경우에는 사용되지 않아도 되며, 가상 터치 센서로 사용되는 디스플레이 모니터, 스크린, 평평하거나 곡면 형태의 물체 등의 영역에 상, 하, 좌, 우, 좌상, 좌하, 우상, 우하 등의 어느 한 곳에 깊이 영상 촬영 모듈을 한 개 설치하거나 두 곳 이상에 다수 개가 설치될 수 있는 것을 특징으로 하는 깊이 영상 처리 기반의 가상 키보드 장치 및 조작 방법
4 4
제 1 항에 있어서, 상기 깊이 영상 촬영 모듈(11)은 행거, 받침대 등의 외부 거치대 형태, 벽 또는 바닥 내부에 고정식 형태, 탈부착이 자유로운 착탈식 형태, 단말 기기에 부착되는 소켓식 형태 등으로 부착이 가능한 것을 특징으로 하는 깊이 영상 처리 기반의 가상 키보드 장치 및 조작 방법
5 5
제 1 항에 있어서, 상기 터치 센서 영역의 깊이 값 계산부(13)는 상기 깊이 영상 촬영 모듈(11)이 터치 센서 영역을 촬영하여 획득한 터치 센서 영역에 대한 깊이 영상을 받아 특정 지점의 깊이 값을 계산해 주고, 안정적인 영상을 얻기 위하여 특정 개수에 해당되는 화면을 축적할 수 있으며, 화면을 축적한 경우에는 평균값을 계산하여 터치 센서의 각 위치에 대표 깊이 값으로 저장하는 것을 특징으로 하는 깊이 영상 처리 기반의 가상 키보드 장치 및 조작 방법
6 6
제 1 항에 있어서,상기 깊이 영상 촬영 모듈(11)이 촬영한 터치 센서 영역에 대한 영상의 공간 좌표 왜곡 보정은, 수식(1) 수식(2) 상기 수식(1)과 수식(2)를 이용하여 보정된 변환 후 절대 좌표를 구할 수 있고, 여기서, x(수평)와 y(수직)는 변환 전 좌표; X(수평)와 Y(수직)는 변환 후 좌표; Hx(폭)과 Vyo, Vy1 (높이)은 변환 전 터치 센서 영역; HX(폭)와 VY(높이)는 변환 후 터치 센서 영역; x0(수평)와 y0(수직)는 보정 오프셋;인 것을 특징으로 하는 깊이 영상 처리 기반의 가상 키보드 장치 및 조작 방법
7 7
깊이 영상 처리 기반의 가상 키보드 장치 및 조작 방법의 실시 흐름은, 깊이 카메라 촬영 및 깊이 영상 데이터 획득을 수행할 가상 키보드 기반체인 평면체 또는 완만한 곡면체의 평구조부를 선정하고 깊이 영상 촬영을 시작하는 단계(S100); 상기 S100 단계에서 선정된 평구조부에 가상 키보드 영상을 투사하여 생성하는 단계(S200); 상기 S200 단계가 완료되면 평구조부에 투사 및 생성된 가상 키보드 영상에서 가상 키보드 타건 영역 배경 데이터를 추출하는 단계(S210); 상기 S200 단계에서 투사 및 생성된 가상 키보드 영상과 가상 키보드 조작자 손 사이의 변위에 대한 깊이 정보를 취득하기 위하여 깊이 카메라로 가상 키보드 조작자의 손을 인식하는 객체 인식 단계(S300); 상기 S300 단계에서 객체 인식 완료된 가상 키보드 조작자 손이 가상 키보드 영상의 어느 위치를 터치하였는지 깊이 카메라로 타건 위치를 검출하는 단계(S400); 상기 S400 단계에서 검출된 타건 위치를 깊이 정보로 변환하는 단계(S500); 상기 S500에서 깊이 정보로 변환 처리된 타건 위치와 DB 모듈 상에 내재된 키 데이터를 확인 및 일치시키는 과정인, 키 데이터 동기화 단계(S510); 상기 S510 단계에서 타건 위치에 대한 깊이 정보와 키 데이터가 동기화 된 코드(code)를 DB 모듈에 전송하는 단계(S600); 상기 S600 단계에서 전송된 코드를 DB 모듈 상에 내재된 해당 입력 키로 선택 및 추출하는 단계(S610); 상기 S610 단계에서 추출된 입력 키를 제어 대상 컴퓨터로 전송하는 단계(S700)로 구성되는 것을 특징으로 하는 깊이 영상 처리 기반의 가상 키보드 장치 및 조작 방법
8 8
제 7 항에 있어서, 빔 프로젝터 영상 송출 모듈로부터 평구조부에 투사된 가상 키보드의 형상은 가상 키보드 조작자가 실제로 키보드를 타건하는 느낌을 구현하기 위하여 실제 키보드와 동일한 형상 및 크기로 영상 출력되는 것을 특징으로 하는 깊이 영상 처리 기반의 가상 키보드 장치 및 조작 방법
9 9
제 8 항에 있어서, 상기 빔 프로젝터 영상 송출 모듈은 가상 키보드 조작자의 상황에 따라 입력을 위한 가상 키보드의 언어 배열 형태를 취사선택할 수 있는 자유도를 증대시키기 위하여 세계 각국의 언어를 지원하는 자판 배열 형상으로 영상 출력하는 기능을 내재하는 것을 특징으로 하는 깊이 영상 처리 기반의 가상 키보드 장치 및 조작 방법
10 10
제 8 항에 있어서, 가상 키보드의 키를 타건하는 과정에서 청각적 효과를 제공하기 위하여 타건음 출력이 가능하도록 하는 것을 특징으로 하는 깊이 영상 처리 기반의 가상 키보드 장치 및 조작 방법
11 11
깊이 영상 처리 기반의 가상 키보드 장치 및 조작 방법을 구현하기 위한 전체 시스템(100)의 세부적인 구성은, 깊이 정보를 획득하기 위한 깊이 카메라 모듈(110); 가상 키보드를 평구조부(120)에 투사하기 위한 빔 프로젝터 영상 송출 모듈(130); 타건 위치 인식용 가상 키보드에 대한 영상 데이터, 키 데이터 및 타건음 데이터가 내재된 DB 모듈(140); 타건음을 출력하기 위한 스피커 모듈(150)이 구비되는 것을 특징으로 하는 깊이 영상 처리 기반의 가상 키보드 장치 및 조작 방법
12 12
제 11 항에 있어서, 유선 연결을 최소화하고 공간 활용도를 증대시키기 위하여 상기 스피커 모듈(150)에는 근거리 무선 통신 모듈(160)을 장착하는 것을 특징으로 하며, 상기 근거리 무선 통신 모듈(160)은 저전력 기반의 근거리 무선 기술 표준인 블루투스 통신 방식을 이용하는 것을 특징으로 하는 깊이 영상 처리 기반의 가상 키보드 장치 및 조작 방법
지정국 정보가 없습니다
순번, 패밀리번호, 국가코드, 국가명, 종류의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 패밀리정보 - 패밀리정보 표입니다.
순번 패밀리번호 국가코드 국가명 종류
1 KR101808720 KR 대한민국 FAMILY

DOCDB 패밀리 정보

순번, 패밀리번호, 국가코드, 국가명, 종류의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 패밀리정보 - DOCDB 패밀리 정보 표입니다.
순번 패밀리번호 국가코드 국가명 종류
DOCDB 패밀리 정보가 없습니다
순번, 연구부처, 주관기관, 연구사업, 연구과제의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 국가R&D 연구정보 정보 표입니다.
순번 연구부처 주관기관 연구사업 연구과제
1 산업통상자원부-중소기업청 동의대학교 산학협력단 산학연협력 첫걸음 기술개발사업 차세대 관제시스템을 위한 깊이 정보 기반의 터치스크린 기술(중소기업산학협력센터)