| 1 |
1
깊이 정보를 획득하기 위한 깊이 카메라 모듈(110); 가상 키보드를 평구조부(120)에 투사하기 위한 빔 프로젝터 영상 송출 모듈(130); 타건 위치 인식용 가상 키보드 영상 데이터, 키 데이터 및 타건음 데이터가 내재된 DB 모듈(140); 타건음을 출력하기 위한 스피커 모듈(150)이 구비되며, 상기 스피커 모듈(150)은 유선 연결을 최소화하고 공간 활용도를 증대시키기 위하여 근거리 무선 통신 모듈(160)을 장착하는 것을 특징으로 하며, 상기 근거리 무선 통신 모듈(160)은 저전력 기반의 근거리 무선 기술 표준인 블루투스(bluetooth) 통신 방식을 이용하며, 가상 터치 센서의 상세 구성은, 터치 센서 영역을 활용하여 터치 센서 영역에 대한 깊이 영상을 얻는 깊이 영상 촬영 모듈(11); 상기 깊이 영상 촬영 모듈(11)이 촬영한 터치 센서 영역에 대한 영상의 공간 좌표 왜곡을 보정하는 공간 좌표 보정부(12); 상기 공간 좌표 보정부(12)에서 공간 좌표 왜곡이 보정된 깊이 영상에서 터치 센서 영역의 대표 깊이 값을 계산하는 깊이 값 계산부(13); 터치 센서 영역의 대표 깊이 값과 다른 깊이 값을 갖는 깊이 영상의 화소들을 순차적으로 그룹화하고 라벨링(labeling)하여 순서대로 객체 수만큼의 크기 값으로 저장하여 객체를 검출하는 객체 검출부(14); 검출된 객체에 대한 포인터를 추출하는 포인터 추출부(15); 추출된 포인터 위치의 깊이 값을 기준으로 터치 센서 영역에 대한 터치 여부를 판단하는 터치 판단부(16)로 구성되는 가상 키보드 시스템의 깊이 영상 처리 기반의 가상 키보드 조작 방법에 있어서,깊이 카메라 촬영 및 깊이 영상 데이터 획득을 수행할 가상 키보드 기반체인 평면체 또는 완만한 곡면체의 평구조부를 선정하고 깊이 영상 촬영을 시작하는 단계(S100);깊이 영상 촬영 모듈(11)이 촬영한 터치 센서 영역에 대한 영상의 공간 좌표 왜곡을 보정하는 공간 좌표를 보정하는 단계; 상기 깊이 영상 촬영 모듈(11)이 촬영한 터치 센서 영역에 대한 영상의 공간 좌표 왜곡 보정은, 수식(1) 수식(2) 상기 수식(1)과 수식(2)를 이용하여 보정된 변환 후 절대 좌표를 구할 수 있고, 여기서, x(수평)와 y(수직)는 변환 전 좌표; X(수평)와 Y(수직)는 변환 후 좌표; Hx(폭)과 Vyo, Vy1 (높이)은 변환 전 터치 센서 영역; HX(폭)와 VY(높이)는 변환 후 터치 센서 영역; x0(수평)와 y0(수직)는 보정 오프셋이며, 상기 S100 단계에서 선정된 평구조부에 가상 키보드 영상을 투사하여 생성하는 단계(S200); 상기 S200 단계가 완료되면 평구조부에 투사 및 생성된 가상 키보드 영상에서 가상 키보드 타건 영역 배경 데이터를 추출하는 단계(S210); 상기 S200 단계에서 투사 및 생성된 가상 키보드 영상과 가상 키보드 조작자 손 사이의 변위에 대한 깊이 정보를 취득하기 위하여 깊이 카메라로 가상 키보드 조작자의 손을 인식하는 객체 인식 단계(S300); 상기 S300 단계에서 객체 인식 완료된 가상 키보드 조작자 손이 가상 키보드 영상의 어느 위치를 터치하였는지 깊이 카메라로 타건 위치를 검출하는 단계(S400); 상기 S400 단계에서 검출된 타건 위치를 깊이 정보로 변환하는 단계(S500); 상기 S500 단계에서 깊이 정보로 변환 처리된 타건 위치와 DB 모듈 상에 내재된 키 데이터를 확인 및 일치시키는 과정인, 키 데이터 동기화 단계(S510);상기 키 데이터가 동기화(S510)되지 않는 경우, 다시 상기 타건 위치검출단계(S400)로 이동하는 단계; 상기 S510 단계에서 타건 위치에 대한 깊이 정보와 키 데이터가 동기화 된 코드(code)를 DB 모듈에 전송하는 단계(S600); 상기 S600 단계에서 전송된 코드를 DB 모듈 상에 내재된 해당 입력 키로 선택 및 추출하는 단계(S610);상기 DB 모듈내 입력키 추출(S610)되지 않는 경우, 다시 상기 타건 위치검출단계(S400)로 이동하는 단계; 상기 S610 단계에서 추출된 입력 키를 제어 대상 컴퓨터로 전송하는 단계(S700)로 구성되며,영상의 형상 및 크기는 실제 키보드와 동일한 형상 및 크기로 출력되며,세계 각국의 언어를 지원하는 자판 배열 형상으로 영상 출력 가능하도록 설정되며, 가상 키보드의 키를 타건하는 과정에서 청각적 효과를 제공하기 위하여 타건음이 출력되는 것을 특징으로 하는 깊이 영상 처리 기반의 가상 키보드 조작 방법
|
