| 1 |
1
제어 장치에 의해 수행되는, 사용자의 손 동작을 인식하여 화면에 표시되는 정보를 제어하는 방법으로서,사용자의 손과 손목 위를 포함하는 영상을 취득하는 단계;상기 사용자의 손과 손목 위를 포함하는 영상에서 상기 사용자의 손 영역과 손목 위 영역을 분리하는 단계;상기 사용자의 손 영역과 손목 위 영역이 각각 나타내는 정보에 기초하여 손 모양을 판단하는 단계; 상기 손 모양의 변화에 기초하여 손 동작을 인식하는 단계; 및상기 손 동작에 대응되는 미리 설정된 실행 명령을 수행함으로써 화면에 표시되는 정보를 제어하는 단계를 포함하되,상기 사용자의 손과 손목 위를 포함하는 영상에서 상기 사용자의 손 영역과 손목 위 영역을 분리하는 단계는,학습을 위해 미리 저장된 영상에서, 손과 손목 위 모양의 테두리에 놓인 일련의 포인트들을 샘플링하여 제1 모양 맥락(shape context)을 계산하는 단계;상기 일련의 포인트와 나머지 포인트들의 상대적인 거리를 구하여, 정의된 구역(bin) 내에 얼마나 많은 점들이 분포하는지 제1 로그-폴라 공간(log-polar space)을 구성하여 특징을 추출하는 단계;상기 제1 모양 맥락 정보와 추출된 특징에 기초하여 SVM(Support Vector Machine) 학습 모델을 생성하는 단계;상기 취득한 사용자의 손과 손목 위 영상에서, 사용자의 손과 손목 위 모양의 테두리에 놓인 일련의 포인트들을 샘플링하여 제2 모양 맥락을 계산하는 단계;상기 제2 모양 맥락을 이용하여 제2 로그-폴라 공간(log-polar space)을 구성하여 특징을 추출하는 단계; 및상기 생성된 SVM 학습 모델을 이용하여 상기 제1 로그-폴라 공간과 제2 로그-폴라 공간의 특징을 비교함으로써, 사용자의 손 영역과 손목 위 영역을 실시간으로 분리하는 단계를 포함하고,상기 사용자의 손 영역과 손목 위 영역이 각각 나타내는 정보에 기초하여 손 모양을 판단하는 단계는,상기 사용자의 손 영역을 포함하는 손 영역 경계박스의 가로길이와 세로길이를 비교하여, 상기 사용자의 손이 눕혀져 있는 모양인지 세워져 있는 모양인지를 판단하는 단계를 포함하고,상기 손 영역 경계박스의 가로길이 대비 세로길이의 비율이 일정 임계 값 이상이면 사용자의 손 모양이 세로로 세워져 있는 모양이라고 판단하되, 그 외의 경우에는 사용자의 손 모양이 가로로 누워 있는 모양이라고 판단하는, 사용자의 손 동작을 인식하여 화면에 표시되는 정보를 제어하는 방법
|
| 2 |
2
제1항에 있어서,상기 사용자의 손과 손목 위를 포함하는 영상을 취득하는 단계는,상기 사용자의 손과 손목이 사용자의 시선 하단부에 위치하는 경우에, 상기 사용자의 손과 손목 위를 포함하는 영상을 취득하는 것을 특징으로 하는, 사용자의 손 동작을 인식하여 화면에 표시되는 정보를 제어하는 방법
|
| 3 |
3
삭제
|
| 4 |
4
삭제
|
| 5 |
5
제1항에 있어서, 상기 사용자의 손 모양의 변화에 기초하여 손 동작을 인식하는 단계는,상기 사용자의 손 영역을 포함하는 손 영역 경계박스와 상기 사용자의 손목 위 영역을 포함하는 손목 위 영역 경계박스가 이루는 각도를 계산하여, 상기 사용자의 손 동작이 오른쪽으로 이동하는 동작인지 왼쪽으로 이동하는 동작인지를 판단하는 단계를 포함하는 것을 특징으로 하는, 사용자의 손 동작을 인식하여 화면에 표시되는 정보를 제어하는 방법
|
| 6 |
6
제1항에 있어서,상기 사용자의 손 모양의 변화에 기초하여 손 동작을 인식하는 단계는,상기 사용자의 손 영역 중 손가락 관절 영역 또는 손바닥 영역에, 하나 이상의 포인트를 매칭(matching)시키는 단계; 및상기 매칭된 하나 이상의 포인트의 위치 변화 또는 깊이 변화에 기초하여 손 동작을 인식하는 단계를 포함하는 것을 특징으로 하는, 사용자의 손 동작을 인식하여 화면에 표시되는 정보를 제어하는 방법
|
| 7 |
7
제1항에 있어서,상기 사용자의 손과 손목 위를 포함하는 영상에서, 상기 사용자의 손과 손목 위 부분을 제외한 나머지 배경을 제거하는 단계; 및상기 사용자의 손과 손목의 외곽선을 추출하는 단계를 더 포함하는 것을 특징으로 하는, 사용자의 손 동작을 인식하여 화면에 표시되는 정보를 제어하는 방법
|
| 8 |
8
제1항에 있어서,상기 사용자가 손 동작 정보를 추가적으로 저장하는 단계; 및상기 손 동작 정보에 대응되는 실행 명령을 미리 지정하는 단계를 더 포함하는 것을 특징으로 하는, 사용자의 손 동작을 인식하여 화면에 표시되는 정보를 제어하는 방법
|
| 9 |
9
제1항, 제2항, 제5항 내지 제8항 중 어느 하나의 청구항에 따라 사용자의 손 동작을 인식하여 화면에 표시되는 정보를 제어하는 방법을 실행하기 위한, 컴퓨터로 판독 가능한 기록매체에 저장되는 컴퓨터 프로그램
|
| 10 |
10
사용자의 손 동작을 인식하여 화면에 표시되는 정보를 제어하는 장치로서,사용자의 손과 손목 위를 포함하는 영상을 취득하는, 영상 취득부;상기 사용자의 손과 손목 위를 포함하는 영상에서 상기 사용자의 손 영역과 손목 위 영역을 분리하는, 손 및 손목 위 영역 분리부;상기 사용자의 손 영역과 손목 위 영역이 각각 나타내는 정보에 기초하여 손 모양을 판단하는, 손 모양 판단부;상기 손 모양의 변화에 기초하여 손 동작을 인식하는, 손 동작 인식부; 및상기 손 동작에 대응되는 미리 설정된 실행 명령을 수행함으로써 화면에 표시되는 정보를 제어하는, 정보 제어부를 포함하고,상기 손 및 손목 위 영역 분리부는,학습을 위해 미리 저장된 영상에서, 손 모양의 테두리에 놓인 일련의 포인트들을 샘플링하여 제1 모양 맥락(shape context)을 계산하고,상기 일련의 포인트와 나머지 포인트들의 상대적인 거리를 구하여, 정의된 구역(bin) 내에 얼마나 많은 점들이 분포하는지 제1 로그-폴라 공간(log-polar space)을 구성하여 특징을 추출하고,상기 제1 모양 맥락 정보와 추출된 특징에 기초하여 SVM(Support Vector Machine) 학습 모델을 생성하고,상기 취득한 사용자의 손과 손목 위 영상에서, 사용자의 손과 손목 위 모양의 테두리에 놓인 일련의 포인트들을 샘플링하여 제2 모양 맥락을 계산하고,상기 제2 모양 맥락을 이용하여 제2 로그-폴라 공간(log-polar space)을 구성하여 특징을 추출하고,상기 생성된 SVM 학습 모델을 이용하여 상기 제1 로그-폴라 공간과 제2 로그-폴라 공간의 특징을 비교함으로써, 사용자의 손 영역과 손목 위 영역을 실시간으로 분리하는 것을 특징으로 하고,상기 손 모양 판단부는,상기 사용자의 손 영역을 포함하는 손 영역 경계박스의 가로길이와 세로길이를 비교하여, 상기 사용자의 손이 눕혀져 있는 모양인지 세워져 있는 모양인지를 판단하되,상기 손 영역 경계박스의 가로길이 대비 세로길이의 비율이 일정 임계 값 이상이면 사용자의 손 모양이 세로로 세워져 있는 모양이라고 판단하되, 그 외의 경우에는 사용자의 손 모양이 가로로 누워 있는 모양이라고 판단하는, 사용자의 손 동작을 인식하여 화면에 표시되는 정보를 제어하는 장치
|
| 11 |
11
제10항에 있어서, 상기 영상 취득부는,상기 사용자의 손과 손목이 사용자의 시선 하단부에 위치하는 경우에, 상기 사용자의 손과 손목 위를 포함하는 영상을 취득하는 것을 특징으로 하는, 사용자의 손 동작을 인식하여 화면에 표시되는 정보를 제어하는 장치
|
| 12 |
12
삭제
|
| 13 |
13
삭제
|
| 14 |
14
제10항에 있어서, 상기 손 동작 인식부는,상기 사용자의 손 영역을 포함하는 손 영역 경계박스와 상기 사용자의 손목 위 영역을 포함하는 손목 위 영역 경계박스가 이루는 각도를 계산하여, 상기 사용자의 손 동작이 오른쪽으로 이동하는 동작인지 왼쪽으로 이동하는 동작인지를 판단하는 것을 특징으로 하는, 사용자의 손 동작을 인식하여 화면에 표시되는 정보를 제어하는 장치
|
| 15 |
15
제10항에 있어서, 상기 손 동작 인식부는,상기 사용자의 손 영역 중 손가락 관절 영역 또는 손바닥 영역에, 하나 이상의 포인트를 매칭(matching)시키고,상기 매칭된 하나 이상의 포인트의 위치 변화 또는 깊이 변화에 기초하여 손 동작을 인식하는 것을 특징으로 하는, 사용자의 손 동작을 인식하여 화면에 표시되는 정보를 제어하는 장치
|
| 16 |
16
제10항에 있어서, 상기 장치는,상기 사용자의 손과 손목 위를 포함하는 영상에서, 상기 사용자의 손과 손목 위 부분을 제외한 나머지 배경을 제거하는, 배경 제거부; 및상기 사용자의 손과 손목의 외곽선을 추출하는 외곽선 추출부를 더 포함하는 것을 특징으로 하는, 사용자의 손 동작을 인식하여 화면에 표시되는 정보를 제어하는 장치
|
| 17 |
17
제10항에 있어서, 상기 장치는,상기 사용자가 손 동작 정보를 추가적으로 저장하는, 손 동작 정보 저장부; 및상기 손 동작 정보에 대응되는 실행 명령을 미리 지정하는, 실행 명령 지정부를 더 포함하는 것을 특징으로 하는, 사용자의 손 동작을 인식하여 화면에 표시되는 정보를 제어하는 장치
|
| 18 |
18
제10항, 제11항, 제14항 내지 제17항 중 어느 한 항에 있어서,상기 장치는 헤드 마운티드 디스플레이(Head Mounted Display) 장치 또는 시스루 디스플레이(See-through display) 장치인 것을 특징으로 하는, 사용자의 손 동작을 인식하여 화면에 표시되는 정보를 제어하는 장치
|
