| 1 |
1
사용자의 동작 정보 데이터인 손 종류 정보와 손의 동작 정보를 획득하는 입력부; 상기 입력부를 통해 획득한 사용자의 동작 정보 데이터로부터 사용자의 비우세손 자세를 추정하는 자세 추정부; 상기 자세 추정부를 통해 추정된 사용자의 비우세손 자세에 따른 가상 메뉴를 결정하고, 생성된 가상 메뉴를 표시하는 가상 메뉴 생성부; 사용자의 우세손에 의한 가상 메뉴 선택 및 우세손의 동작 감지에 따른 인터랙션을 수행하는 인터랙션 처리부; 및 상기 입력부를 통해 입력된 사용자의 동작 정보 데이터에 기반하여 가상 메뉴를 비우세손 옆에 표시하고, 수행된 인터랙션 기반의 혼합현실 콘텐츠를 생성하여 출력하는 출력부;를 포함하는 혼합현실에서의 손 자세 기반 가상 메뉴 제어 장치
|
| 2 |
2
제 1항에 있어서, 상기 입력부는, 사용자가 착용하고 있는 디스플레이를 포함하는 혼합현실 웨어러블 디바이스에 포함된 센서인 혼합현실에서의 손 자세 기반 가상 메뉴 제어 장치
|
| 3 |
3
제 1항에 있어서, 상기 입력부는, RGB 카메라, 깊이 센서 중 하나이거나, 추가적으로 관성 센서 등을 포함하는 혼합현실에서의 손 자세 기반 가상 메뉴 제어 장치
|
| 4 |
4
제 1항에 있어서, 상기 자세 추정부는, 상기 입력부에서 획득한 비우세손의 관절의 위치 및 방향 정보, 사용자의 머리 방향 정보를 이용하여, 손 자세를 추정하는 센서의 좌표계를 기준으로 3차원 직육면체 등으로 영역 경계(boundary)를 설정하고, 해당 범위 내에 비우세손이 위치하는지 확인하는 것인 혼합현실에서의 손 자세 기반 가상 메뉴 제어 장치
|
| 5 |
5
제 1항에 있어서, 상기 자세 추정부는, 상기 입력부에서 획득한 비우세손 관절의 3D 위치 및 회전 정보를 이용하여 손가락 끝 각도, 손가락 끝 거리, 인접한 손가락 끝 사이의 각도, 인접한 손가락 끝 간의 거리 등을 특징점(feature)으로 계산하여 손 자세를 분석하는 것인 혼합현실에서의 손 자세 기반 가상 메뉴 제어 장치
|
| 6 |
6
제 5항에 있어서, 상기 손가락 끝 각도는 손바닥 중심에서 손가락 끝 사이의 벡터와 손의 벡터 사잇각인 것인 혼합현실에서의 손 자세 기반 가상 메뉴 제어 장치
|
| 7 |
7
제 5항에 있어서, 상기 손가락 끝 거리는, 손바닥 중심에서 손가락 끝 간의 거리인 것인 혼합현실에서의 손 자세 기반 가상 메뉴 제어 장치
|
| 8 |
8
제 1항에 있어서, 상기 자세 추정부는, 다중 클래스 서포트 벡터 머신(multi class support vector machine; SVM) 분류기(classlfier)를 이용하여 제 5항의 상기 특징점을 분류기의 입력으로 사용하여 비우세손 자세를 분류(classify)하는 것인 혼합현실에서의 손 자세 기반 가상 메뉴 제어 장치
|
| 9 |
9
제 8항에 있어서, 상기 다중 클래스 서포트 벡터 머신(multi class support vector machine; multi class SVM) 분류기(classlfier)는,사전에 저장된 손 자세 데이터에 대하여 생성된 학습 모델을 기반으로 하는 것인 혼합현실에서의 손 자세 기반 가상 메뉴 제어 장치
|
| 10 |
10
제 8항에 있어서, 상기 자세 추정부는, 다중 클래스 서포트 벡터 머신(multi class support vector machine; SVM) 외에도, 나이브 베이즈(naive bayes), 결정 트리(decision tree), 인공 신경망(nerual network) 중 어느 하나를 통해 수행할 수 있는 혼합현실에서의 손 자세 기반 가상 메뉴 제어 장치
|
| 11 |
11
제 8항에 있어서, 상기 자세 추정부는, 손가락의 펼쳐짐 형상에 따라 비우세손의 특징인 자세(posture)를 분류하는 것인 혼합현실에서의 손 자세 기반 가상 메뉴 제어 장치
|
| 12 |
12
제 1항에 있어서, 상기 가상 메뉴 생성부는, 추정된 비우세손 자세에 따른 메뉴 정보를 결정하고, 표시하는 것인 혼합현실에서의 손 자세 기반 가상 메뉴 제어 장치
|
| 13 |
13
제 12항에 있어서, 상기 가상 메뉴 생성부는, t 초간의 비우세손 자세를 모두 저장하여 t 초 동안 가장 많은 손 자세를 현재 프레임에서의 손 자세로 최종 결정하여 가상 메뉴를 표시하는 것인 혼합현실에서의 손 자세 기반 가상 메뉴 제어 장치
|
| 14 |
14
제 1항에 있어서, 상기 인터랙션 처리부는, 우세손의 손가락 끝의 3D 위치와 가상 메뉴의 3D 위치 사이의 거리를 계산하여 일정 거리 이내에 들어오면 가상 메뉴가 선택되도록 설정되는 것인 혼합현실에서의 손 자세 기반 가상 메뉴 제어 장치
|
| 15 |
15
제 14항에 있어서, 상기 가상 메뉴가 선택되는 것은,선택된 메뉴 기능(function)에 맞게 사용자의 인터랙션 기능이 전환되는 것인 혼합현실에서의 손 자세 기반 가상 메뉴 제어 장치
|
| 16 |
16
제 14항에 있어서상기 인터랙션 처리부는,우세손의 동작(gesture) 감지에 의한 인터랙션을 수행하는 것인 혼합현실에서의 손 자세 기반 가상 메뉴 제어 장치
|
| 17 |
17
제 1항에 있어서, 상기 인식된 우세손 정보 및 비우세손 정보가 포함된 사용자의 손 종류 정보를 저장하는 저장부를 더 포함하는 혼합현실에서의 손 자세 기반 가상 메뉴 제어 장치
|
| 18 |
18
사용자의 동작 정보 데이터인 손 종류 정보, 손의 동작 정보를 획득하는 단계; 상기 획득한 사용자의 손 종류 정보로부터 사용자의 비우세손 자세를 추정하는 단계;상기 추정된 사용자의 비우세손 자세에 따른 가상 메뉴를 생성하고, 생성된 가상 메뉴를 표시하는 단계; 및 사용자의 우세손에 의한 가상 메뉴 선택 및 우세손의 동작에 의한 인터랙션을 수행하는 단계;를 포함하는 혼합현실에서의 손 자세 기반 가상 메뉴 제어 방법
|
| 19 |
19
제 18항에 있어서, 상기 비우세손 자세를 추정하는 단계는, 손 자세 추정을 위한 조건을 만족하는지를 판단하는 단계; 상기 판단 단계에서 손 자세 추정을 위한 조건을 만족하면, 손 자세를 분석하는 단계; 및 손 자세를 분류기에 의해 추정하는 단계;그리고 상기 추정된 손 자세에 매칭되는 가상 메뉴를 생성하고, 생성된 가상 메뉴를 표시하는 단계;를 포함하는 혼합현실에서의 손 자세 기반 가상 메뉴 제어 방법
|
| 20 |
20
제 19항에 있어서, 상기 판단 단계에서 손 자세 추정을 위한 조건을 만족하지 않으면, 손 자세를 분석하는 단계; 및 손 자세를 추정하는 단계; 가상 메뉴를 생성하고, 생성된 가상 메뉴를 표시하는 단계;는 포함하지 않고, 우세손의 동작에 따른 인터랙션을 수행하는 단계;를 진행하는 혼합현실에서의 손 자세 기반 가상 메뉴 제어 방법
|
