| 1 |
1
사용자에게 착용된 깊이 카메라에 의해 촬영되는 손의 제 1 시퀀스 영상을 획득하는 단계;상기 획득한 제 1 시퀀스 영상 내 복수의 프레임 각각의 손에 복수의 복셀(voxel)로 나뉘어진 사각 큐브(rectangular cube)를 매핑하는 단계;상기 복수의 프레임 각각에 대해, 상기 사각 큐브를 구성하는 복수의 복셀들의 정적 복셀 특징(static voxel feature)을 추출하고, 추출된 정적 복셀 특징을 인코딩하여 제 1 LSP 특징(layer shape pattern feature)을 획득하는 단계; 및상기 제 1 LSP 특징을 랜덤 포레스트(random forest)에 입력하여, 상기 제 1 시퀀스 영상에서 손의 홀딩(holding) 제스쳐에 대응하는 물체의 종류와 손의 조작(manipulation) 제스쳐에 대응하는 조작의 종류를 판단하는 단계를 포함하고,상기 랜덤 포레스트는, 홀딩 제스쳐에 대응하는 물체의 종류 및 조작 제스쳐에 대응하는 조작의 종류를 알고 있는 손의 제 2 시퀀스 영상의 복수의 프레임 각각으로부터 획득된 제 2 LSP 특징에 기초하여 구성된 것을 특징으로 하는, 제스쳐 감지 장치에 의한 제스쳐 감지 방법
|
| 2 |
2
제1항에 있어서,상기 사각 큐브를 매핑하는 단계는,상기 복수의 프레임 각각의 손을 구성하는 복수의 3차원 픽셀들을 내부에 포함하도록 상기 사각 큐브를 손에 매핑하는 단계를 포함하는 것을 특징으로 하는 제스쳐 감지 방법
|
| 3 |
3
제1항에 있어서,상기 정적 복셀 특징은,상기 복수의 복셀들 각각의 내부에 포함된 상기 손의 3차원 픽셀들의 개수를 엘리먼트로 포함하는 것을 특징으로 하는 제스쳐 감지 방법
|
| 4 |
4
제3항에 있어서,상기 제스쳐 감지 방법은,상기 사각 큐브를 구성하는 복수의 복셀 각각의 내부에 포함된 상기 손의 3차원 픽셀들의 개수를 정규화(normalization)하는 단계를 더 포함하는 것을 특징으로 하는 제스쳐 감지 방법
|
| 5 |
5
제1항에 있어서,상기 제 1 LSP 특징은,상기 사각 큐브를 구성하는 복수의 복셀 플레인(voxel plane) 각각의 내부에 3차원 픽셀들이 포함된 정도를 나타내는 것을 특징으로 하는 제스쳐 감지 방법
|
| 6 |
6
제5항에 있어서,상기 제 1 LSP 특징을 획득하는 단계는,상기 획득한 제 1 시퀀스 영상 내 복수의 프레임 각각에서 손의 손바닥의 지향(orientation) 방향을 결정하는 단계;상기 제 1 시퀀스 영상 내 복수의 프레임 각각에서의 소정 지점을 원점으로 하고, 상기 결정된 지향 방향에 따라 로컬 좌표의 각 축(axis)의 방향을 결정하는 단계; 및상기 복수의 복셀 플레인에 대해 상기 로컬 좌표 상에서의 인덱스를 매핑하는 단계를 포함하는 것을 특징으로 하는 제스쳐 감지 방법
|
| 7 |
7
제5항에 있어서,로컬 좌표의 제 1 축 상의 어느 하나의 복셀 플레인에 대한 LSP 엘리먼트는,상기 어느 하나의 복셀 플레인이 제 2 축 또는 제 3 축을 따라 n개의 층으로 구분되어 있는 경우, 각 층의 복셀 내의 3차원 픽셀의 밀도에 대응하여 상기 n개의 층 각각에 할당된 값이 나열된 값을 포함하는 것을 특징으로 하는 제스쳐 감지 방법
|
| 8 |
8
제7항에 있어서,상기 n개의 층 각각에 할당된 값을 나열할 때, 원점으로부터 가장 멀리 떨어진 층에 할당된 값은 가장 큰 자릿수(positional number)를 갖고, 상기 원점과 가장 가까운 층에 할당된 값은 가장 작은 자릿수를 갖도록 나열되는 것을 특징으로 하는 제스쳐 감지 방법
|
| 9 |
9
제1항에 있어서,상기 제스쳐 감지 방법은,상기 랜덤 포레스트를 구성하는 단계를 더 포함하고,상기 랜덤 포레스트를 구성하는 단계는,상기 랜덤 포레스트의 트리 내 최상위 층의 스플릿 노드(split node)의 분할 함수(split function)를 정적(static) 함수로 결정하고, 상기 최상위 층의 스플릿 노드의 분할 함수의 파라미터를 최적화하는 단계; 및상기 최상위 층의 스플릿 노드에서 나뉘어진 학습 데이터 세트를 입력받는 하위층의 스플릿 노드에 대해서는, 상기 학습 데이터 세트 중 동일한 홀딩 제스쳐 라벨로 라벨링된 데이터의 가장 큰 확률 두 번째로 큰 확률 사이의 차이가 임계값보다 큰 경우, 분할 함수를 동적(dynamic) 함수로 결정하고, 상기 차이가 임계값 이하인 경우, 분할 함수를 정적 함수로 결정하는 단계를 포함하는 것을 특징으로 하는 제스쳐 감지 방법
|
| 10 |
10
제9항에 있어서,상기 랜덤 포레스트를 구성하는 단계는,상기 하위층의 스플릿 노드의 분할 함수가 동적 함수로 결정된 경우, 상기 하위층의 스플릿 노드의 하위층에 위치하는 모든 스플릿 노드에 대해서는 분할 함수를 동적 함수로 결정하는 단계를 포함하는 것을 특징으로 하는 제스쳐 감지 방법
|
| 11 |
11
제9항에 있어서,상기 정적 함수는, 어느 하나의 프레임에서 획득된 LSP 특징에 포함된 LSP 엘리먼트를 나타내고,상기 동적 함수는, 어느 하나의 프레임에서 획득된 LSP 특징에 포함된 LSP 엘리먼트와 다른 하나의 프레임에서 획득된 LSP 특징에 포함된 LSP 엘리먼트의 차이를 나타내는 것을 특징으로 하는 제스쳐 감지 방법
|
| 12 |
12
제1항에 있어서,상기 판단하는 단계는,상기 랜덤 포레스트의 복수의 트리 각각에서 결정된 물체의 종류와 조작의 종류의 확률의 평균과 기 설정된 임계 값을 비교하여, 상기 홀딩 제스쳐에 대응하는 물체의 종류 및 조작 제스쳐에 대응하는 조작의 종류를 판단하는 단계를 포함하는 것을 특징으로 하는 제스쳐 감지 방법
|
| 13 |
13
하드웨어와 결합되어 제1항 내지 제12항 중 어느 하나의 항의 제스쳐 감지 방법을 실행시키기 위하여 매체에 저장된 컴퓨터 프로그램
|
| 14 |
14
사용자에게 착용된 깊이 카메라에 의해 촬영되는 손의 제 1 시퀀스 영상을 획득하는 영상 획득부;상기 획득한 제 1 시퀀스 영상 내 복수의 프레임 각각의 손에 복수의 복셀로 나뉘어진 사각 큐브를 매핑하는 영상 처리부; 상기 복수의 프레임 각각에 대해, 상기 사각 큐브를 구성하는 복수의 복셀들의 정적 복셀 특징을 추출하고, 추출된 정적 복셀 특징을 인코딩하여 제 1 LSP 특징을 획득하는 특징 추출부; 및상기 제 1 LSP 특징을 랜덤 포레스트에 입력하여, 상기 제 1 시퀀스 영상에서 손의 홀딩 제스쳐에 대응하는 물체의 종류와 해당 물체에 대한 조작의 종류를 판단하는 판단부를 포함하고,상기 랜덤 포레스트는, 홀딩 제스쳐에 대응하는 물체의 종류 및 조작 제스쳐에 대응하는 조작의 종류를 알고 있는 손의 제 2 시퀀스 영상의 복수의 프레임 각각으로부터 획득된 제 2 LSP 특징에 기초하여 구성된 것을 특징으로 하는 제스쳐 감지 장치
|
