| 1 |
1
연속하는 복수개의 프레임으로 구성되는 영상을 획득하는 영상 획득부; 상기 영상에서 컬러 기반 방식 및 깊이 기반 방식을 동시에 이용하여 사용자의 지정된 손의 위치를 감지 및 추적하는 손 추적부; 상기 손 추적부에서 추적한 상기 손의 위치 정보를 분석하고, 분석된 상기 손의 위치 변화에 대해 모션 그래디언트(motion gradient)를 계산하고, 계산된 모션 그래디언트가 기설정된 상한값 이상이거나, 기설정된 하한값 이하이면, 상기 사용자의 제스처가 상기 사용자에 의해 의도된 것으로 판별하는 제스처 판단부; 상기 손의 위치 변화의 특징을 기설정된 방식으로 추출하는 특징 추출부; 복수개의 제스처 템플릿이 저장되는 사용자 프로파일 저장부; 추출된 상기 특징으로부터 상기 제스처의 패턴을 인식하고, 인식된 상기 패턴을 사용자 행동 프로파일로 생성하며, 상기 사용자 프로파일 저장부에 저장된 상기 복수개의 제스처 템플릿 중 상기 사용자 행동 프로파일에 대응하는 제스처 템플릿을 검색하여, 인식된 상기 패턴을 검색된 제스처 탬플릿에 적용함으로써 상기 제스처를 인식하는 인식 분류부; 및 인식된 제스처를 대응하는 사용자 명령으로 변환하는 명령 변환부; 를 포함하는 제스처 인식 장치
|
| 2 |
2
제1 항에 있어서, 상기 영상 획득부는 RGB-D 카메라를 이용하여 컬러 영상과 깊이 영상을 병용하여 획득하는 것을 특징으로 하는 제스처 인식 장치
|
| 3 |
3
제1 항에 있어서, 상기 손 추적부는 상기 컬러 기반 방식으로 Lab 색 공간의 컬러 벡터에 대해 국부 이진 패턴(Local binary pattern : LBP)을 이용하여 손을 검출하고, 상기 깊이 기반 방식으로 기계 학습에 의해 감지되는 손을 조건부 확률을 이용하여 검출하며, 검출된 상기 사용자의 손을 CAMSHIFT 알고리즘에 따라 추적하는 것을 특징으로 하는 제스처 인식 장치
|
| 4 |
4
삭제
|
| 5 |
5
제1 항에 있어서, 상기 특징 추출부는 상기 특징으로 상기 손의 위치 변화의 속도를 추출하는 것을 특징으로 하는 제스처 인식 장치
|
| 6 |
6
제1 항에 있어서, 상기 인식 분류부는 동적 시간 교정법(Dynamic Time Warping : DTW)을 이용하여 상기 제스처의 패턴을 인식하는 것을 특징으로 하는 제스처 인식 장치
|
| 7 |
7
제1 항에 있어서, 상기 인식 분류부는 상기 사용자 행동 프로파일에 대응하는 제스처 템플릿이 검색되지 않으면, 칼만 필터로 상기 사용자 행동 프로파일을 필터링하여 새로운 제스처 템플릿을 생성하고, 생성된 상기 제스처 템플릿을 사용자 프로파일 저장부에 저장하는 것을 특징으로 하는 제스처 인식 장치
|
| 8 |
8
제1 항에 있어서, 상기 제스처 인식 장치는 상기 손 검출부에서 상기 사용자의 손이 검출되지 않거나, 상기 제스처 판단부에서 상기 제스처가 상기 사용자에 의해 의도되지 않은 것으로 판단되는 경우 및 상기 인식 분류부에서 상기 제스처를 인식한 경우 중 적어도 하나가 발생하면, 사용자가 시각, 청각 및 촉각 중 적어도 하나로 인지할 수 있도록 피드백을 발생하는 피드백 제어부; 를 더 포함하는 것을 특징으로 하는 제스처 인식 장치
|
| 9 |
9
영상 획득부, 손 추적부, 제스처 판단부, 특징 추출부, 사용자 프로파일 저장부, 인식 분류부 및 명령 변환부를 포함하는 제스처 인식 장치의 제스처 인식 방법에 있어서, 상기 영상 획득부가 연속하는 복수개의 프레임으로 구성되는 영상을 획득하는 단계; 상기 손 추적부가 상기 영상에서 컬러 기반 방식 및 깊이 기반 방식을 동시에 이용하여 사용자의 지정된 손의 위치를 감지 및 추적하는 단계; 상기 제스처 판단부가 추적된 상기 손의 위치 정보를 분석하고, 분석된 상기 손의 위치 변화를 이용하여 상기 사용자가 제스처를 의도했는지 여부를 판별하는 단계; 상기 특징 추출부가 상기 손의 위치 변화의 특징을 기설정된 방식으로 추출하는 단계; 상기 인식 분류부가 추출된 상기 특징으로부터 상기 제스처의 패턴을 인식하는 단계; 상기 인식 분류부가, 인식된 상기 패턴을 사용자 행동 프로파일로 생성하고, 상기 사용자 프로파일 저장부에 저장된 상기 복수개의 제스처 템플릿 중 상기 사용자 행동 프로파일에 대응하는 제스처 템플릿을 검색하여, 인식된 상기 패턴을 검색된 제스처 탬플릿에 적용함으로써 상기 제스처를 인식하는 단계; 및 상기 명령 변환부가 인식된 제스처를 대응하는 사용자 명령으로 변환하는 단계; 를 포함하고, 상기 제스처를 의도했는지 여부를 판별하는 단계는 추적되는 상기 손의 위치 변화에 대해 모션 그래디언트(motion gradient)를 계산하는 단계; 및 계산된 모션 그래디언트가 기설정된 상한값 이상이거나, 기설정된 하한값 이하이면, 상기 제스처가 상기 사용자에 의해 의도된 것으로 판별하는 단계; 를 포함하는 것을 특징으로 하는 제스처 인식 방법
|
| 10 |
10
제9 항에 있어서, 상기 손의 위치를 감지 및 추적하는 단계는 상기 컬러 기반 방식으로 Lab 색 공간의 컬러 벡터에 대해 국부 이진 패턴(Local binary pattern : LBP)을 이용하여 손을 검출하는 단계; 상기 깊이 기반 방식으로 기계 학습에 의해 감지되는 손을 조건부 확률을 이용하여 검출하는 단계; 및 검출된 상기 사용자의 손을 CAMSHIFT 알고리즘에 따라 추적하는 단계; 를 포함하는 것을 특징으로 하는 제스처 인식 방법
|
| 11 |
11
삭제
|
| 12 |
12
제9 항에 있어서, 상기 사용자 행동 프로파일로 생성하는 단계는 동적 시간 교정법(Dynamic Time Warping : DTW)을 이용하여 상기 제스처의 패턴을 인식하는 것을 특징으로 하는 제스처 인식 방법
|
| 13 |
13
제9 항에 있어서, 상기 제스처를 인식하는 단계는 인식된 상기 패턴을 상기 사용자 행동 프로파일로 생성하는 단계; 상기 사용자 행동 프로파일에 대응하는 상기 제스처 템플릿을 검색하는 단계; 검색된 상기 제스처 탬플릿에 인식된 상기 패턴을 적용하여 상기 제스처를 인식하는 단계; 상기 사용자 행동 프로파일에 대응하는 상기 제스처 템플릿이 검색되지 않으면, 상기 사용자 행동 프로파일을 칼만 필터로 필터링하여, 새로운 제스처 템플릿을 생성하는 단계; 및 생성된 제스처 탬플릿을 상기 사용자 프로파일 저장부에 저장하는 단계; 를 포함하는 것을 특징으로 하는 제스처 인식 방법
|
| 14 |
14
제9 항에 있어서, 상기 제스처 인식 방법은 상기 제스처 인식 장치가 피드백 제어부를 더 구비하고, 상기 피드백 제어부가 상기 손 검출부에서 상기 사용자의 손이 검출되지 않거나, 상기 제스처 판단부에서 상기 제스처가 상기 사용자에 의해 의도되지 않은 것으로 판단되는 경우 및 상기 인식 분류부에서 상기 제스처를 인식한 경우 중 적어도 하나가 발생하면, 사용자가 시각, 청각 및 촉각 중 적어도 하나로 인지할 수 있도록 피드백을 발생하는 단계; 를 더 포함하는 것을 특징으로 하는 제스처 인식 방법
|
