| 1 |
1
손 자세 인식 기반 사용자 인터페이스 시스템에 있어서,손 영역을 검출하고, 손목의 위치와 손가락의 끝 위치가 정해지고, 최소 손 영역의 중심점이 손가락 검출을 위해 계산되고, 손가락들의 끝점이 검출되며, 왼손과 오른손 사이 및 엄지, 검지, 중지, 약지 및 소지 사이를 구분하며, 손의 자세와 손가락의 펴진 상태를 판단하고, 최종적으로 손 자세를 인식하는 손 자세 인식부; 및 MPEG-U part 2 표준에 따라서 특징을 가지는 손 자세를 인식하고, 인식된 손 자세를 상호연동 가능한 데이터 포맷으로 표현하기 위해 MPEG-U part 2 표준에 따라서 XML 문서로 파싱하는 MPEG-U XML 생성부;를 포함하되,손 자세 인식부는 검출모듈과 인식모듈을 포함하며,검출모듈은 KINECT에서 적외선을 쏘아 반사되어 돌아오는 시간을 검출 센서에 의해 측정하여 깊이 정보를 획득하고, KINECT로부터 입력 받은 깊이 정보를 Candescent NUI의 오픈 소스를 이용해 손 영역을 검출하고, 검출된 전체 손 영역 중에 최소 손 영역 검출하며, 손목 지점을 찾은 다음으로 손목 지점으로부터 손가락들의 끝 부분까지의 최소 손 영역을 포함하는 최적의 사각형을 계산하며, 거리 변환 알고리즘을 적용하여 최소 손 영역의 중심점을 찾고, Convex Hull 기반의 Convexity Defects 방법을 이용하여 손가락들의 끝 점을 검출하며,상기 인식모듈은 검출된 손과 손가락에 기초하여 오른손과 왼손을 인식하고, 엄지, 검지, 중지, 약지 및 소지를 인식하고, 최소 손 영역이 한 손일 때와 양 손일 때의 상황을 고려하여 손을 인식하며, 만일 양손이라면 위상학적 판단으로 왼쪽에 있는 영역을 왼손, 오른쪽에 있는 영역을 오른손이라 판정하여 인식하되,검출된 손 영역의 개수를 계산하여, 손 영역의 개수가 2개일 때는 손 영역의 중심점이 2개, 손가락 끝점이 10개로 초기화되며, 손 영역의 수가 1개일 때는 손 영역의 중심점이 1개, 손가락 끝점이 5개로 초기화되며,손 영역의 중심점이 C(xc,yc)이고 각 손가락의 끝점이 Fi(xi,yi),(i=0~4)일 때, 각 손가락의 뼈대 Li는 C와 Fi를 연결하는 선을 그려 손의 뼈대가 만들어지며,각 뼈대의 길이 Length_Li 중 두 개의 가장 짧은 뼈대를 찾고, 엄지의 뼈대 후보를 찾아 가능한 엄지의 뼈대 후보 LS1와 LS2를 판정하며, 엄지의 뼈대 후보 중에서 그 길이 값이 임계 값 보다 더 작은 뼈대가 선택되고, 선택된 뼈대가 최적 엄지 뼈대로 판정되거나, 인접 뼈대와의 각도를 이용하여 다른 뼈대와의 각도 값이 임계값 보다 작거나 큰 때에 최적 엄지 뼈대라고 판정되며,엄지의 뼈대의 인식 후에 엄지에 가장 가까운 뼈대 순서로 손가락의 나머지가 검지, 중지, 약지 및 소지의 뼈대로 인식하며, 그 후에, 만일 인식된 손가락의 뼈대를 이용하여 손가락의 끝점이 해당 뼈대에 놓이거나 해당 뼈대에 인접하여 놓이게 되면, 손가락의 끝점은 해당 뼈대의 손가락의 끝점으로 인식되고,손 자세와 각 손가락이 펴져있는지를 판단하여 최종 손 자세가 인식되는 것을 특징으로 하는 손 자세 인식 기반 사용자 인터페이스 시스템
|
| 2 |
2
삭제
|
| 3 |
3
삭제
|
| 4 |
4
삭제
|
| 5 |
5
제 1항에 있어서, 손 자세 인식부는 실시간 응용을 위하여 각 입력 시점에서 새로운 뼈대가 만들어지지 않으며, 검출모듈만 실행되고, 얻어진 최적 사각형이 이전의 최적 사각형의 점과 비교되고, 이동과 회전 변환의 매개변수가 계산되고, 이것을 이전 점에서 생성된 뼈대에 적용하고 뼈대의 생성을 위한 복잡도를 감소시키는 것을 특징으로 하는 손 자세 인식 기반 사용자 인터페이스 시스템
|
| 6 |
6
제 1항에 있어서, 상기 MPEG-U XML 생성부는 MPEG-U part 2에 정의된 스키마 구조에 따른 MPEG-U Part 2 표준에 따라서 XML 문서를 생성하며, 상기 MPEG-U Part 2는 모든 데이터 타입에 대한 스키마 구조를 XSD(XML SCHEMA DEFINITION) 문서로 지원하도록 하고, 만약 사용자가 자신의 인식되어진 손과 손가락을 이용해 가위(Scissors)라는 포즈를 취하게 되면, 가위 타입의 스키마 구조를 이용하여 해당 XML 문서를 생성하는 것을 특징으로 하는 손 자세 인식 기반 사용자 인터페이스 시스템
|
| 7 |
7
손 자세 인식 기반 사용자 인터페이스 방법에 있어서,손 영역을 검출하고, 손목의 위치와 손가락의 끝 위치가 정해지고, 최소 손 영역의 중심점이 손가락 검출을 위해 계산되고, 손가락들의 끝점이 검출되며, 왼손과 오른손 사이 및 엄지, 검지, 중지, 약지 및 소지 사이를 구분하며, 손의 자세와 손가락의 펴진 상태를 판단하고, 최종적으로 손 자세를 인식하는 손 자세 인식 단계; 및 MPEG-U part 2 표준에 따라서 특징을 가지는 손 자세를 인식하고, 인식된 손 자세를 상호연동 가능한 데이터 포맷으로 표현하기 위해 MPEG-U part 2 표준에 따라서 XML 문서로 파싱하는 MPEG-U XML 생성 단계;를 포함하되,손 자세 인식 단계는 검출단계와 인식단계를 포함하며,상기 검출단계는KINECT에서 적외선을 쏘아 반사되어 돌아오는 시간을 검출 센서에 의해 측정하여 깊이 정보를 획득하는 과정, KINECT로부터 입력 받은 깊이 정보를 Candescent NUI의 오픈 소스를 이용해 손 영역을 검출하는 과정,검출된 전체 손 영역 중에 최소 손 영역 검출하는 과정, 손목 지점을 찾고, 손목 지점으로부터 손가락들의 끝 부분까지의 최소 손 영역을 포함하는 최적의 사각형을 계산하는 과정,거리 변환 알고리즘을 적용하여 최소 손 영역의 중심점을 찾는 과정, 및Convex Hull 기반의 Convexity Defects 방법을 이용하여 손가락들의 끝 점을 검출하는 과정을 포함하며,상기 인식단계는 검출된 손과 손가락에 기초하여 오른손과 왼손을 인식하는 과정,엄지, 검지, 중지, 약지 및 소지를 인식하는 과정, 및최소 손 영역이 한 손일 때와 양 손일 때의 상황을 고려하여 손을 인식하며, 만일 양손이라면 위상학적 판단으로 왼쪽에 있는 영역을 왼손, 오른쪽에 있는 영역을 오른손이라 판정하여 인식하는 과정을 포함하되,검출된 손 영역의 개수를 계산하여, 손 영역의 개수가 2개일 때는 손 영역의 중심점이 2개, 손가락 끝점이 10개로 초기화되고, 손 영역의 수가 1개일 때는 손 영역의 중심점이 1개, 손가락 끝점이 5개로 초기화되는 과정,손 영역의 중심점이 C(xc,yc)이고 각 손가락의 끝점이 Fi(xi,yi),(i=0~4)일 때, 각 손가락의 뼈대 Li는 C와 Fi를 연결하는 선을 그려 손의 뼈대가 만들어지는 과정,각 뼈대의 길이 Length_Li 중 두 개의 가장 짧은 뼈대를 찾고, 엄지의 뼈대 후보를 찾아 가능한 엄지의 뼈대 후보 LS1와 LS2를 판정하며, 엄지의 뼈대 후보 중에서 그 길이 값이 임계 값 보다 더 작은 뼈대가 선택되고, 선택된 뼈대가 최적 엄지 뼈대로 판정되거나, 인접 뼈대와의 각도를 이용하여 다른 뼈대와의 각도 값이 임계값 보다 작거나 큰 때에 최적 엄지 뼈대라고 판정되는 과정,엄지의 뼈대의 인식 후에 엄지에 가장 가까운 뼈대 순서로 손가락의 나머지가 검지, 중지, 약지 및 소지의 뼈대로 인식하는 과정, 그 후에, 만일 인식된 손가락의 뼈대를 이용하여 손가락의 끝점이 해당 뼈대에 놓이거나 해당 뼈대에 인접하여 놓이게 되면, 손가락의 끝점은 해당 뼈대의 손가락의 끝점으로 인식되는 과정, 및손 자세와 각 손가락이 펴져있는지를 판단하여 최종 손 자세가 인식되는 과정을 포함하는 것을 특징으로 하는 손 자세 인식 기반 사용자 인터페이스 방법
|
| 8 |
8
삭제
|
| 9 |
9
삭제
|
| 10 |
10
삭제
|
| 11 |
11
제 7항에 있어서, 상기 손 자세 인식 단계는 실시간 응용을 위하여 각 입력 시점에서 새로운 뼈대가 만들어지지 않으며, 검출모듈만 실행되고, 얻어진 최적 사각형이 이전의 최적 사각형의 점과 비교되고, 이동과 회전 변환의 매개변수가 계산되고, 이것을 이전 점에서 생성된 뼈대에 적용하고 뼈대의 생성을 위한 복잡도를 감소시키는 것을 특징으로 하는 손 자세 인식 기반 사용자 인터페이스 방법
|
| 12 |
12
제 7항에 있어서, 상기 MPEG-U XML 생성 단계는 MPEG-U part 2에 정의된 스키마 구조에 따른 MPEG-U Part 2 표준에 따라서 XML 문서를 생성하는 과정, 상기 MPEG-U Part 2는 모든 데이터 타입에 대한 스키마 구조를 XSD(XML SCHEMA DEFINITION) 문서로 지원하도록 하는 과정, 만약 사용자가 자신의 인식되어진 손과 손가락을 이용해 가위(Scissors)라는 포즈를 취하게 되면, 가위 타입의 스키마 구조를 이용하여 해당 XML 문서를 생성하는 과정을 포함하는 것을 특징으로 하는 손 자세 인식 기반 사용자 인터페이스 방법
|
| 13 |
13
제 7 항, 제 11 항 내지 제 12 항 중 어느 한 항의 방법을 실행하는 프로그램을 기록한 것을 특징으로 하는 컴퓨터로 판독 가능한 기록매체
|
