| 1 |
1
(a) 입력 영상에서 많은 물체 중 손의 영역을 찾아내기 위해 손 영역이라 추측되는 후보군을 추출하는 손 후보군 추출 과정과 손 후보군 중 손 영역을 찾아내는 과정을 거치는 전처리 단계; 및 (b) 손 영역의 영상에서 손의 특징을 추출하는 단계로 손 외곽선, 손가락 사이 경계점, 외곽선 특징점, 손의 중심점을 추출하고 이를 기반으로 손가락의 펴진 개수, 손가락끼리의 붙어있는 상태의 특징 정보를 추출하는 특징 추출 단계를 포함하며, 손 제스처 인식에 필요한 특징 추출을 위하여 손가락의 개수뿐만 아니라 손가락의 붙임까지 인식할 수 있는 곡률 분석(Curvature Analysis) 기반의 손 특징 추출 알고리즘을 사용하며, 상기 손 특징 추출 알고리즘은 컬러모델 기반의 피부색 범위 필터와 레이블링을 통하여 입력 영상에서 손 영역을 검출하고, 외곽선 및 특징점과 이들로부터 추출한 곡률 정보를 이용해 펴진 손가락의 개수 및 손가락의 붙임에 대한 특징을 추출하여 다양한 손 제스쳐를 인식하며, 상기 특징 추출 단계는 i) 곡률 정보 및 손가락 사이 경계점 추출, ii) 손가락 끝점 인식 및 펴진 손가락의 개수, iii) 손가락의 붙임을 인식하며, 상기 곡률 정보 및 손가락 사이 경계점 추출은, 상기 특징 추출 단계의 첫 번째 과정에서 손가락이 붙어 있을 시 나타나는 특징을 사용하여 손가락의 붙임성을 인식하도록 손가락 사이 경계점을 얻기 위해 손 외곽 곡률 정보를 추출하고 이를 기반으로 검출하며, 먼저, 손 외곽 곡률 정보를 추출하기 위해 곡률 판단에 사용되는 곡률 중심점과 곡률을 이루는 선을 추출해야 하며, i) 손 형태를 표현해주는 외곽선을 얻기 위해 손의 이진화 영상에 스네이크(Active Contour Model) 알고리즘을 적용하여 손의 바깥 외곽선을 얻고, ii) 손의 형태 중 일반적으로 직선의 성향을 가장 많이 포함한 부분은 손가락 사이 경계선이지만 손이 가지는 특징을 기반으로 영상에서 손의 외곽선 중 굴곡의 변화가 없으면서 가장 길이가 긴 외곽선을 손목선 영역이라 인지하며, 그리고 손목선 영역이라 판단되는 선의 양 끝점의 중점을 손목의 중심점(Pwrist center)이라 판단하고 이를 곡률 판단에 사용되는 곡률 중심점으로 지정하고, iii) 추출된 곡률의 중심점과 손의 외곽선을 이용하여 손의 곡률 정보를 추출하며, 손의 외곽선을 구성하는 점들 중 K(임계 값) 간격에 3개의 점(Pn-k, Pn, Pn+k)을 순차적으로 추출하여 식(1) 조건을 통해 곡률의 오목[concave(Pn)]을 판단하고 오목 판단 조건(concave decision condition)은 3 개의 점과 곡률 중심점에서의 길이 비교 및 점들이 이루는 각도 조건을 통하여 판단하며,- - 식(1)손의 형태는 손목의 중심에서 손가락 끝점 지역은 볼록하고, 손가락 사이 점 지역은 오목하며, 한 손가락 사이 점 지역에서 오목한 손가락 사이 점은 많지만 오목한 점과 아닌 점의 경계점은 손가락 사이 점 지역에서 두 개밖에 존재하지 않으므로, 손가락 사이 경계점[boundarypoint(Pn)]은 오목의 곡률 특징을 가지다가 없어지는 점과 오목한 특징이 나타나기 시작하는 점으로 정의하고, 다음 식 (2) 조건을 통해 손가락 사이 경계점을 추출하는 -- 식(2) 것을 특징으로 하는 다양한 손 제스처 인식을 위한 곡률 분석 기반의 손 특징 추출 방법
|
| 2 |
2
제1항에 있어서, 상기 전처리 단계는 손 후보군 추출 및 손 영역 추출 과정을 포함하며, (a1) 상기 손 후보군 추출의 첫 번째 과정은 영상에서 움직이는 손이 포함되는 물체를 추출하기 위해 현재 입력 영상에서 초기 입력 영상에 차 영상을 통하여 획득하고, 두 번째 과정에서 움직이는 물체 중 피부색의 손 후보군을 뽑아내기 위해 이전 처리된 차 영상에 YCbCr컬러모델의 휘도 성분인 Y를 제외한 Cb, Cr를 기반으로 한 피부색 범위 필터를 통하여 손 후보군 이진화 영상을 추출하며, YCbCr컬러모델을 통하여 추출된 손 후보군 이진화 영상은 그림자로 인해 노이즈(noise)나 홀(hole)로 인해 발생하는 손실된 손 내부 부분을 채워주기 위하여 모폴로지 연산에서 팽창과 침식의 결과인 닫힘 연산을 수행하여 손실된 손 내부를 보충하는 손 후보군 추출 단계; 및 (a2) 피부색 필터에 의해 처리된 손 후보군 영상은 손 영역 외 여러 잡음이 존재하고, 손은 피부색에 대한 필터 범위에 들어가기 때문에 영상에서 커다란 영역을 차지하고 있으며, 이에 영상 내에서 객체 검출 효과가 있는 연결성분 레이블링(Connected Component Labeling) 알고리즘을 이용하여 픽셀이 연결된 각 집단을 추출한 후 최대 크기를 가진 집단을 남김으로써 불필요한 잡음을 없애고 손 영역만 가지고 있는 이진화 영상을 추출하는 손 영역 추출 단계; 를 포함하는 다양한 손 제스처 인식을 위한 곡률 분석 기반의 손 특징 추출 방법
|
| 3 |
3
삭제
|
| 4 |
4
삭제
|
| 5 |
5
제1항에 있어서, 상기 손가락 끝점 인식 및 펴진 손가락의 개수 인식은 손의 외곽 특징 정보를 단순한 정보로 얻기 위해 이전 단계에서 구해진 외곽선 정보를 이용하여 외곽선 특징점을 추출하고, 외곽선 특징점 추출에는 외곽 근사화 알고리즘으로 사용된 더글라스-페커(Douglas-Peucker) 알고리즘[Algorithms for the reduction of the number of points required to represent a digitized line or it caricature, 도4]은 연속된 점으로 추정된 곡선에서 점의 수를 감소시켜 직선으로 근사화하며, 추출된 외곽 특징점들 중 예각을 가지는 점들은 펴진 손가락 끝점, 붙어 있지 않은 손가락 사이 점, 그 외 손 외곽 점(예각을 가진 손목 점)들 중 한 곳에 해당하는 점들이고, 추출된 점들 중 손 외곽에 위치한 손가락 끝점 및 손 외곽 점 그룹과 손가락 사이 점을 분류하기 위해 볼록껍질(Convex Hull) 알고리즘[Efficience convex hull algorithms for pattern recognition applications]을 적용하였으며, 이 알고리즘은 여러 점들의 최외곽의 점들을 연결하는 다각형을 추출할 수 있고, 이 다각형을 구성하는 꼭지점은 손의 최외곽 점이므로 외곽 특징점들 중 최외곽 점이 아닌 손가락 사이 점은 제외할 수 있으므로 이를 통해 손가락 끝점 및 손 외곽 점만 검출할 수 있으며, 손가락 끝점과 손 외곽 점을 구분을 위해 손가락 끝점이 분포된 손가락 영역과 손목 점이 분포된 손목 외곽 영역을 구분하는 영역 경계선이 필요하므로, 영역 경계선의 기준점은 손의 특징 중 손의 중심에 기준을 두고 손이 뻗어 있는 방향의 법선이 손가락 영역과 손목 외곽 영역을 나눠주는 기준이 되고, 영역 경계선의 기준인 손 중심점을 거리변환행렬[Distance transformations in digital images]을 통하여 얻으며, 손 중심점에서 손이 뻗어있는 방향을 나타내주는 예각을 가진 외곽 특징점과 손가락 사이 경계점들 간의 직선의 평균 기울기는 영상에서 손가락이 뻗어져 있는 방향성을 가지고, 손가락이 뻗어져 있는 방향성을 가진 직선의 법선이면서 손 중심점을 지나는 직선은 손가락이 모여 있는 영역과 그 외 영역을 구분하기 위한 영역 경계선을 통하여 붙여진 손가락이 없을 때와 있을때의 손가락 끝점을 추출하며(Extraction of fingertip), 그 외 손 외곽 점(예각을 가지는 손목 점)이 포함되어있는 영역을 구분하며, 펴진 손가락의 끝점은 손 중심점에서 외곽 특징점 및 손가락 사이 경계점들의 평균 거리보다 길다는 특징을 이용하여 외곽 특징점들과 손 중심점에서 평균거리보다 크면서 손가락 영역 안에 있는 점 개수로 펴진 손가락의 개수를 추출하는 것을 특징으로 하는 다양한 손 제스처 인식을 위한 곡률 분석 기반의 손 특징 추출 방법
|
| 6 |
6
제1항에 있어서, 상기 손가락의 붙임 인식(attached finger's attachment recognition)은 외곽선 특징점이 외곽선의 기울기가 크게 변하는 지점의 직선 형태의 외곽선을 추출하기 때문에 손가락이 붙어있는 경우 외곽선의 기울기 변화 크기가 감소하므로(도 5b)에서 볼 수 있듯이 붙어있는 손가락들의 끝점을 정확하게 추출하기 위해 손가락의 끝점에 일정 영역을 잡아 붙어 있을 때의 곡률 정보를 통해 추출되는 손가락 사이 경계점의 유무 및 개수를 통하여 손가락의 붙임을 인식하며, 외곽선 특징점을 기준으로 펴진 손가락 끝점의 양쪽에는 손가락 사이 점 또는 손목 점이 존재하고, 붙어있는 손가락 주위에는 손가락 사이 경계점이 무조건 존재하고 그 범위는 양쪽 점(손가락 사이 점 또는 손목 점)까지 해당되며, 펴진 손가락 끝점에서 양쪽 점까지의 범위 영역 안에 포함된 손가락 사이 경계점 개수를 통하여 붙어있는 손가락의 개수를 추정하는 것을 특징으로 하는 다양한 손 제스처 인식을 위한 곡률 분석 기반의 손 특징 추출 방법
|
| 7 |
7
제1항에 있어서, 상기 손가락의 붙임 인식은 상기 손 특징 추출 알고리즘의 붙임 프로시저(attachment procedure of the proposed algorithm)에 의해 다음과 같이 알고리즘으로 구성되며, K = 손가락 끝점 입력;J = 해상도에 따른 임계 값;영역가로길이 = distance(K손가락 왼쪽 사이점, K손가락 오른쪽 사이점);영역세로길이 = distance(K손가락, 손 중심점)/J;가로영역중점을 K손가락 끝점 위치 지정; for(i=0;i003c#손가락 사이 경계점 수:i++) { if(i번째 손가락 사이 경계점이 영역안에 존재 여부) 영역안 손가락 사이 경계점 개수++; }K손가락의 붙여진 손가락 개수 = 영역안 손가락 사이 경계점 개수/2;return K손가락의 붙여진 손가락 개수;손가락의 붙임 판단 영역의 가로 영역은 펴진 손가락 끝점의 양쪽 점 간의 길이를 가지고 해당 손가락 끝점에서의 법선 기울기를 가지며 손가락 끝점을 중점으로 가진 직선이며, 그리고 세로 영역은 손가락 끝점과 손 중심점까지 길이의 영상에 크기에 따른 임계 값 J를 주어 1/J이 되는 길이를 세로의 길이로 지정하여 영역을 생성한 뒤 가로영역에 중점을 손가락 끝점에 맞추며,손가락끼리 붙어있는 한 곳에는 두 개의 손가락 사이 경계점이 존재하며, 이를 통해 한 손가락 끝점 영역 내 뽑히는 손가락 사이 경계점이 2N(N은 1이상의 자연수) 개이면 붙어있는 곳은 N개로 산출하는 것을 특징으로 하는 다양한 손 제스처 인식을 위한 곡률 분석 기반의 손 특징 추출 방법
|
