| 1 |
1
얼굴의 눈 영역 및 입 영역에서의 외곽선 영상을 이용하여 눈 및 입에 대한 특징점을 검출하는 특징점 검출장치;검출된 눈 특징점 및 입 특징점을 직선으로 연결하여 삼각형 메쉬를 생성하고, 직선 길이 및 각도 변화에 따라 얼굴 방향을 검출하는 얼굴 방향 검출장치;눈동자의 위치를 검출한 후 눈 영역의 특징점을 이용하여 눈 방향을 검출하는 눈 방향 검출장치;눈 영역 및 입 영역에서 각각 검출된 특징점의 위치에서 윈도우를 이용하여 얼굴 회전에 따른 눈 및 입을 추적하는 특징점 추적장치; 및얼굴 방향과 눈 방향에 따라 정의된 시선 방향을 바탕으로, 검출된 얼굴 방향에 따라 윈도우를 이동시킴으로써 시선을 검출하는 시선 검출장치; 를 포함하며,상기 얼굴 방향 검출장치는 눈 특징점과 입 특징점이 연결된 직선 중, 각 특징점을 연결한 직선이 정면일 때보다 기준 화소의 변화량에 따라 좌우, 상하단 방향을 검출하는 것을 특징으로 하는 시선 검출 시스템
|
| 2 |
2
제 1 항에 있어서,상기 특징점 검출장치는,눈 영역에서의 외곽선 영상을 이용하여, 두 눈에 대한 좌우상하 및 교차 특징점을 검출하는 눈 특징점 검출부; 및입 영역에서의 외곽선 영상을 이용하여, 입에 대한 특징점을 검출하는 입 특징점 검출부; 를 포함하는 것을 특징으로 하는 시선 검출 시스템
|
| 3 |
3
제 2 항에 있어서,상기 눈 특징점 검출부는,첫 프레임에서 얼굴 영역을 검출하고, 검출된 얼굴 영역 내에서 두 개의 눈 영역을 검출하는 눈 영역 검출모듈; 및검출된 두 개의 눈 영역에서 특징점을 검출하기 위해 눈 영역의 영상을 이진화하고, 눈 영역에서의 외곽선 영상을 검출하는 제 1 외곽선 검출모듈; 및상기 제 1 외곽선 검출모듈을 통해 검출된 외곽선 영상으로부터 최우측 특징점과 최좌측 특징점을 지정하고, 지정된 두 점을 연결한 직선의 중심 위치에서 일직선상에 교차하는 두 개의 외곽선의 위치를 눈의 상단 특징점과 하단 특징점으로 지정하여 4개의 특징점을 검출하며, 좌우 두 눈에 대한 두 직선이 교차하는 지점을 각각 좌측 눈 특징점 및 우측 눈 특징점으로 지정하여 검출하는 눈 특징점 검출모듈; 을 포함하는 것을 특징으로 하는 시선 검출 시스템
|
| 4 |
4
제 2 항에 있어서,상기 입 특징점 검출부는,첫 프레임에서 얼굴 영역을 검출하고, 검출된 얼굴 영역 내에서 입 영역을 검출하는 입 영역 검출모듈;입 영역에서 특징점을 검출하기 위해 입 영역의 영상을 이진화하고, 입 영역에서의 외곽선 영상을 검출하는 제 2 외곽선 검출모듈; 및상기 제 2 외곽선 검출모듈을 통해 검출된 외곽선 영상으로부터 최우측 특징점과 최좌측 특징점을 지정하고, 지정된 두 점을 직선으로 연결하여 그 직선의 중심점을 입 특징점으로 지정하여 검출하는 입 특징점 검출모듈; 을 포함하는 것을 특징으로 하는 시선 검출 시스템
|
| 5 |
5
제 1 항에 있어서,상기 얼굴 방향 검출장치는,다수개의 얼굴 방향을 정의하며, 상기 눈 특징점과 입 특징점이 연결된 직선들의 길이 및 각도 변화를 이용하여, 정의된 얼굴 방향에서 얼굴의 좌우 방향 및 상하 방향을 검출하는 것을 특징으로 하는 시선 검출 시스템
|
| 6 |
6
제 1 항에 있어서,상기 눈 방향 검출장치는,허프 원 변환(Hough Circle Transform)을 이용하여 눈동자 후보 위치를 검출하고, 눈동자 후보 위치에서의 평균 화소 값을 계산하여 가장 낮은 화소 값을 가지는 위치를 눈동자 위치로 검출하는 눈동자 위치 검출부; 및눈 영역의 최우측 특징점과 최좌측 특징점간의 거리와, 눈동자 중심점과 특징점간의 각도를 바탕으로 눈의 방향을 검출하는 눈 방향 검출부; 를 포함하는 것을 특징으로 하는 시선 검출 시스템
|
| 7 |
7
제 6 항에 있어서,상기 눈 방향 검출부는,상기 특징점 검출장치를 통해 검출된 눈의 최우측 특징점과 최좌측 특징점간의 x축 거리를 3등분하고, 상기 눈동자 위치 검출부를 통해 검출된 현재 눈동자의 x축 값이 포함되는 영역에 따라 좌측 방향, 중앙 방향, 우측 방향 중 어느 하나로 눈의 좌우 방향을 결정하여 검출하는 것을 특징으로 하는 시선 검출 시스템
|
| 8 |
8
제 6 항에 있어서,상기 눈 방향 검출부는,상기 눈동자 위치 검출부를 통해 검출된 눈동자 중심점과 상기 특징점 검출장치를 통해 검출된 눈 영역의 최우측 특징점과 최좌측 특징점을 삼각형으로 연결하여, 양측의 각도를 각각 계산하고, 계산된 각도의 평균값에 따라 상단 방향, 중앙 방향, 하단 방향 중 어느 하나로 눈의 상하 방향을 결정하여 검출하는 것을 특징으로 하는 시선 검출 시스템
|
| 9 |
9
제 1 항에 있어서,상기 특징점 추적장치는,검출된 눈 영역 및 입 영역의 특징점을 중심으로, 지정된 크기의 윈도우 영역을 저장하여 다음 프레임에서 히스토그램 매칭을 통해 눈 영역과 입 영역을 추적하는 것을 특징으로 하는 시선 검출 시스템
|
| 10 |
10
제 1 항 또는 제 9 항에 있어서,상기 특징점 추적장치는,상기 특징점 검출장치를 통해 첫 프레임에서 검출된 눈 영역 및 입 영역의 특징점의 위치에서, 일정 크기의 윈도우를 이용하여 눈 영역 및 입 영역의 영상 데이터를 저장하고, 다음 프레임에서 히스토그램 매칭을 통해 이전 프레임에서의 특징점 위치와 현재 프레임에서의 특징점 위치간에 x, y 거리값 차이의 평균을 계산하여 눈 영역 및 입 영역의 위치를 이동시켜 추적하는 것을 특징으로 하는 시선 검출 시스템
|
| 11 |
11
제 1 항에 있어서,상기 시선 검출장치는,얼굴 방향과 눈 방향에 따라 나타낼 수 있는 다수개의 시선 방향을 정의하는 방향 정의부; 및 윈도우를 생성하고, 상기 얼굴 방향 검출장치를 통해 검출된 얼굴 방향에 따라 윈도우를 이동시키며, 상기 눈 방향 검출장치를 통해 검출된 눈 방향에 따라 윈도우 내에서 시선 방향을 검출하는 시선 검출부; 를 포함하는 것을 특징으로 하는 시선 검출 시스템
|
| 12 |
12
(a) 특징점 검출장치가 얼굴의 눈 영역 및 입 영역에서의 외곽선 영상을 이용하여 눈 및 입에 대한 특징점을 검출하는 과정;(b) 얼굴 방향 검출장치가 검출된 눈 특징점 및 입 특징점을 직선으로 연결하여 삼각형 메쉬를 생성하고, 직선 길이 및 각도 변화에 따라 얼굴 방향을 검출하는 과정;(c) 눈 방향 검출장치가 눈동자의 위치를 검출한 후 눈 영역의 특징점을 이용하여 눈 방향을 검출하는 과정; (d) 특징점 추적장치가 눈 영역 및 입 영역에서 각각 검출된 특징점의 위치에서 윈도우를 이용하여 얼굴 회전에 따른 눈 및 입을 추적하는 과정; 및(e) 시선 검출장치가 얼굴 방향과 눈 방향에 따라 정의된 시선 방향을 바탕으로, 검출된 얼굴 방향에 따라 윈도우를 이동시킴으로써 시선을 검출하는 과정; 을 포함하는 시선 검출 방법
|
| 13 |
13
제 12 항에 있어서,상기 (a) 과정은,(a-1) 상기 특징점 검출장치가 첫 프레임에서 얼굴 영역을 검출하고, 검출된 얼굴 영역 내에서 두 개의 눈 영역을 검출하는 단계;(a-2) 상기 특징점 검출장치가 검출된 두 개의 눈 영역에서 특징점을 검출하기 위해 눈 영역의 영상을 이진화하고, 눈 영역에서의 외곽선 영상을 검출하는 단계;(a-3) 상기 특징점 검출장치가 검출된 외곽선 영상으로부터 최우측 특징점과 최좌측 특징점을 지정하고, 지정된 두 점을 연결한 직선의 중심 위치에서 일직선상에 교차하는 두 개의 외곽선의 위치를 눈의 상단 특징점과 하단 특징점으로 지정하여 4개의 특징점을 검출하는 단계; 및(a-4) 상기 특징점 검출장치가 좌우 두 눈에 대한 두 직선이 교차하는 지점을 각각 좌측 눈 특징점 및 우측 눈 특징점으로 지정하여 검출하는 단계; 를 포함하는 것을 특징으로 하는 시선 검출 방법
|
| 14 |
14
제 12 항에 있어서,상기 (a) 과정은,(a-5) 상기 특징점 검출장치가 첫 프레임에서 얼굴 영역을 검출하고, 검출된 얼굴 영역 내에서 입 영역을 검출하는 단계; (a-6) 상기 특징점 검출장치가 검출된 입 영역에서 특징점을 검출하기 위해 입 영역의 영상을 이진화하고, 입 영역에서의 외곽선 영상을 검출하는 단계; 및(a-7) 상기 특징점 검출장치가 검출된 외곽선 영상으로부터 최우측 특징점과 최좌측 특징점을 지정하고, 두 점을 직선으로 연결하여 그 직선의 중심점을 입 특징점으로 지정하여 검출하는 단계; 를 포함하는 것을 특징으로 하는 시선 검출 방법
|
| 15 |
15
제 12 항에 있어서,상기 (b) 과정은,(b-1) 상기 얼굴 방향 검출장치가 검출된 눈 특징점 및 입 특징점을 직선으로 연결하여 삼각형 메쉬를 생성하는 단계; 및(b-2) 상기 얼굴 방향 검출장치가 직선 길이 및 각도 변화에 따라 얼굴 방향을 검출하는 단계; 를 포함하는 것을 특징으로 하는 시선 검출 방법
|
| 16 |
16
제 15 항에 있어서,상기 (b-2) 단계는,상기 얼굴 방향 검출장치가 눈 특징점과 입 특징점이 연결된 직선들의 길이 및 각도 변화를 이용하여, 다수개로 정의된 얼굴 방향에서 얼굴의 좌우 방향 및 상하 방향을 검출하는 것을 특징으로 하는 시선 검출 방법
|
| 17 |
17
제 12 항에 있어서,상기 (c) 과정은,(c-1) 상기 눈 방향 검출장치가 허프 원 변환을 이용하여 눈동자 후보 위치를 검출하는 단계;(c-2) 상기 눈 방향 검출장치가 눈동자 후보 위치에서의 평균 화소 값을 계산하여 가장 낮은 화소 값을 가지는 위치를 눈동자 위치로 검출하는 단계; 및(c-3) 상기 눈 방향 검출장치가 눈 영역의 최우측 특징점과 최좌측 특징점간의 거리와, 눈동자 중심점과 특징점간의 각도를 바탕으로 눈의 방향을 검출하는 단계; 를 포함하는 것을 특징으로 하는 시선 검출 방법
|
| 18 |
18
제 17 항에 있어서,상기 (c-3) 단계는,(c-3-1) 상기 눈 방향 검출장치가 상기 (a) 과정을 통해 검출된 눈의 최우측 특징점과 최좌측 특징점간의 x축 거리를 3등분하는 단계; 및(c-3-2) 상기 눈 방향 검출장치가 상기 (c-2) 단계를 통해 검출된 현재 눈동자의 x축 값이 포함되는 영역에 따라 좌측 방향, 중앙 방향, 우측 방향 중 어느 하나로 눈의 좌우 방향을 결정하여 검출하는 단계; 를 포함하는 것을 특징으로 하는 시선 검출 방법
|
| 19 |
19
제 17 항에 있어서,상기 (c-3) 단계는,(c-3-3) 상기 눈 방향 검출장치가 상기 (c-2) 단계를 통해 검출된 눈동자 중심점과 상기 (a) 과정을 통해 검출된 눈 영역의 최우측 특징점과 최좌측 특징점을 삼각형으로 연결하여, 양측의 각도를 각각 계산하는 단계; 및(c-3-4) 상기 눈 방향 검출장치가 계산된 각도의 평균값에 따라 눈 방향을 상단 방향, 중앙 방향, 하단 방향 중 어느 하나로 눈의 상하 방향을 결정하여 검출하는 단계; 를 포함하는 것을 특징으로 하는 시선 검출 방법
|
| 20 |
20
제 12 항에 있어서,상기 (d) 과정은, 상기 특징점 추적장치가 검출된 눈 영역 및 입 영역의 특징점을 중심으로, 지정된 크기의 윈도우 영역을 저장하여 다음 프레임에서 히스토그램 매칭을 통해 눈 영역과 입 영역을 추적하는 것을 특징으로 하는 시선 검출 방법
|
| 21 |
21
제 12 항 또는 제 20 항 있어서,상기 (d) 과정은, (d-1) 상기 특징점 추적장치가 상기 (a) 과정을 통해 첫 프레임에서 검출된 눈 영역 및 입 영역의 특징점의 위치에서, 일정 크기의 윈도우를 이용하여 눈 영역 및 입 영역의 영상 데이터를 저장하는 단계;(d-2) 상기 특징점 추적장치가 다음 프레임에서 히스토그램 매칭을 통해 이전 프레임에서의 특징점 위치와 현재 프레임에서의 특징점 위치간에 x, y 거리값 차이의 평균을 계산하는 단계; 및(d-3) 상기 특징점 추적장치가 눈 영역 및 입 영역의 위치를 이동시켜 추적하는 단계; 를 포함하는 것을 특징으로 하는 시선 검출 방법
|
| 22 |
22
제 12 항에 있어서,상기 (e) 과정은, (e-1) 상기 시선 검출장치가 얼굴 방향과 눈 방향에 따라 나타낼 수 있는 다수개의 시선 방향을 정의하는 단계; (e-2) 상기 시선 검출장치가 윈도우를 생성하고, 상기 (b) 과정을 통해 검출된 얼굴 방향에 따라 윈도우를 이동시키는 단계; 및 (e-3) 상기 시선 검출장치가 상기 (c) 과정을 통해 검출된 눈 방향에 따라 윈도우 내에서 시선 방향을 검출하는 단계; 를 포함하는 시선 검출 방법
|
