| 1 |
1
3차원 정보를 포함하는 얼굴 영상을 획득하는 영상 획득부;획득한 얼굴 영상에서 복수개의 얼굴 특징점을 추출하는 얼굴 특징점 추출부;상기 복수개의 얼굴 특징점에서 양 눈 및 입의 특징점을 추출하고, 추출한 양 눈 및 입의 특징점을 기반으로 얼굴 평면 및 얼굴 평면의 법선 벡터를 계산하여 얼굴 정보 기반 시선 벡터를 추적하는 제1 시선 정보 추적부;상기 복수개의 얼굴 특징점에서 눈 경계 특징점을 추출하고, 추출한 눈 경계 특징점을 기반으로 안구의 회전 중심 좌표를 계산하고, 상기 눈 경계 특징점을 포함하는 눈 영역에서 홍채 중심 좌표를 계산하고, 상기 안구의 회전 중심 좌표 및 상기 홍채 중심 좌표를 이용하여 눈 정보 기반 시선 벡터를 추적하는 제2 시선 정보 추적부;추적된 제1 시선 정보 및 제2 시선 정보에 상기 얼굴 영상 및 상기 눈 영역의 해상도에 따라 가중치를 적용하여 상기 제1 시선 정보 및 상기 제2 시선 정보를 통합하는 시선 정보 통합부; 및통합한 시선 벡터를 이용하여 시선 추적을 수행하는 시선 추적 수행부;를 포함하는 시선 추적 장치
|
| 2 |
2
제 1항에 있어서, 제1 시선 정보 추적부는상기 추출한 얼굴 특징점의 3차원 정보에서 양 눈 및 입의 특징점을 추출하는 눈 및 입 특징점 추출부;상기 추출한 양 눈 및 입 특징점을 지나는 얼굴 평면을 계산하는 얼굴 평면 계산부;상기 얼굴 평면을 통과하는 법선 벡터를 계산하는 얼굴 평면의 법선 벡터 계산부; 및상기 얼굴 평면의 법선 벡터를 이용하여 사용자의 시선을 추적하는 얼굴 정보 기반 시선 벡터 추적부;를 더 포함하는 시선 추적 장치
|
| 3 |
3
제 2항에 있어서, 눈 및 입 특징점 추출부는상기 추출한 얼굴 특징점의 3차원 정보에서 상기 양 눈 및 입 주변에 위치한 복수의 특징점을 추출하고, 추출한 특징점들의 평균 좌표값으로 상기 양 눈 및 입 특징점의 위치를 설정하는 시선 추적 장치
|
| 4 |
4
제 1항에 있어서, 제2 시선 정보 추적부는상기 추출한 얼굴 특징점의 3차원 정보로부터 눈 경계의 특징점을 추출하는 눈 경계 특징점 추출부;상기 추출한 눈 경계 특징점을 이용하여 안구의 회전 중심 좌표를 계산하는 안구의 회전 중심 계산부;상기 추출한 눈 경계 특징점을 이용하여 홍채의 중심 좌표를 계산하는 홍채의 중심 계산부; 및상기 안구의 회전 중심 좌표 및 상기 홍채의 중심 좌표를 이용하여 사용자의 시선을 추적하는 눈 정보 기반 시선 벡터 추적부;를 더 포함하는 시선 추적 장치
|
| 5 |
5
제 4항에 있어서, 안구의 회전 중심 계산부는반지름이 13
|
| 6 |
6
제 4항에 있어서, 안구의 회전 중심 계산부는상기 눈 경계 특징점 및 최소 평균 제곱법(least-mean-squares: LMS)을 이용하여 안구의 회전 중심을 계산하는 것을 포함하는 시선 추적 장치
|
| 7 |
7
제 4항에 있어서, 홍채의 중심 계산부는RGB 카메라에 의해 획득한 얼굴 영상에서 눈 영역을 검출하고, 검출된 눈 영역을 모폴로지 연산(morphological operations)에 의해 홍채 영역을 검출하여, 상기 홍채 영역을 포함하는 사각형의 중심 좌표를 계산하고, 뎁스(depth) 센서에 의해 획득한 얼굴 영상을 이용하여 3차원 홍채의 중심 좌표를 획득하는 것을 포함하는 시선 추적 장치
|
| 8 |
8
삭제
|
| 9 |
9
시선 추적 장치에서 사용자의 시선을 추적 방법에 있어서,3차원 정보를 포함하는 얼굴 영상을 획득하는 단계;상기 획득한 얼굴 영상에서 복수개의 얼굴 특징점을 추출하는 단계;추출한 얼굴 특징점에서 양 눈 및 입의 특징점을 추출하는 단계;추출한 양 눈 및 입의 특징점을 기반으로 얼굴 평면을 계산하는 단계;상기 얼굴 평면의 법선 벡터를 계산하는 단계;상기 법선 벡터를 이용하여 얼굴 정보 기반 제1 시선 벡터를 추적하는 단계;상기 추출한 얼굴 특징점에서 눈 경계 특징점을 추출하는 단계;상기 눈 경계 특징점을 기반으로 안구의 회전 중심을 계산하는 단계;상기 얼굴 영상에서 눈 영역을 검출하고 영상처리를 통해 홍채의 중심을 계산하는 단계;상기 안구의 회전 중심 및 상기 홍채의 중심을 이용하여 눈 정보 기반 제2 시선 벡터를 추적하는 단계;상기 제1 시선 벡터 및 제2 시선 벡터에 상기 얼굴 영상 및 상기 눈 영역의 해상도에 따라 가중치를 적용하여 상기 제1 시선 벡터 및 제2 시선 벡터를 통합하는 단계; 및상기 통합된 시선 벡터를 이용하여 시선 추적을 수행하는 단계;를 포함하는 시선 추적 방법
|
| 10 |
10
제 9항에 있어서, 상기 추출한 얼굴 특징점에서 양 눈 및 입의 특징점을 추출하는 단계는상기 추출한 얼굴 특징점의 3차원 정보에서 상기 양 눈 및 입 주변에 위치한 복수의 특징점을 추출하고, 추출한 특징점들의 평균 좌표값으로 상기 양 눈 및 입 특징점의 위치를 설정하는 시선 추적 방법
|
| 11 |
11
제 9항에 있어서, 상기 추출한 눈 경계 특징점을 기반으로 안구의 회전 중심을 계산하는 단계는상기 눈 경계 특징점 및 최소 평균 제곱법(least-mean-squares: LMS)을 이용하여 안구의 회전 중심을 계산하는 것을 포함하는 시선 추적 방법
|
| 12 |
12
삭제
|
| 13 |
13
제 9항에 있어서, 상기 눈 경계 특징점을 기반으로 홍채의 중심을 계산하는 단계는RGB 카메라에 의해 획득한 얼굴 영상에서 눈 영역을 검출하고, 검출한 눈 영역에서 모폴로지 연산(morphological operations)에 의해 홍채 영역 검출하여, 상기 홍채 영역을 포함하는 사각형의 중심 좌표를 계산하고, 뎁스 센서에 의해 획득한 얼굴 영상을 이용하여 3차원 홍채의 중심 좌표를 하는 것을 포함하는 시선 추적 방법
|
| 14 |
14
삭제
|
| 15 |
15
제 9항 내지 제 11항 및 제13항 중 어느 하나의 시선 추적 방법을 실행하기 위하여 컴퓨터가 판독 가능한 기록매체에 기록된 컴퓨터 프로그램
|
