| 1 |
1
사용자의 눈 영상 및 사용자의 얼굴 방향에 의한 전방 영상을 각각 획득하는 고글 형태의 영상 획득 모듈과,
상기 획득된 전방 영상을 기반으로 사용자가 응시하고자 하는 범위를 지정하고, 해당 범위를 템플릿 매칭을 통해 실시간으로 추적하여, 상기 획득된 사용자의 눈 영상에서의 동공 중심 위치에 기반하여 시선 위치를 산출하는 영상 처리 모듈을 포함하고,
상기 영상 획득 모듈은
전방 영상을 촬영하는 제 1 카메라와,
사용자 눈으로 적외선을 조명하는 적외선 조명부와,
사용자 눈으로 조명된 적외선이 굴절되도록 반사하는 적외선 반사거울(hot mirror)과,
상기 적외선 반사거울을 통해 반사된 적외선을 기반으로 사용자 눈 영상을 획득하는 제 2 카메라를 포함하는 것을 특징으로 하는 고글 형태를 갖는 착용형 시선 추적 장치
|
| 2 |
2
삭제
|
| 3 |
3
제 1 항에 있어서,
상기 제 1 카메라는 카메라 렌즈의 광축이 얼굴면의 중심으로부터 수식을 향하도록 상기 영상 획득 모듈의 중앙에 설치되어 사용자의 얼굴 방향에 의한 시야가 촬영되는 것을 특징으로 하는 고글 형태를 갖는 착용형 시선 추적 장치
|
| 4 |
4
제 1 항에 있어서,
상기 적외선 조명부는 사용자 눈 쪽으로 적외선을 바로 조명하거나, 또는 상기 적외선 반사거울 쪽으로 적외선을 조명하여 적외선 반사거울에 반사된 적외선이 사용자 눈으로 조명되도록 구성되는 것을 특징으로 하는 고글 형태를 갖는 착용형 시선 추적 장치
|
| 5 |
5
제 1 항 또는 제 4 항에 있어서,
상기 적외선 조명부는 적외선 LED(Light Emitting Diode), 할로겐(Halogen), 크세논램프(Xenon Lamp), 백열등 중 어느 하나인 것을 특징으로 하는 고글 형태를 갖는 착용형 시선 추적 장치
|
| 6 |
6
제 1 항에 있어서,
상기 적외선 반사거울은 사용자 눈앞에 45도의 각도로 구성되는 것을 특징으로 하는 고글 형태를 갖는 착용형 시선 추적 장치
|
| 7 |
7
제 1 항에 있어서,
상기 제 2 카메라는 사용자의 눈 하단에 설치하여, 상기 적외선 반사거울을 통해 45도 굴절된 적외선을 촬영하는 것을 특징으로 하는 고글 형태를 갖는 착용형 시선 추적 장치
|
| 8 |
8
제 1 항에 있어서,
상기 제 1 카메라 및 제 2 카메라는 USB(Universal Serial Bus) 타입, IEEE 1394 타입, 카메라 링크 타입, 프레임그레버 기법의 아날로그 타입 중 어느 하나의 타입으로 구성되는 것을 특징으로 하는 고글 형태를 갖는 착용형 시선 추적 장치
|
| 9 |
9
전 방향을 촬영하는 제 1 카메라에서 촬영된 전방 영상에서의 모니터 구석 위치를 기반으로 모니터 영역을 취득하는 모니터 추적 단계와,
사용자 눈으로 조명된 적외선을 기반으로 제 2 카메라를 통해 촬영된 눈 영상을 획득하여 동공 중심 위치에 기반하여 시선 위치를 취득하는 시선 추적 단계와,
상기 추적된 모니터 구석 위치와 사용자 시선의 동공 중심 위치 간의 관계를 고려한 모니터 평면의 픽셀 단위 논리 좌표 간의 사상 관계를 기하 변환(geometric transform) 기반의 행렬 연산으로 정의하고, 이를 이용하여 시선 위치 좌표값을 계산하여 모니터 상의 시선 위치를 결정하는 시선 위치 결정 단계를 포함하여 이루어지는 것을 특징으로 하는 고글 형태를 갖는 착용형 시선 추적 방법
|
| 10 |
10
제 9 항에 있어서, 상기 모니터 추적 단계는
상기 제 1 카메라를 통해 사용자의 얼굴 방향에 의한 전방향이 촬영된 전방 영상을 취득하는 단계와,
상기 취득된 전방 영상 내에서 구석 네 점의 좌표값을 이용하여 모니터 각 구석 좌표 주변영상을 취득 한 후, 이를 이용하여 최초 전방 대상 물체의 모니터 구석좌표를 통한 모니터 영역을 취득하는 단계를 포함하는 것을 특징으로 하는 고글 형태를 갖는 착용형 시선 추적 방법
|
| 11 |
11
제 10 항에 있어서,
상기 최초 전방 대상 물체의 구석좌표는 코너 검출(corner detection), 에지 검출(edge detection), 템플릿 매칭(template matching), 적응적인 템플릿 매칭(adaptive template matching) 중 적어도 하나의 자동 검출방법에 의해 검출하는 것을 특징으로 하는 고글 형태를 갖는 착용형 시선 추적 방법
|
| 12 |
12
제 9 항에 있어서, 상기 시선 추적 단계는
사용자 눈 쪽으로 조명되는 적외선을 기반으로 제 2 카메라에서 촬영된 눈 영상을 취득하는 단계와,
상기 모니터 추적 단계에서 취득된 전방 대상 물체의 최초 모니터 구석좌표를 이용하여 사용자에게 상기 모니터 네 구석점을 응시하도록 하고, 상기 제 2 카메라로 촬영된 눈 영상에서 상기 모니터 네 구성 점을 응시할 때의 각 동공의 중심 위치를 추출하는 단계를 포함하는 것을 특징으로 하는 고글 형태를 갖는 착용형 시선 추적 방법
|
| 13 |
13
제 12 항에 있어서, 상기 동공 추출 방법은
상기 제 2 카메라로 촬영된 눈 영상에서 원형을 검출하는 단계와,
상기 검출된 원형을 지역 이진화를 통해 동공과 홍채의 경계를 구분하는 단계와,
상기 촬영된 눈 영상 중 동공으로 구분된 영상을 기반으로 동공의 중심 좌표를 취득하는 단계를 포함하는 것을 특징으로 하는 고글 형태를 갖는 착용형 시선 추적 방법
|
| 14 |
14
제 9 항에 있어서, 상기 시선 위치 결정 단계는
상기 모니터 추적 단계에서 취득된 모니터 영역(S2)과, 상기 시선 추적 단계에서 취득된 시선 영역(S1)을 기하 변환(geometric transform) 기반의 행렬 연산으로 정의하고, 이를 이용하여 상기 시선 영역(S1)을 상기 모니터 영역(S2)으로 변환해주는 제 1 사상행렬(T1)을 계산하는 단계와,
상기 모니터 추적 과정에서 취득된 모니터 영역(S2)과, 실제 픽셀단위의 논리적인 모니터 영역(S3)을 기하 변환(geometric transform) 기반의 행렬 연산으로 정의하고, 이를 이용하여 상기 취득된 모니터 영역(S2)을 상기 논리적인 모니터 영역(S3)으로 변환해주는 제 2 사상행렬(T2)을 계산하는 단계와,
상기 계산된 제 1 사상행렬(T1)과 제 2 사상행렬(T2)의 곱으로 표현되는 변환행렬(T)을 정의하고, 상기 정의된 변환행렬(T)을 통해 사용자가 응시하는 순간 추출된 동공 위치(W)의 좌표값( , )을 모니터 상에서의 모니터 위치 값의 변화에 따른 실제 응시위치(G)의 좌표값( , )으로 보정하는 단계와,
상기 보정으로 초기 추출된 모니터 구석에 대한 템플릿을 이용한 탐색을 통해 실시간으로 모니터의 네 구석점을 추정하고, 이에 따라 변경되는 T1과 T2 또한 실시간을 구해서 눈에 의한 시선 위치를 얼굴의 이동 및 얼굴의 회전에 따른 사용자의 얼굴 움직임의 전방 영상에서 추정하여 모니터 상의 시선 위치(X,Y)를 계산하는 단계를 포함하는 것을 특징으로 하는 고글 형태를 갖는 착용형 시선 추적 방법
|
