| 1 |
1
눈 특징점 기반의 실시간 시선 추적 장치에 있어서,사용자의 눈이 포함된 카메라 이미지를 수신하도록 구성된 이미지 수신부;상기 이미지로부터 인공 신경망을 이용하여 특징맵(feature map)을 추출하도록 구성된 특징맵 추출부;상기 특징맵에 기초하여 눈 특징점 위치에 대한 예측을 수행하도록 구성된 눈 특징점 예측부;예측된 눈 특징점 위치에 기반하여 시선 벡터를 예측하도록 구성된 시선 벡터 예측부; 및시선 벡터 및 동공 좌표를 출력하도록 구성된 출력부를 포함하는 실시간 시선 추적 장치
|
| 2 |
2
제1항에 있어서, 상기 특징맵 추출부에서 사용하는 인공 신경망은 HRNet(high Resolution Network) 네트워크이며, 상기 HRNet 네트워크는 4개의 순차적인 단계에서 저해상도 특징맵들을 생성하는 동시에 고해상도 특징맵에 1x1 컨볼루션을 적용하여 유지하도록 구성되는 것인, 실시간 시선 추적 장치
|
| 3 |
3
제2항에 있어서, 가장 고 해상도 특징맵부터 저해상도 특징맵까지의 각 채널수는 32, 64, 128, 256개이며, 최종 특징맵의 채널 수는 눈 특징점의 개수인 48개로 설정되는 것인, 실시간 시선 추적 장치
|
| 4 |
4
제3항에 있어서, 상기 특징맵 추출부에서 추출된 특징맵의 채널은 각각 눈 특징점 위치의 히트맵(heat map)을 나타내고, 상기 최종 특징맵의 48개의 채널 중 16개는 눈 가장자리 점들의 좌표에 대응하고, 30개는 홍채 가장자리 점들의 좌표에 대응하고, 나머지 2개의 채널은 각각 눈 중심의 좌표와 홍채 중심의 좌표에 대응하는 것인, 실시간 시선 추적 장치
|
| 5 |
5
제1항에 있어서, 상기 시선 벡터 예측부는 상기 예측된 눈 특징점 좌표들을 정규화하고, 정규화된 좌표들을 서포트 벡터 회귀(support vector regression) 모델에 입력하여 3차원 시선 벡터를 예측하도록 구성되는 것인, 실시간 시선 추적 장치
|
| 6 |
6
제5항에 있어서, 상기 서포트 벡터 회귀 모델의 학습 과정에서 안구의 피치(pitch) 및 요(yaw) 값을 입력하는 것인, 실시간 시선 추적 장치
|
| 7 |
7
제1항에 있어서, 상기 사용자의 눈이 닫혀 있는 경우를 판단하기 위해 EAR(Eye Aspect Raio) 값을 계산하여 측정하도록 구성된 EAR 판단부를 더 포함하는 것인, 실시간 시선 추적 장치
|
| 8 |
8
제7항에 있어서, 상기 EAR 판단부는 눈 가장자리의 가로 양 끝점 간의 거리와 세로 양 끝점 간의 거리의 비율로 EAR 값을 측정하는 것인, 실시간 시선 추적 장치
|
| 9 |
9
제8항에 있어서, 상기 EAR 판단부는 상기 측정된 EAR 값과 비교값 K를 비교함으로써, 시선 벡터 및 동공 좌표의 출력 여부를 결정하고, 상기 비교값 K는 미리 결정된 시간 동안에 측정된 상기 사용자의 EAR 값들의 중앙값(median)에 기초하여 설정되는 것인, 실시간 시선 추적 장치
|
| 10 |
10
제9항에 있어서, 상기 비교값 K는 2초 동안 측정된 상기 사용자의 EAR 값들의 중앙값의 1/2로 설정되고, 상기 측정된 EAR 값이 상기 비교값 K보다 작을 경우 눈이 닫혀 있다고 판단하여 상기 출력부에서 상기 시선 벡터 및 상기 동공 좌표를 출력하지 않는 것인, 실시간 시선 추적 장치
|
| 11 |
11
눈 특징점 기반의 실시간 시선 추적 방법에 있어서,이미지 수신부에서 사용자의 눈이 포함된 카메라 이미지를 수신하는 단계;특징맵 추출부에서 상기 이미지로부터 인공 신경망을 이용하여 특징맵(feature map)을 추출하는 단계;눈 특징점 예측부에서 상기 특징맵에 기초하여 눈 특징점 위치에 대한 예측하는 단계;시선 벡터 예측부에서 예측된 눈 특징점 위치에 기반하여 시선 벡터를 예측하는 단계; 및출력부를 통해 시선 벡터 및 동공 좌표를 출력하는 단계를 포함하는 실시간 시선 추적 방법
|
| 12 |
12
제11항에 있어서, 상기 인공 신경망은 HRNet(high Resolution Network) 네트워크이며, 상기 HRNet 네트워크는 4개의 순차적인 단계에서 저해상도 특징맵들을 생성하는 동시에 고해상도 특징맵에 1x1 컨볼루션을 적용하여 유지하도록 구성되는 것인, 실시간 시선 추적 방법
|
| 13 |
13
제12항에 있어서, 가장 고 해상도 특징맵부터 저해상도 특징맵까지의 각 채널수는 32, 64, 128, 256개이며, 최종 특징맵의 채널 수는 눈 특징점의 개수인 48개로 설정되는 것인, 실시간 시선 추적 방법
|
| 14 |
14
제13항에 있어서, 상기 특징맵 추출부에서 추출된 특징맵의 채널은 각각 눈 특징점 위치의 히트맵(heat map)을 나타내고, 상기 최종 특징맵의 48개의 채널 중 16개는 눈 가장자리 점들의 좌표에 대응하고, 30개는 홍채 가장자리 점들의 좌표에 대응하고, 나머지 2개의 채널은 각각 눈 중심의 좌표와 홍채 중심의 좌표에 대응하는 것인, 실시간 시선 추적 방법
|
| 15 |
15
제11항에 있어서, 상기 시선 벡터 예측부에서 상기 예측된 눈 특징점 좌표들을 정규화하고, 정규화된 좌표들을 서포트 벡터 회귀(support vector regression) 모델에 입력하여 3차원 시선 벡터를 예측하는 단계를 더 포함하는 실시간 시선 추적 방법
|
| 16 |
16
제11항에 있어서, EAR 판단부에서 상기 사용자의 눈이 닫혀 있는 경우를 판단하기 위해 EAR 값을 계산하여 측정하는 단계를 더 포함하는 실시간 시선 추적 방법
|
| 17 |
17
제11항 내지 제16항 중 어느 한 항에 기재된 방법을 구현하기 위한 프로그램이 저장된 컴퓨터 판독 가능한 기록매체
|
