| 1 |
1
대상 사람의 얼굴 영상 I(x,y)을 입력받아 입력층/은닉층/출력층을 포함하는 인공 신경망(ANN) 기술을 사용하여 상기 얼굴 영상 I(x,y)으로부터 N개의 얼굴 특징점들을 추출하고, 상기 N개의 얼굴 특징점에 대한 좌표 와 P개의 얼굴 정보 {, , …}들을 출력하는 얼굴 특징점 추출부;상기 얼굴 영상 I(x,y)과 상기 얼굴 특징점 추출부로부터 상기 N개의 얼굴 특징점들을 입력받아 M개의 주요 영상 {, , …}들을 출력하는 특징점 기반 영상 추출부; 및 상기 특징점 기반 영상 추출부의 상기 M개의 주요 영상들과 상기 얼굴 특징점 추출부의 출력인 P개의 얼굴 정보들을 입력받아 인공 신경망 기술을 사용하여 Attention 벡터 계산부에 의해 계산된 얼굴 영상의 눈동자의 시선 추적 결과를 출력하는 시선 추적부를 포함하며,상기 특징점 기반 영상 추출부는 영상 처리를 통해 구현되며 2차원(흑백) 또는 3차원(RGB) 입력 영상의 픽셀(Pixel)은 각각 2차원(width, height), 3차원(channel, width, height)의 배열로 표현될 수 있고, 배열의 값은 밝기(2차원) 또는 색(3차원)을 나타내며, 상기 특징점 기반 영상 추출부는 상기 얼굴 특징점 추출부에서 출력된 N개의 얼굴 특징점 좌표를 통해 이러한 배열에서 원하는 부분을 추출할 수 있으며, 추출된 부분은 입력 영상의 차원에 따라 2차원 또는 3차원의 영상이 되며, 이러한 과정을 M번 반복하여 M개의 주요 영상 {, , …}들을 추출하고, 상기 시선 추적부는 인공 신경망(Artificial Neural Network)을 통해 구현되며, 특징점 기반으로 추출된 개의 주요 영상과 P개의 얼굴 정보들을 입력받아, TV 모니터 화면의 중앙 상단에 구비된 거리 측정 센서에 의해 시청자의 얼굴 영상의 눈동자와 TV 모니터 화면과의 거리를 측정하고, 총 L-1개의 은닉층의 레이어들을 거쳐 최종적으로 얼굴 영상의 눈동자의 시선이 포커싱된 TV 모니터 화면의 2차원의 좌표 벡터 [attention]를 출력하는, 얼굴 영상 기반의 시선 추적 시스템
|
| 2 |
2
제1항에 있어서, 상기 N개의 얼굴 특징점들은 얼굴 영상의 특징을 나타내는 눈, 눈썹, 코, 입, 윤곽선의 특징점들을 포함하는 얼굴 영상 기반의 시선 추적 시스템
|
| 3 |
3
제1항에 있어서, 상기 얼굴 특징점 추출부는 입력층/L-1개의 은닉층/출력층의 다층 구조의 딥러닝의 컨볼루션 신경망(CNN)을 사용하는, 얼굴 영상 기반의 시선 추적 시스템
|
| 4 |
4
제1항에 있어서, 상기 얼굴 특징점 추출부는 입력 얼굴 영상 I(x,y)으로부터 상기 N개의 얼굴 특징점들을 추출하며, 입력층/L-1개 은닉층/출력층을 포함하는 인공 신경망(Artificial Neural Network)으로 구현되고, 상기 얼굴 특징점 추출부는 먼저 입력 얼굴 영상의 모든 픽셀 정보를 일렬로 나열하여 하나의 커다란 벡터 로 만든 후, 다음과 같은 함수를 반복 적용하여 출력 벡터 를 계산하며, 즉, 입력 얼굴 영상을 나타내는 벡터는 로 설정되어, 총 L개의 층들을 거치며 , ,
|
| 5 |
5
삭제
|
| 6 |
6
삭제
|
| 7 |
7
제1항에 있어서, 상기 시선 추적부는 상기 얼굴 특징점 추출부와 다른 인공신경망 알고리즘을 사용되며, 상기 얼굴 특징점 추출부와 마찬가지로 입력층, L-1개의 은닉 층, 출력층을 가지며, AlexNet, VGGNet, ResNet 중 어느 하나의 딥러닝 알고리즘을 사용하여 얼굴 영상의 눈동자의 시선이 향하는 대상(TV 모니터)에 포커싱되는 2차원 (x,y) 좌표[attention]의 시선 추적 결과를 출력하는, 얼굴 영상 기반의 시선 추적 시스템
|
| 8 |
8
(a) 카메라로부터 얼굴 영상 I(x,y)을 입력받아 얼굴 특징점 추출부가 입력층/은닉층/출력층을 포함하는 인공 신경망(ANN) 기술을 사용하여 상기 얼굴 영상 I(x,y)으로부터 N개의 얼굴 특징점들을 추출하고, 상기 N개의 얼굴 특징점들에 대한 좌표 와 P개의 얼굴 정보 {, , …}들을 출력하는 단계;(b) 상기 얼굴 영상 I(x,y)과 상기 얼굴 특징점 추출부로부터 상기 N개의 얼굴 특징점들을 특징점 기반 영상 추출부로 입력받아 상기 특징점 기반 영상 추출부가 M개의 주요 영상 {, , …}들을 출력하는 단계; 및 (c) 상기 특징점 기반 영상 추출부의 출력인 M개의 주요 영상들과 상기 얼굴 특징점 추출부의 P개의 얼굴 정보들을 시선 추적부로 입력받아, 상기 시선 추적부가 인공 신경망 기술을 사용하여 Attention 벡터 계산부에 의해 특징점 기반 영상 추출부에 의해 특징점 기반 추출된 영상과 상기 N개의 얼굴 특징점들을 기반으로 얼굴 영상의 눈동자의 시선이 향하는 대상(TV 모니터)에 포커싱되는 2차원 (x,y) 좌표[attention]의 시선 추적 결과를 출력하는 단계를 포함하며, 상기 단계 (b)의 상기 특징점 기반 영상 추출부는 영상 처리를 통해 구현되며, 2차원(흑백) 또는 3차원(RGB) 입력 영상의 픽셀(Pixel)은 각각 2차원(width, height), 3차원(channel, width, height)의 배열로 표현될 수 있고, 배열의 값은 밝기(2차원) 또는 색(3차원)을 나타내며, 상기 특징점 기반 영상 추출부는 상기 얼굴 특징점 추출부에서 출력된 N개의 얼굴 특징점 좌표를 통해 이러한 배열에서 원하는 부분을 추출할 수 있으며, 추출된 부분은 입력 영상의 차원에 따라 2차원 또는 3차원의 영상이 되며, 이러한 과정을 M번 반복하여 M개의 주요 영상 {, , …}들을 추출하고, 상기 단계 (c)의 상기 시선 추적부는 인공 신경망(Artificial Neural Network)을 통해 구현되며, 특징점 기반으로 추출된 개의 주요 영상과 P개의 얼굴 정보들을 입력받는 단계; TV 모니터 화면의 중앙 상단에 구비된 거리 측정 센서에 의해 시청자의 얼굴 영상의 눈동자와 TV 모니터 화면과의 거리를 측정하는 단계; 및 총 L-1개의 은닉층의 레이어들을 거쳐 얼굴 영상의 눈동자의 시선으로부터 포커싱된 TV 모니터 화면의 2차원 (x,y) 좌표와의 거리(distance)[거리 측정 센서로 측정]를 통해 얼굴 영상의 눈동자의 시선 벡터 a(vector)의 상하좌우 각도와 크기와 방향을 포함하는 시선 추적 결과를 계산하도록, 최종적으로 얼굴 영상의 눈동자의 시선이 포커싱된 대상(TV 모니터)의 2차원의 좌표 벡터 [attention]를 출력하는 단계를 포함하는 얼굴 영상 기반의 시선 추적 방법
|
| 9 |
9
제8항에 있어서, 상기 N개의 얼굴 특징점들은 얼굴 영상의 특징을 나타내는 눈, 눈썹, 코, 입, 윤곽선의 특징점들을 포함하는 얼굴 영상 기반의 시선 추적 방법
|
| 10 |
10
제9항에 있어서, 상기 얼굴 특징점 추출부는 입력층/L-1개의 은닉층/출력층의 다층 구조의 딥러닝의 컨볼루션 신경망(CNN)을 사용하는, 얼굴 영상 기반의 시선 추적 방법
|
| 11 |
11
제9항에 있어서, 상기 단계 (a)의 상기 얼굴 특징점 추출부는 입력 얼굴 영상 I(x,y)으로부터 N개의 얼굴 특징점들을 추출하기 위해, 상기 얼굴 특징점 추출부는 먼저 입력 얼굴 영상의 모든 픽셀 정보를 일렬로 나열하여 하나의 커다란 벡터 로 만든 후, 다음과 같은 함수를 반복 적용하여 출력 벡터 를 계산하는 단계; 즉, 입력 얼굴 영상을 나타내는 벡터는 로 설정되어, 총 L개의 층들을 거치며 , ,
|
| 12 |
12
삭제
|
| 13 |
13
삭제
|
| 14 |
14
제9항에 있어서, 상기 단계 (c)의 상기 시선 추적부는 상기 얼굴 특징점 추출부와 다른 인공신경망 알고리즘을 사용되며, 상기 얼굴 특징점 추출부와 마찬가지로 입력층, L-1개의 은닉 층, 출력층을 가지며, AlexNet, VGGNet, ResNet 중 어느 하나의 딥러닝 알고리즘을 사용하여 얼굴 영상의 눈동자의 시선이 향하는 대상(TV 모니터)에 포커싱되는 2차원 (x,y) 좌표(attention)의 시선 추적 결과를 출력하는, 얼굴 영상 기반의 시선 추적 방법
|
