| 1 |
1
딥 러닝 기반의 운전자 시선 추적 장치에 있어서, 운전자 영상을 입력 받는 운전자 영상 입력부;입력된 운전자 영상에서 얼굴 특징 식별 점들을 추적하고, 탐지한 얼굴 특징 식별 점에 기초하여 얼굴 영역 이미지, 왼 눈 영역 이미지 및 오른 눈 영역 이미지를 추출하는 특징 영역 검출부;얼굴 영역 이미지, 왼 눈 영역 이미지 및 오른 눈 영역 이미지를 이용하여 각 영역 이미지의 딥 러닝 특징 세트를 출력하는 딥 러닝 특징 추출부; 및출력한 특징 세트와 저장된 시선 영역의 특징 세트들을 이용하여 운전자의 시선 영역을 분류하는 운전자 시선 추적부를 포함하되,상기 운전자 시선 추적부는상기 얼굴 영역 이미지, 왼 눈 영역 이미지 및 오른 눈 영역 이미지를 이용하여 출력한 특징 세트와 학습 데이터를 이용하여 미리 저장된 복수의 시선 영역에 대하여 저장된 특징 세트들 사이의 유클리디안 거리를 계산하는 시선 영역 거리 계산부; 및상기 얼굴 영역 이미지, 왼 눈 영역 이미지 및 오른 눈 영역 이미지에 대하여 각각 계산된 3개의 유클리디안 거리를 점수 레벨 융합(score level fusion) 방법에 의해 결합하고, 복수의 시선 영역에 대해 결합된 점수가 최소인 시선 영역을 운전자 시선 영역으로 결정하는 운전자 시선 분류부를 포함하고,상기 점수 레벨 융합(score level fusion) 방법은 가중 합(weighted SUM) 또는 가중 곱(weighted PRODUCT) 방법을 이용하는 딥 러닝 기반의 운전자 시선 추적 장치
|
| 2 |
2
제1항에 있어서, 상기 딥 러닝 특징 추출부는딥 러닝 기반의 CNN(Convolutional Neural Networks)을 이용하여 얼굴 시선 추적을 학습하는 딥러닝부;상기 얼굴 영역 이미지, 상기 왼 눈 영역 이미지 및 상기 오른 눈 영역 이미지를 변환하여 상기 CNN에 입력하고, 각 이미지의 특징 값을 추출하는 특징 값 추출부; 및추출된 특징 값들을 정규화 하고, 정규화 된 특징 값들을 포함한 특징 세트를 생성하는 특징 세트 생성부를 포함하는 딥 러닝 기반의 운전자 시선 추적 장치
|
| 3 |
3
제2항에 있어서, 상기 딥러닝부는상기 얼굴 영역 이미지, 상기 왼 눈 영역 이미지, 상기 오른 눈 영역 이미지를 각각 224×224 픽셀의 이미지로는 크기를 변환하여 각각 4096개의 특징 값을 추출하고, 17개의 시선 영역에 대해 기계 학습하는 딥 러닝 기반의 운전자 시선 추적 장치
|
| 4 |
4
제3항에 있어서, 상기 딥러닝부는13개의 컨벌루션 레이어, 5개의 풀링 레이어 및 3개의 완전 연결 레이어를 포함한 CNN 구조를 이용하되,상기 13개의 컨벌루션 레이어들에서 이용된 커널 사이즈는 3×3, 패딩 수는 1×1 및 스트라이드 수는 1×1이고, 필터의 수만 64, 128, 256 및 512로 변화하고, 각 풀링 레이어는 커널 사이즈 2×2, 스트라이드 수 2×2 및 패딩 수 0×0를 포함하는 딥 러닝 기반의 운전자 시선 추적 장치
|
| 5 |
5
제4항에 있어서, 상기 딥러닝부는 상기 3개의 완전 연결 레이어는 4096×1, 4096×1 및 17×1의 특징 맵들을 각각 출력하는 딥 러닝 기반의 운전자 시선 추적 장치
|
| 6 |
6
제2항에 있어서, 상기 특징 세트 생성부는 상기 얼굴 영역 이미지, 상기 왼 눈 영역 이미지 및 상기 오른 눈 영역 이미지로부터 추출된 특징 값들을 최소 최대 스케일링(min-max scaling) 방법을 이용하여 정규화 하는 딥 러닝 기반의 운전자 시선 추적 장치
|
| 7 |
7
삭제
|
| 8 |
8
삭제
|
| 9 |
9
딥 러닝 기반의 운전자 시선 추적 방법에 있어서,운전자 얼굴 영상을 입력 받는 단계;상기 운전자 얼굴 영상에서 얼굴 특징 식별 점을 추적하여 얼굴 특징 식별 점을 탐지하는 단계;상기 얼굴 특징 식별 점에 기반하여 얼굴 영역 이미지, 왼 눈 영역 이미지 및 오른 눈 영역 이미지를 추출하는 단계;상기 얼굴 영역 이미지, 상기 왼 눈 영역 이미지 및 상기 오른 눈 영역 이미지 등 검출된 3개의 이미지들에 대하여 각각 딥 러닝 기반의 CNN(Convolutional Neural Networks)을 수행하여 특징 값들을 포함한 특징 세트를 생성하는 단계; 및상기 특징 세트를 이용하여 운전자의 시선 영역을 분류하는 단계를 포함하되,상기 특징 세트를 이용하여 운전자의 시선 영역을 분류하는 단계는상기 얼굴 영역 이미지, 왼 눈 영역 이미지 및 오른 눈 영역 이미지를 이용하여 출력한 상기 특징 세트와 미리 저장된 복수의 시선 영역 특징 세트들 간의 각 영역 이미지의 유클리디안 거리를 산출하는 단계; 및상기 얼굴 영역 이미지, 왼 눈 영역 이미지 및 오른 눈 영역 이미지에 상응하는 유클리디안 거리를 이용하여 운전자 시선 영역을 분류하는 단계를 포함하고, 상기 얼굴 영역 이미지, 왼 눈 영역 이미지 및 오른 눈 영역 이미지에 상응하는 유클리디안 거리를 이용하여 운전자 시선 영역을 분류하는 단계는 산출한 각 영역 이미지의 유클리디안 거리의 레벨 융합(score level fusion) 방법에 의해 결합하고, 복수의 시선 영역에 대해 결합된 점수가 최소인 시선 영역을 운전자 시선 영역으로 결정하고, 상기 레벨 융합(score level fusion) 방법은가중 합(weighted SUM) 또는 가중 곱(weighted PRODUCT) 방법을 이용하는 딥 러닝 기반의 운전자 시선 추적 방법
|
| 10 |
10
제9항에 있어서,상기 3개의 이미지들에 대하여 각각 딥 러닝 기반의 CNN을 수행하여 특징 값들을 포함한 특징 세트를 생성하는 단계는딥 러닝 기반의 CNN을 이용하여 얼굴 시선 추적을 학습하는 단계;상기 얼굴 영역 이미지, 상기 왼 눈 영역 이미지 및 상기 오른 눈 영역 이미지를 변환하여 상기 CNN에 입력하고, 각 이미지의 특징 값을 추출하는 단계; 및추출된 특징 값들을 정규화 하고, 정규화 된 특징 값들을 포함한 특징 세트를 생성하는 단계를 포함하는 딥 러닝 기반의 운전자 시선 추적 방법
|
| 11 |
11
삭제
|
| 12 |
12
삭제
|
| 13 |
13
삭제
|
| 14 |
14
제9항 또는 제10항의 딥 러닝 기반의 운전자 시선 추적 방법을 실행하고 컴퓨터가 판독 가능한 기록매체에 기록된 컴퓨터 프로그램
|
