| 1 |
1
운전자의 생체 정보 및 상기 운전자의 얼굴 이미지 정보를 수신하는 정보 수신부;상기 수신한 생체 정보 및 얼굴 이미지 정보를 기설정된 기계학습 모델에 적용하여 학습하는 학습부; 및상기 학습에 기초하여 상기 운전자의 상태를 분류하는 분류부를 포함하되,상기 학습부는,상기 정보 수신부에서 수신한 얼굴 이미지 정보에 대한 특징을 추출하는 특징 추출부;상기 특징 추출부에서 추출한 얼굴 이미지 정보에 대한 특징 및 상기 생체 정보에 기초하여 멀티-모달 네트워크(multi-modal network)를 형성하는 멀티-모달 네트워크 형성부; 및상기 멀티-모달 네트워크 형성부에서 형성된 멀티-모달 네트워크의 출력값을 기 설정된 모드의 순서와 기 설정된 시간 순서에 따라 상기 출력값을 정렬하고, 상기 출력값을 조합함으로써 대표 정보를 생성하는 대표 정보 생성부를 포함하고,상기 멀티-모달 네트워크 형성부는 DBM(Deep Boltzmann Machine)을 이용하여 상기 얼굴 이미지 정보와 상기 생체 정보에 대한 각 모달리티를 재구성하고,상기 멀티-모달 네트워크의 입력값으로서 상기 생체 정보 및 상기 얼굴 이미지 정보는 3초 단위로 자른 데이터이고,기 설정된 상기 모드의 순서는 차례대로 눈 이미지 데이터, 입 이미지 데이터 및 광혈류측정(PPG) 데이터 순서이고, 상기 시간 순서는 1초 단위로 자른 데이터의 순서인 것을 특징으로 하는 멀티모달 학습 기반의 운전자 상태 인식 시스템
|
| 2 |
2
제1항에 있어서,상기 생체 정보는 광혈류측정(Photoplethysmography, PPG)이고, 상기 얼굴 이미지 정보는 눈 모양 및 입 모양에 대한 정보인 것을 특징으로 하는 멀티모달 학습 기반의 운전자 상태 인식 시스템
|
| 3 |
3
삭제
|
| 4 |
4
삭제
|
| 5 |
5
(a) 운전자의 생체 정보 및 상기 운전자의 얼굴 이미지 정보를 수신하는 단계;(b) 상기 수신한 얼굴 이미지 정보에 대한 특징을 추출하는 단계;(c) 상기 추출한 얼굴 이미지 정보에 대한 특징 및 상기 생체 정보에 기초하여 멀티-모달 네트워크(multi-modal network)를 형성하는 단계;(d) 상기 형성된 멀티-모달 네트워크의 출력값을 기 설정된 모드의 순서와 기 설정된 시간 순서에 따라 상기 출력값을 정렬하고, 상기 출력값을 조합함으로써 대표 정보를 생성하는 단계; 및(e) 상기 생성된 대표 정보에 기초하여 운전자의 상태를 분류하는 단계를 포함하고,상기 (c)단계에서 DBM(Deep Boltzmann Machine)을 이용하여 상기 얼굴 이미지 정보와 상기 생체 정보에 대한 각 모달리티를 재구성하고,상기 멀티-모달 네트워크의 입력값으로서 상기 생체 정보 및 상기 얼굴 이미지 정보는 3초 단위로 자른 데이터이고,상기 (d)단계에서 기 설정된 상기 모드의 순서는 차례대로 눈 이미지 데이터, 입 이미지 데이터 및 광혈류측정(PPG) 데이터 순서이고, 상기 시간 순서는 1초 단위로 자른 데이터의 순서인 멀티모달 학습 기반의 운전자 상태 인식 방법
|
| 6 |
6
제5항에 있어서,상기 생체 정보는 광혈류측정(Photoplethysmography, PPG)이고, 상기 얼굴 이미지 정보는 눈 모양 및 입 모양에 대한 정보인 것을 특징으로 하는 멀티모달 학습 기반의 운전자 상태 인식 방법
|
| 7 |
7
삭제
|
| 8 |
8
삭제
|
