| 1 |
1
운전자의 얼굴 이미지로부터 눈과 입의 위치정보를 추출하고, 동시에 상기 운전자의 PPG(Photoplethysmogram:생리학 데이터)를 수집하는 전처리부;상기 눈과 입의 위치정보를 상기 PPG와 하나로 융합하는 멀티모달 네트워크; 및상기 멀티모달 네트워크에서 융합된 눈과 입의 위치정보를 상기 PPG와 융합한 융합 데이터를 가지고 운전자의 졸음상태를 파악하는 분류 네트워크;를 포함하고,상기 전처리부는차량 내에 장착된 카메라가 촬영한 운전자 얼굴 이미지를 수신하여 수집하는 이미지 수집부;상기 운전자 얼굴 이미지로부터 눈과 입의 위치정보를 추출하는 주제어부; 및상기 운전자의 혈류량 변화를 통하여 심박수를 측정한 값인 PPG를 수집하는 PPG 수집부;를 포함하고,상기 주제어부는 상기 PPG 수집부가 수집한 PPG를 표준화하고,상기 멀티모달 네트워크는 상기 전처리부에서 전달되는 눈과 입의 위치정보 데이터를 수신하여, 해당 눈과 입의 특징을 추출하는 컨볼루션 신경망; 상기 컨볼루션 신경망에서 추출한 상기 눈과 입의 특징을 하나의 레이어로 재구성하는 레이어 재구성부; 및 상기 레이어와 상기 주제어부에 의해 표준화한 PPG를 하나의 JR(Joint Representation)로 융합하여 구성하는 JR 구성부;를 포함하고,상기 JR 구성부는 상기 컨볼루션 신경망이 추출한 눈과 입의 특징과, 상기 주제어부(120)가 표준화한 PPG를 시간순으로 정렬하는 정렬 방식(Sorting)으로 융합하여 하나의 데이터로 재구성하는 이미지와 PPG 데이터를 이용한 멀티모달 딥러닝 기반의 운전자 졸음감지 시스템
|
| 2 |
2
삭제
|
| 3 |
3
제 1항에 있어서,상기 주제어부는 MTCNN(Multi-Task Cascaded Convol- utional Networks)을 사용하여 운전자 얼굴 이미지로부터 필요한 눈과 입의 위치정보를 추출하는 이미지와 PPG 데이터를 이용한 멀티모달 딥러닝 기반의 운전자 졸음감지 시스템
|
| 4 |
4
삭제
|
| 5 |
5
삭제
|
| 6 |
6
삭제
|
| 7 |
7
제 1항에 있어서, 상기 분류 네트워크는 상기 멀티모달 네트워크에서 융합된 눈과 입의 특징 및 PPG의 융합 데이터를 수신하고, 시간변화를 고려한 RNN(Recurrent Neural Networks)을 적용하여 정상, 가벼운 졸음, 깊은 졸음으로 운전자의 졸음 상태를 분류하는 이미지와 PPG 데이터를 이용한 멀티모달 딥러닝 기반의 운전자 졸음감지 시스템
|
| 8 |
8
제 7항에 있어서, 상기 RNN은 데이트 게이트와 리셋 게이트를 통하여 필요한 정보와 필요하지 않은 정보를 구분하고, 과거 정보라도 중요한 경우 현재에 반영이 가능한 GRU셀로 구성되는 이미지와 PPG 데이터를 이용한 멀티모달 딥러닝 기반의 운전자 졸음감지 시스템
|
