| 1 |
1
운전자의 생체 데이터와 영상 데이터를 수집하여, 운전자의 운전 상태 정보를 저장하는 데이터 수집부;운전 상태 정보를 이용하여 운전자의 각성 상태를 구분하고 구분된 각성 상태에 따라 운전 가능 여부를 판단하는 운전자 상태 판단부; 및운전자 상태 판단부의 정보를 수신하여 운전자의 운전 가능 상태이면 운전자가 차량 제어가 가능한 상태를 유지하고 운전자의 운전 불가능 상태이면 자율 주행 상태로 전환하는 차량 제어부;를 포함하는, 자율 주행 차량의 스마트 제어 시스템
|
| 2 |
2
제1항에 있어서,상기 데이터 수집부는, 차량 운전자에게 착용되는 웨어러블 생체 센서와, 차량 운전 상태를 촬영하는 카메라를 포함하는, 자율 주행 차량의 스마트 제어 시스템
|
| 3 |
3
제2항에 있어서,상기 생체 데이터는,뇌전도(electroencephalogram, EEG), 안구전도(Electrooculography, EOG), 근전도(Electroyography, 근전도), 심전도(Electrocardiography, ECG), 피부전도도(galvanic skin response, GSR), 피부 온도(skin temperature, SKT), 호흡(Respiration, RSP), 맥파(Photoplethysmograph, PPG) 중 적어도 하나의 데이터를 포함하는, 자율 주행 차량의 스마트 제어 시스템
|
| 4 |
4
제3항에 있어서,상기 카메라는, 영상 카메라, 적외선(infrared, IR), 시각적 깊이를 촬영하는 깊이(depth) 카메라 중의 적어도 하나를 포함하는, 자율 주행 차량의 스마트 제어 시스템
|
| 5 |
5
제4항에 있어서,상기 영상 카메라 및 적외선(infrared, IR)은, 운전자의 눈깜박이는 횟수, 눈꺼풀의 동공 가림 비율, 시선 방향, 입 모양 하품 횟수 중에 적어도 하나 이상의 영상을 촬영한 영상 데이터를 촬영하는, 자율 주행 차량의 스마트 제어 시스템
|
| 6 |
6
제5항에 있어서,상기 깊이 카메라는, 얼굴 각도, 운전자의 표정, 운전자 머리의 끄덕임 중에 적어도 하나 이상의 영상을 촬영하는, 자율 주행 차량의 스마트 제어 시스템
|
| 7 |
7
제6항에 있어서,상기 운전자 상태 판단부는, 상기 데이터 수집부에 저장된 상기 생체 데이터와 상기 영상 데이터를 포함한 운전자의 운전 상태 정보를 이용하여, 데이터를 정량화하고 운전자의 상태를 판단하는 단계;상기 단계의 정량화된 데이터를 분석하여, 운전자의 각성 상태를 각성 과소 상태, 각성 최적 상태, 각성 과잉 상태 및 각성 불능 상태로 분류하는 단계; 및상기 각성 최적 상태이면 운전 가능 상태로 판단하고, 각성 과소 및 과잉 상태는 운전 부주의 상태로 판단하고, 각성 불능 상태를 운전 불가능 상태로 판단하는 단계;를 수행하는, 자율 주행 차량의 스마트 제어 시스템
|
| 8 |
8
제7항에 있어서,상기 생체 데이터를 이용한 운전자의 운전 상태의 판단은, 상기 생체 데이터를 전처리 과정을 통해 노이즈를 제거하는 단계;상기 뇌전도(electroencephalogram, EEG)에서 알파파, 세타파, 베타파에 해당하는 주파수 영역의 대역별로 PSD(power spectral density) 분석을 하고, 뇌파의 샘플 엔트로피(sample entropy)를 추출하는 단계; 및상기 생체 데이터를 시계열 데이터들 간의 패턴을 학습하는 LSTM(Long short-term memory) 알고리즘의 입력값으로 설정하고, 졸음, 피로, 작업 부하 및 스트레스의 정량적 수치를 출력값으로 도출하는 단계;를 포함하는, 자율 주행 차량의 스마트 제어 시스템
|
| 9 |
9
제8항에 있어서,상기 영상 데이터를 이용한 운전자의 운전 상태의 판단은, MTCNN(Multi-task cascaded Convolutional Neural Network) 검출기를 이용하여, 카메라로 촬영된 영상 데이터의 운전자의 얼굴을 검출하는 단계;상기 단계에서 검출된 얼굴을 이용하여 운전자 상태 판단을 위한 얼굴의 특징 요소를 추출하는 단계; 및상기 얼굴의 특징 요소를 입력값으로 하여, 졸음, 피로, 작업 부하 및 스트레스의 정량적 수치를 출력값으로 도출하는 단계;를 포함하는, 자율 주행 차량의 스마트 제어 시스템
|
| 10 |
10
제9항에 있어서,상기 차량 제어부는, (a) 상기 운전자의 각성 최적 상태로 운전 가능 상태이면, 차량 제어권을 운전자에게 부여한 상태를 유지하는 단계;(b) 상기 운전자의 각성 과소 상태이면, 운전자에게 경고하여 각성 상태를 상승시키는 단계;(c) 상기 운전자의 각성 과잉 상태이면, 차량 내부 환경을 변경 제어하고, 차량 운전 보조 시스템과 자율 주행 시스템을 활성화하여 각성 상태를 감소시키는 단계; 및(d) 상기 운전자의 각성 불능 상태로 운전 불가능 상태이면, 차량 제어권을 자율 주행 시스템으로 전환하는 단계;를 제어하는, 자율 주행 차량의 스마트 제어 시스템
|
| 11 |
11
제10항에 있어서,상기 (b) 단계는, 차량 운전자에게 시각적, 청각적 경고하고, 차량 운전석의 시트의 진동 기능을 활성화하는, 자율 주행 차량의 스마트 제어 시스템
|
| 12 |
12
제11항에 있어서,상기 (c) 단계는, 차량의 공기 조화 시스템과 음향 제어 시스템의 작동하여 차량 내부 환경을 변경 제어하는, 자율 주행 차량의 스마트 제어 시스템
|
| 13 |
13
제12항에 있어서,상기 (d) 단계는, 차량 GPS 시스템과 연계한 자율 주행시스템을 이용하여 차량을 안전 장소로 이동하도록 제어하는, 자율 주행 차량의 스마트 제어 시스템
|
| 14 |
14
(A) 운전자의 생체 데이터와 영상 데이터를 수집하여 운전자의 운전 상태 정보를 데이터 수집부에 저장하는 단계;(B) 상기 (A) 단계의 운전 상태 정보를 이용하여 운전자의 각성 상태를 구분하고, 구분된 각성 상태에 따라 운전자 상태 판단부에서 운전 가능 여부를 판단하는 단계; 및(C) 상기 운전자 상태 판단부의 정보를 수신하여 운전자의 운전 가능 상태이면 운전자가 차량 제어가 가능한 상태를 유지하고 운전자의 운전 불가능 상태이면 자율 주행 상태로 전환하는 단계;를 포함하는, 자율 주행 차량의 스마트 제어 방법
|
| 15 |
15
제14항에 있어서,상기 (A) 단계에서,상기 생체 데이터는 차량 운전자에게 착용되는 웨어러블 생체 센서를 이용하여 수집되고, 상기 영상 데이터는, 차량 운전 상태를 촬영하는 카메라를 이용하여 수집되는, 자율 주행 차량의 스마트 제어 방법
|
| 16 |
16
제15항에 있어서,상기 카메라는, 영상 카메라, 적외선(infrared, IR), 시각적 깊이를 촬영하는 깊이(depth) 카메라 중의 적어도 하나를 포함하는, 자율 주행 차량의 스마트 제어 방법
|
| 17 |
17
제16항에 있어서,상기 영상 카메라 및 적외선(infrared, IR)은, 운전자의 눈깜박이는 횟수, 눈꺼풀의 동공 가림 비율, 시선 방향, 입 모양 하품 횟수 중에 적어도 하나 이상의 영상을 촬영한 영상 데이터를 촬영하는, 자율 주행 차량의 스마트 제어 방법
|
| 18 |
18
제16항에 있어서,상기 깊이 카메라는, 얼굴 각도, 운전자의 표정, 운전자 머리의 끄덕임 중에 적어도 하나 이상의 영상을 촬영하는, 자율 주행 차량의 스마트 제어 방법
|
| 19 |
19
제15항에 있어서,상기 생체 데이터는, 뇌전도(electroencephalogram, EEG), 안구전도(Electrooculography, EOG), 근전도(Electroyography, 근전도), 심전도(Electrocardiography, ECG), 피부전도도(galvanic skin response, GSR), 피부 온도(skin temperature, SKT), 호흡(Respiration, RSP), 맥파(Photoplethysmograph, PPG) 중 적어도 하나의 데이터를 포함하는, 자율 주행 차량의 스마트 제어 방법
|
| 20 |
20
제14항에 있어서,상기 (B) 단계는, (B-1) 상기 데이터 수집부에 저장된 상기 생체 데이터와 상기 영상 데이터를 포함한 운전자의 운전 상태 정보를 이용하여, 데이터를 정량화하고 운전자의 상태를 판단하는 단계;(B-2) 상기 (B-1) 단계의 정량화된 데이터를 분석하여, 운전자의 각성 상태를 각성 과소 상태, 각성 최적 상태, 각성 과잉 상태 및 각성 불능 상태로 분류하는 단계; 및(B-3) 상기 각성 최적 상태이면 운전 가능 상태로 판단하고, 각성 과소 및 과잉 상태는 운전 부주의 상태로 판단하고, 각성 불능 상태를 운전 불가능 상태로 판단하는 단계;를 포함하는, 자율 주행 차량의 스마트 제어 방법
|
| 21 |
21
제20항에 있어서,상기 (B-1) 단계의 생체 데이터를 이용한 운전자의 운전 상태의 판단은, 상기 생체 데이터를 전처리 과정을 통해 노이즈를 제거하는 단계;상기 뇌전도(electroencephalogram, EEG)에서 알파파, 세타파, 베타파에 해당하는 주파수 영역의 대역별로 PSD(power spectral density) 분석을 하고, 뇌파의 샘플 엔트로피(sample entropy)를 추출하는 단계; 및상기 생체 데이터를 시계열 데이터들 간의 패턴을 학습하는 LSTM(Long short-term memory) 알고리즘의 입력값으로 설정하고, 졸음, 피로, 작업 부하 및 스트레스의 정량적 수치를 출력값으로 도출하는 단계;를 포함하는, 자율 주행 차량의 스마트 제어 방법
|
| 22 |
22
제21항에 있어서,상기 (B-1) 단계의 상기 영상 데이터를 이용한 운전자의 운전 상태의 판단은, MTCNN(Multi-task cascaded Convolutional Neural Network) 검출기를 이용하여, 카메라로 촬영된 영상 데이터의 운전자의 얼굴을 검출하는 단계;상기 단계에서 검출된 얼굴을 이용하여 운전자 상태 판단을 위한 얼굴의 특징 요소를 추출하는 단계; 및상기 얼굴의 특징 요소를 입력값으로 하여, 졸음, 피로, 작업 부하 및 스트레스의 정량적 수치를 출력값으로 도출하는 단계;를 포함하는, 자율 주행 차량의 스마트 제어 방법
|
| 23 |
23
제22항에 있어서,상기 (C) 단계는, (c-1) 상기 운전자의 각성 최적 상태로 운전 가능 상태이면, 차량 제어권을 운전자에게 부여한 상태를 유지하는 단계;(c-2) 상기 운전자의 각성 과소 상태이면, 운전자에게 경고하여 각성 상태를 상승시키는 단계;(c-3) 상기 운전자의 각성 과잉 상태이면, 차량 내부 환경을 변경 제어하고, 차량 운전 보조 시스템과 자율 주행 시스템을 활성화하여 각성 상태를 감소시키는 단계; 및(c-4) 상기 운전자의 각성 불능 상태로 운전 불가능 상태이면, 차량 제어권을 자율 주행 시스템으로 전환하는 단계;를 포함하는, 자율 주행 차량의 스마트 제어 방법
|
| 24 |
24
제23항에 있어서,상기 (C-2) 단계는, 차량 운전자에게 시각적, 청각적 경고하고, 차량 운전석의 시트의 진동 기능을 활성화하는, 자율 주행 차량의 스마트 제어 방법
|
| 25 |
25
제24항에 있어서,상기 (C-3) 단계는, 차량의 공기 조화 시스템과 음향 제어 시스템의 작동하여 차량 내부 환경을 변경 제어하는, 자율 주행 차량의 스마트 제어 방법
|
