| 1 |
1
데이터 수집 과정에서 발생하는 일반운전과 졸음운전 데이터 사이의 불균형 문제를 최소화하기 위한 전처리 과정을 수행하는 데이터 전처리부;상기 데이터 전처리부에서 전처리된 데이터들의 통계적 특징과 시계열 특징들에 대해 유의미성을 검증하여 각 졸음운전 유형 별로 의미 있는 특징들을 선택하는 특징 추출 및 중요도 분석부;특징 추출 및 중요도 분석부에서의 특징 추출 및 중요도 분석을 통하여 분류된 각 유형 별 졸음운전 감지를 위한 다수의 서브네트워크들로 구성된 앙상블 딥러닝 모델을 통해 졸음운전을 감지하는 앙상블 딥러닝 졸음운전 감지부;를 포함하는 것을 특징으로 하는 졸음운전 형태 분류 및 앙상블 딥러닝 기반의 졸음운전 인식을 위한 장치
|
| 2 |
2
제 1 항에 있어서, 구축된 앙상블 딥러닝 모델이 실제 차량 내 임베디드 장치에서 동작할 수 있도록 온디바이스 졸음운전 감지를 위한 온보딩 기법을 적용하는 것을 특징으로 하는 졸음운전 형태 분류 및 앙상블 딥러닝 기반의 졸음운전 인식을 위한 장치
|
| 3 |
3
제 2 항에 있어서, 온디바이스 졸음운전 감지를 위한 온보딩은,실제 차량 환경에서 수집되는 저해상도 센서 데이터를 제안하는 업샘플링 기법을 통해 고해상도 데이터로 변환하는 업샘플링 및,임베디드 장치에서 각 특징들의 연산 시간과 감지 성능을 고려한 스코어링 모델과 계산된 각 특징들의 스코어를 기준으로 특징을 선택하는 특징 선택 및,앙상블 딥러닝 모델 내 서브네트워크들을 졸음운전의 형태에 따라 그룹으로 분류하고, 이후 각 그룹을 지식 증류 기법을 이용해 경량화 서브네트워크를 생성하고 이들로 구성된 경량화 된 딥러닝 모델을 생성하는 모델 압축에 의해 이루어지는 것을 특징으로 하는 졸음운전 형태 분류 및 앙상블 딥러닝 기반의 졸음운전 인식을 위한 장치
|
| 4 |
4
제 1 항에 있어서, 특징 추출 및 중요도 분석부는 졸음 지속시간 기반의 졸음운전 형태 분류를 하고,운전자가 차량의 조작 능력을 장시간 상실하여 차량의 움직임이 주변 도로상황에 관계없이 단순해져 차선을 이탈하거나 전방 차량과의 거리를 유지하지 못하는 형태로 차량 움직임이 관측되는 긴 졸음운전과,운전자가 단시간 동안 조작 능력을 상실하고 회복하는 과정에서 차량의 움직임이 급격하게 변화되어 지그재그 형태의 움직임과 급가속, 급정거하는 형태의 움직임이 관측되는 짧은 졸음운전으로 분류하는 것을 특징으로 하는 졸음운전 형태 분류 및 앙상블 딥러닝 기반의 졸음운전 인식을 위한 장치
|
| 5 |
5
제 1 항에 있어서, 데이터 전처리부에서의 전처리 단계는,입력 데이터를 졸음운전 감지 시 사용되는 세그먼트로 변환하기 위한 것으로, 데이터 변환(data conversion) 과정, 정규화(normalization) 과정, 불균형 데이터 처리(imbalance handling) 과정을 포함하는 것을 특징으로 하는 졸음운전 형태 분류 및 앙상블 딥러닝 기반의 졸음운전 인식을 위한 장치
|
| 6 |
6
제 5 항에 있어서, 불균형 데이터 처리는 생성된 세그먼트 중 일반운전 데이터를 포함한 세그먼트를 삭제하여 일반운전과 졸음운전 데이터의 비율을 조절하는 것으로,불균형 데이터 처리는 주행 데이터 내 졸음운전 데이터와 인접한 k 개의 데이터를 마스킹하고, 이후 마스킹 되지 않은 데이터들을 대상으로 언더 샘플링을 시행하여 운전자의 상태가 변화할 때 나타나는 시간적 특징(temporal feature)을 보존하고,이후 수집한 데이터 셋의 불균형을 재확인하고, 여전히 불균형이 심각한 경우 동일한 방법으로 언더샘플링을 재수행하고, 슬라이딩 윈도우(sliding window) 기법을 적용하여 고정된 크기의 세그멘트를 생성하는 것을 특징으로 하는 졸음운전 형태 분류 및 앙상블 딥러닝 기반의 졸음운전 인식을 위한 장치
|
| 7 |
7
데이터 수집 과정에서 발생하는 일반운전과 졸음운전 데이터 사이의 불균형 문제를 최소화하기 위한 전처리 과정을 수행하는 데이터 전처리 단계;상기 데이터 전처리 단계에서 전처리된 데이터들의 통계적 특징과 시계열 특징들에 대해 유의미성을 검증하여 각 졸음운전 유형 별로 의미 있는 특징들을 선택하는 특징 추출 및 중요도 분석 단계;특징 추출 및 중요도 분석 단계에서의 특징 추출 및 중요도 분석을 통하여 분류된 각 유형 별 졸음운전 감지를 위한 다수의 서브네트워크들로 구성된 앙상블 딥러닝 모델을 통해 졸음운전을 감지하는 앙상블 딥러닝 졸음운전 감지 단계;를 포함하는 것을 특징으로 하는 졸음운전 형태 분류 및 앙상블 딥러닝 기반의 졸음운전 인식을 위한 방법
|
| 8 |
8
제 7 항에 있어서, 특징 추출 및 중요도 분석 단계에서 졸음 지속시간 기반의 졸음운전 형태 분류를 하고,운전자가 차량의 조작 능력을 장시간 상실하여 차량의 움직임이 주변 도로상황에 관계없이 단순해져 차선을 이탈하거나 전방 차량과의 거리를 유지하지 못하는 형태로 차량 움직임이 관측되는 긴 졸음운전과,운전자가 단시간 동안 조작 능력을 상실하고 회복하는 과정에서 차량의 움직임이 급격하게 변화되어 지그재그 형태의 움직임과 급가속, 급정거하는 형태의 움직임이 관측되는 짧은 졸음운전으로 분류하는 것을 특징으로 하는 졸음운전 형태 분류 및 앙상블 딥러닝 기반의 졸음운전 인식을 위한 방법
|
| 9 |
9
제 7 항에 있어서, 데이터 전처리 단계는,입력 데이터를 졸음운전 감지 시 사용되는 세그먼트로 변환하기 위한 것으로, 데이터 변환(data conversion) 과정, 정규화(normalization) 과정, 불균형 데이터 처리(imbalance handling) 과정을 포함하는 것을 특징으로 하는 졸음운전 형태 분류 및 앙상블 딥러닝 기반의 졸음운전 인식을 위한 방법
|
| 10 |
10
제 9 항에 있어서, 불균형 데이터 처리는 생성된 세그먼트 중 일반운전 데이터를 포함한 세그먼트를 삭제하여 일반운전과 졸음운전 데이터의 비율을 조절하는 것으로,불균형 데이터 처리는 주행 데이터 내 졸음운전 데이터와 인접한 k 개의 데이터를 마스킹하고, 이후 마스킹 되지 않은 데이터들을 대상으로 언더 샘플링을 시행하여 운전자의 상태가 변화할 때 나타나는 시간적 특징(temporal feature)을 보존하고,이후 수집한 데이터 셋의 불균형을 재확인하고, 여전히 불균형이 심각한 경우 동일한 방법으로 언더샘플링을 재수행하고, 슬라이딩 윈도우(sliding window) 기법을 적용하여 고정된 크기의 세그멘트를 생성하는 것을 특징으로 하는 졸음운전 형태 분류 및 앙상블 딥러닝 기반의 졸음운전 인식을 위한 방법
|
| 11 |
11
제 7 항에 있어서, 앙상블 딥러닝 졸음운전 감지 단계에서 앙상블 딥러닝 모델은,짧은 졸음운전 감지를 위한 서브네트워크 n개(S=n), 긴 졸음운전 감지를 위한 서브네트 워크 m개(L=m)인 네트워크이고,앙상블 딥러닝 모델은 차량 센서 데이터가 포함된 세그먼트와 추출된 통계적 특징을 입력으로 사용하고, 전처리 단계를 통해 생성된 각 세그먼트에는 조향각, 조향속도, 감속 페달 압력, 가속 페달 압력의 데이터가 샘플링 레이트(SR)와 윈도우 크기(w)의 곱만큼 포함되는 것을 특징으로 하는 졸음운전 형태 분류 및 앙상블 딥러닝 기반의 졸음운전 인식을 위한 방법
|
| 12 |
12
제 11 항에 있어서, 앙상블 딥러닝 모델은 각 세그먼트를 모양의 채널 2D 매트릭스로 변환하고 이들을 서브네트워크로 전달하고,여기서, 는 졸음운전 추론에 사용할 센서 데이터의 개수이며, 이 수치는 사용될 센서 데이터의 수에 따라 가변적인 것을 특징으로 하는 졸음운전 형태 분류 및 앙상블 딥러닝 기반의 졸음운전 인식을 위한 방법
|
| 13 |
13
제 12 항에 있어서, 입력 세그먼트에서 2D 매트릭스로의 변환을 통해 모델 내 각 서브네트워크에서 추출되는 convolutional 특징이 인접한 데이터뿐만 아니라 주기적인 데이터의 정보를 포함하고,이후 각 서브네트워크에게 2D 매트릭스와 통계적 특징을 전달하고, 서브네트워크 별로 일반운전과 졸음운전의 확률을 각각 획득하는 것을 특징으로 하는 졸음운전 형태 분류 및 앙상블 딥러닝 기반의 졸음운전 인식을 위한 방법
|
| 14 |
14
제 13 항에 있어서, 짧은 졸음운전 감지를 위한 서브네트워크 n개의 감지 결과를 (2, n) 모양의 출력 벡터로 변환하고, 긴 졸음운전 감지를 위한 서브네트워크 m개의 감지 결과를 (2, m) 모양의 출력 벡터로 변환하고,이후 두 벡터를 연결(concatenate)하여 (2, n+m) 형태의 벡터를 생성하고, 벡터 내 원소들의 산술 평균을 구하는 average 레이어를 통해 서브네트워크들의 추론 결과를 종합하여 입력된 데이터의 졸음운전 유무를 판단하는 것을 특징으로 하는 졸음운전 형태 분류 및 앙상블 딥러닝 기반의 졸음운전 인식을 위한 방법
|
