| 1 |
1
차량 주행중 운전자의 영상을 획득하는 영상 획득부; 상기 획득된 운전자의 영상에서 운전자의 얼굴 영역에 대한 랜드마크를 검출하는 랜드마크 검출부; 상기 검출된 랜드마크중 눈영역에 대해 눈감김 여부 분류기를 통한 눈감김 여부 판단 및 랜드마크의 좌표 변화에 따라 운전자의 헤드포즈 상태를 검출하고, 검출된 운전자의 눈감김 여부 및 헤드포즈 상태에 따라 운전자의 졸음운전 및 주의 분산 상태를 판단하는 제어부를 포함하는 것인 운전자 상태 검출 장치
|
| 2 |
2
제1항에 있어서, 상기 영상 획득부로부터 획득된 운전자의 영상의 그레이스케일 변환 및 노이즈를 제거하는 전처리부; 및상기 전처리부에서 전처리된 운전자의 영상으로부터 얼굴 영상만을 검출하는 얼굴 영역 검출부를 더 포함하는 것인 운전자 상태 검출장치
|
| 3 |
3
제2항에 있어서, 상기 얼굴 영역 검출부는, MCT(Modified Census Transform) 기반의 캐스케이드 분류기를 이용하여 상기 전처리부에서 전처리된 영상을 MCT 이미지로 변환하고, 변환된 이미지에서 다중 스케일 이미지 피라미드를 생성하며, 생성된 다중 스케일 이미지 피라미드에서 얼굴을 탐색한 후, 탐색된 얼굴 리스트 중에서 가장 큰 영역을 얼굴 영역으로 검출하는 것인 운전자 상태 검출장치
|
| 4 |
4
제1항에 있어서, 상기 랜드마크 검출부에서 검출되는 랜드마크는 LBF Regressor를 이용하여 검출하는 것인 운전자 상태 검출장치
|
| 5 |
5
제1항에 있어서, 상기 제어부는, 상기 랜드마크 검출부에서 검출된 운전자 얼굴 영역에 대한 랜드마크에서 운전자의 눈 영역을 추출하고, 추출된 눈 영역에 대한 눈감김 여부 분류기를 이용하여 운전자의 눈감김 여부를 판단하는 눈감김 여부 판단부; 상기 랜드마크 검출부에서 검출된 운전자의 얼굴 영역에 대한 랜드마크에서 운전자의 눈 영역의 랜드마크의 회전각도에 따른 운전자의 헤드 포즈를 추정하는 헤드포즈 추정부; 및상기 눈감김 여부 판단부에서 판단된 운전자의 눈감김 여부의 지속 시간과, 상기 헤드포즈 추정부에서 추정된 운전자의 헤드포즈 상태의 지속시간을 판단하여 운전자의 졸음 운전 및 운전자의 주의 분산 상태를 판단한 후, 그 결과를 사용자 인터페이스에 경고하는 운전자 상태 판단부를 포함하는 것인 운전자 상태 검출 장치
|
| 6 |
6
제5항에 있어서, 상기 눈감김 여부 판단부에서 눈 영역 검출은 눈 영역에 해당하는 랜드마크를 이용하여 눈 영역을 검출하는 것인 운전자 상태 검출 장치
|
| 7 |
7
제6항에 있어서, 상기 눈감김 여부 판단부에서의 눈감김 여부의 판단은, 눈을 감은(Closed Eye) DB와 눈을 뜬(Open Eye) DB를 이용하여 SVM 혹은 AdaBoost 분류기를 학습하고 그 결과로 생성되는 분류기 모델을 이용하여 눈의 감김 여부를 판단하는 것인 운전자 상태 검출장치
|
| 8 |
8
제7항에 있어서, 상기 운전자 상태 판단부는, 매 프레임 운전자의 눈 감김 여부를 판단하고, 설정된 기준 시간 이상 감은 눈 상태가 지속될 경우 졸음으로 판단하고, 기 설정된 누적 초당 평균 눈 감김 횟수와 현재 초당 평균 눈 감김 횟수와 비교하여 눈의 피로도를 예측하여 운전자의 졸음 상태를 판단하는 것인 운전자 상태 검출장치
|
| 9 |
9
제5항에 있어서, 상기 헤드포즈 추정부는, 상기 랜드마크 검출부에서 검출된 운전자의 얼굴 영역에 대한 랜드마크에서 운전자의 눈 영역의 랜드마크가 운전자가 정면을 바라보는 것을 기준으로 변화되는 Pitch, Roll 및 Yaw값을 계산하여 계산된 해당 값의 정보에 따라 운전자의 헤드포즈 상태를 추정하는 것인 운전자 상태 검출장치
|
| 10 |
10
제9항에 있어서, 상기 운전자 상태 판단부는, 상기 헤드포즈 추정부에서 추정된 Pitch, Roll 및 Yaw값과 기 설정된 기준 Pitch, Roll 및 Yaw값을 비교하여 기준 범위를 초과하고, 초과된 시간을 기 설정된 기준시간과 비교하여 기준시간을 초과하는 범위에서 해당 포즈가 지속될 경우 운전자의 주의 분산 행위가 이루어지고 있다고 판단하는 것인 운전자 상태 검출장치
|
| 11 |
11
차량 주행중 운전자의 영상을 획득하는 단계; 상기 획득된 운전자의 영상에서 운전자의 얼굴 영역에 대한 랜드마크를 검출하는 단계; 및 상기 검출된 랜드마크중 눈영역에 대하여 눈감김 여부 분류기를 이용하여 운전자의 눈감김 여부 판단 및 랜드마크의 좌표 변화에 따라 운전자의 헤드포즈 상태를 검출하고, 상기 검출된 운전자의 눈감김 여부 및 헤드포즈 상태에 따라 운전자의 졸음운전 및 주의 분산 상태를 판단하는 단계를 포함하는 것인 운전자 상태 검출 방법
|
| 12 |
12
제11항에 있어서, 상기 획득된 운전자의 영상의 그레이스케일 변환 및 노이즈를 제거하는 전처리 단계; 및상기 전처리된 운전자의 영상으로부터 얼굴 영상만을 검출하는 얼굴 영역 검출 단계를 더 포함하는 것인 운전자 상태 검출방법
|
| 13 |
13
제12항에 있어서, 상기 얼굴 영역 검출 단계는, MCT(Modified Census Transform) 기반의 캐스케이드 분류기를 이용하여 상기 전처리된 영상을 MCT 이미지로 변환하는 단계; 및 상기 변환된 이미지에서 다중 스케일 이미지 피라미드를 생성하며, 생성된 다중 스케일 이미지 피라미드에서 얼굴을 탐색한 후, 탐색된 얼굴 리스트 중에서 가장 큰 영역을 얼굴 영역으로 검출하는 단계를 포함하는 것인 운전자 상태 검출방법
|
| 14 |
14
제11항에 있어서, 상기 랜드마크를 검출하는 단계에서 랜드마크는 LBF Regressor를 이용하여 검출하는 것인 운전자 상태 검출방법
|
| 15 |
15
제11항에 있어서, 상기 판단하는 단계는, 상기 검출된 운전자 얼굴 영역에 대한 랜드마크에서 운전자의 눈 영역을 추출하고, 추출된 눈 영역에 대해 눈감김 여부 분류기를 통해 운전자의 눈감김 여부를 판단하는 단계; 상기 검출된 운전자의 얼굴 영역에 대한 랜드마크에서 운전자의 랜드마크의 회전각도에 따른 운전자의 헤드 포즈를 추정하는 단계;상기 판단된 운전자의 눈감김 여부의 지속 시간과, 상기 헤드포즈 추정부에서 추정된 운전자의 헤드포즈 상태의 지속시간을 판단하여 운전자의 졸음 운전 및 운전자의 주의 분산 상태를 판단하는 단계; 및 상기 판단 결과에 따라 운전자 졸음 운전 및 주의 분산 상태에 대한 경고를 사용자 인터페이스를 통해 수행하는 단계 포함하는 것인 운전자 상태 검출 방법
|
| 16 |
16
제15항에 있어서, 상기 눈감김 여부를 판단하는 단계에서, 눈 영역 검출은 눈 영역에 해당하는 랜드마크를 이용하여 눈 영역을 검출하는 것인 운전자 상태 검출 방법
|
| 17 |
17
제16항에 있어서, 상기 눈감김 여부를 판단하는 단계에서, 눈감김 여부의 판단은, 눈을 감은(Closed Eye) DB와 눈을 뜬(Open Eye) DB를 이용하여 SVM 혹은 AdaBoost 분류기를 학습하고 그 결과로 생성되는 분류기 모델을 이용하여 눈의 감김 여부를 판단하는 것인 운전자 상태 검출방법
|
| 18 |
18
제17항에 있어서, 상기 운전자의 졸음 운전 및 운전자의 주의 분산 상태를 판단하는 단계에서, 운전자의 졸음 운전 판단은, 매 프레임 운전자의 눈 감김 여부를 판단하고, 설정된 기준 시간 이상 감은 눈 상태가 지속될 경우 졸음으로 판단하고, 기 설정된 누적 초당 평균 눈 감김 횟수와 현재 초당 평균 눈 감김 횟수와 비교하여 눈의 피로도를 예측하여 운전자의 졸음 상태를 판단하는 것인 운전자 상태 검출방법
|
| 19 |
19
제15항에 있어서, 상기 운전자의 헤드 포즈를 추정하는 단계는, 상기 검출된 운전자의 얼굴 영역에 대한 랜드마크에서 운전자의 랜드마크가 운전자가 정면을 바라보는 것을 기준으로 변화되는 Pitch, Roll 및 Yaw값을 계산하여 계산된 해당 값의 정보에 따라 운전자의 헤드포즈 상태를 추정하는 것인 운전자 상태 검출방법
|
| 20 |
20
제19항에 있어서, 상기 운전자의 주의 분산 상태를 판단하는 단계는, 상기 추정된 Pitch, Roll 및 Yaw값과 기 설정된 기준 Pitch, Roll 및 Yaw값을 비교하여 기준 범위를 초과하고, 초과된 시간을 기 설정된 기준시간과 비교하여 기준시간을 초과하는 범위에서 해당 포즈가 지속될 경우 운전자의 주의 분산 행위가 이루어지고 있다고 판단하는 것인 운전자 상태 검출방법
|
