| 1 |
1
차량 내에 위치하는 운전자의 운전자의 눈 영역을 포함하는 얼굴 부분을 촬영하는 운전자 촬영 카메라와,차량 외부의 전방 영역을 촬영하기 위한 차량 외부 촬영 카메라, 상기 운전자 촬영 카메라로부터 제공되는 운전자 영상으로부터 운전자 동공 중심부와 운전자의 눈꺼풀 랜드마크 포인트간 거리를 근거로 운전자의 시선 방향에 대응되는 시선 영역을 검출하는 운전자 상태 분석부,상기 차량 외부 촬영 카메라로부터 제공되는 차량 외부 영상으로부터 차량 주변 영역에 존재하는 타 차량과, 차선, 신호등 및, 보행자를 포함하는 외부 객체를 추출함과 더불어, 차량 외부 영상에 대해 색상 기반의 정보량으로 이루어지는 교통 분포 지도를 생성하는 차량 외부상황 분석부,상기 교통 분포 지도에서 운전자 시선 영역에 대응되는 응시 영역을 매핑하여 추출함과 더불어, 차량 외부영상에 대한 교통분포 지도를 2×3 매트릭스 구조의 6개 영역으로 분할 설정하고, 교통 분포 지도의 6개 분할 영역 중 상기 운전자 상태 분석부에서 운전자 시선방향에 대응되는 영역을 운전자 응시 영역으로 매핑처리하는 매핑 처리모듈과,교통 분포 지도에서 객체가 위치하는 객체 영역을 추출하고, 객체 영역과 운전자 응시 영역에 기반한 교통 분포 지도의 영역별 상호 정보량을 근거로 위험 상황을 판단하되, 상호 정보량이 기준값 미만인 경우 위험상황으로 판단하는 위험상황 판단모듈을 포함하여 구성되는 위험상황판단부 및,상기 위험상황판단부의 위험상황으로 판단 결과에 대응하여 위험상황에 대한 경고정보를 출력하는 경고 처리부를 포함하여 구성되는 것을 특징으로 하는 차량 내/외부 정보 통합 분석 기반의 위험 상황 경고 시스템
|
| 2 |
2
제1항에 있어서,상기 운전자 상태 분석부는 운전자 얼굴 윤곽을 따라 다수의 페이스 랜드마크 포인트를 검출함으로써 운전자 얼굴영역을 결정하는 얼굴영역 검출모듈과, 페이스 랜드마크 포인트 중 좌측 랜드마크 포인트 및, 우측 랜드마크 포인트를 선택하고, 코 포인트와 선택된 좌측 랜드마크 포인트간 제1 거리와, 코 포인트와 선택된 우측 랜드마크 포인트간 제2 거리를 산출하며, 제1 거리와 제2 거리간 차이를 근거로 운전자의 얼굴이 향하는 방향에 대응되는 헤드 포즈를 추정하는 헤드포즈 추정모듈 및,운전자의 동공의 중심 포인트와 각 눈꺼풀 랜드마크 포인트 사이의 유클리드 거리(Euclidean distance) 측정을 통해 좌측, 중앙, 우측의 수평 위치를 결정하고, 안구 영역의 넓이 또는 높이 비율을 근거로 상측, 하측의 수직 방향을 결정함으로써, 2×3 매트릭스 구조의 6개 영역중 운전자의 시선이 향하는 방향을 추정하는 시선 추정모듈을 포함하여 구성되는 것을 특징으로 하는 차량 내/외부 정보 통합 분석 기반의 위험 상황 경고 시스템
|
| 3 |
3
제2항에 있어서,상기 시선 추정모듈은 상기 헤드포즈 추정모듈로부터 제공되는 헤드 포즈정보를 고려하여 운전자의 시선 방향을 결정하는 것을 특징으로 하는 차량 내/외부 정보 통합 분석 기반의 위험 상황 경고 시스템
|
| 4 |
4
제2항에 있어서,상기 시선 추정모듈은 얼굴영역 이미지에서 안구 이미지를 추출하고, 안구 이미지에서 6개의 눈꺼풀 랜드마크 포인트를 획득하되,6개의 눈꺼풀 랜드마크 포인트는 안구 영역의 좌우 양단과, 안구 영역 중심점 주변의 좌상, 우상, 좌하, 우하 측의 4개 포인트로 설정되고, 안구 영역 중심점 주변의 4개 포인트는 양단 포인트를 기준으로 수평방향으로 3등분하기 위한 지점에 대해 수직하는 방향에 위치하는 상측 및 하측 눈꺼풀 포인트로 각각 설정되는 것을 특징으로 하는 차량 내/외부 정보 통합 분석 기반의 위험 상황 경고 시스템
|
| 5 |
5
제1항에 있어서,상기 차량 외부상황 분석부는 차량 외부영상에서 강도 특성값과 적색과 청색에 해당하는 컬러값을 근거로 픽셀별 교통정보 분포(TID)를 산출하고, 교통정보 분포(TID)를 이용하여 픽셀별 주변 픽셀값의 차이를 Gaussian pyramid 방법을 통해 획득함으로써 적색과 녹색 컬러에 기반한 정보량으로 이루어지는 교통 분포 지도(TIDM)를 생성하는 상향식 정보처리 기반의 교통 분포 지도를 생성하는 교통 분포지도 생성모듈과,차량 외부 영상에서 차량과 차선, 보행자 및 신호등을 포함하는 객체를 하향식 정보처리 기반의 객체 인식처리를 수행하되, 상기 신호등에 대해서는 LAB 컬러 공간에서의 적색과 녹색 영역을 신호등 대상 영역으로 추출함과 더불어, 원형의 블랍(blob) 형상을 추출하여, 적색 및 녹색 기반 신호등 대상영역 중 원형의 블랍 형상을 갖는 객체를 신호등으로 결정하는 객체 인식모듈을 포함하여 구성되는 것을 특징으로 하는 차량 내/외부 정보 통합 분석 기반의 위험 상황 경고 시스템
|
| 6 |
6
삭제
|
| 7 |
7
제1항에 있어서,상기 교통 분포 지도의 영역별 상호정보량(Informationtrans)은 하기 수학식에 의해 산출되는 것을 특징으로 하는 차량 내/외부 정보 통합 분석 기반의 위험 상황 경고 시스템
|
| 8 |
8
차량 내에 위치하는 운전자의 눈 영역을 포함하는 얼굴 부분을 촬영하여 운전자 영상을 획득함과 더불어, 차량 외부의 전방 영역에 대한 차량 외부 영상을 각각 획득하는 제1 단계와, 상기 운전자 영상으로부터 운전자 동공 중심부와 운전자의 눈꺼풀 랜드마크 포인트간 거리를 근거로 운전자의 시선 방향에 대응되는 시선 영역을 검출하는 제2 단계,상기 차량 외부 영상으로부터 차량 주변 영역에 존재하는 타 차량과, 차선, 신호등 및, 보행자를 포함하는 외부 객체를 추출함과 더불어, 차량 외부 영상에 대해 색상 기반의 정보량으로 이루어지는 교통 분포 지도를 생성하는 제3 단계,상기 교통 분포 지도에서 운전자 시선 영역에 대응되는 응시 영역을 매핑하여 추출함과 더불어, 차량 외부영상에 대한 교통 분포 지도를 2×3 매트릭스 구조의 6개 영역으로 분할 설정하고, 교통 분포 지도의 6개 분할 영역 중 운전자 상태 분석부에서 운전자 시선방향에 대응되는 영역을 운전자 응시 영역으로 매핑처리하는 매핑 처리단계와, 교통 분포 지도에서 객체가 위치하는 객체 영역을 추출하고, 객체 영역과 운전자 응시 영역에 기반한 교통 분포 지도의 영역별 상호 정보량을 근거로 위험 상황을 판단하되, 상호 정보량이 기준값 미만인 경우 위험상황으로 판단하는 위험상황 판단단계를 포함하여 구성되는 제4 단계 및,위험상황으로 판단 결과에 대응하여 위험상황에 대한 경고정보를 출력하는 제5 단계를 포함하여 구성되는 것을 특징으로 하는 차량 내/외부 정보 통합 분석 기반의 위험 상황 경고 방법
|
| 9 |
9
제8항에 있어서,상기 제2 단계는 운전자 얼굴 윤곽을 따라 다수의 페이스 랜드마크 포인트를 검출함으로써 운전자 얼굴영역을 결정하는 얼굴영역 검출단계와, 페이스 랜드마크 포인트 중 좌측 랜드마크 포인트 및, 우측 랜드마크 포인트를 선택하고, 코 포인트와 선택된 좌측 랜드마크 포인트간 제1 거리와, 코 포인트와 선택된 우측 랜드마크 포인트간 제2 거리를 산출하며, 제1 거리와 제2 거리간 차이를 근거로 운전자의 얼굴이 향하는 방향에 대응되는 헤드 포즈를 추정하는 헤드포즈 추정단계 및,운전자의 동공의 중심 포인트와 각 눈꺼풀 랜드마크 포인트 사이의 유클리드 거리(Euclidean distance) 측정을 통해 좌측, 중앙, 우측의 수평 위치를 결정하고, 안구 영역의 넓이 또는 높이 비율을 근거로 상측, 하측의 수직 방향을 결정함으로써, 2×3 매트릭스 구조의 6개 영역중 운전자의 시선이 향하는 방향을 추정하는 시선 추정단계를 포함하여 구성되는 것을 특징으로 하는 차량 내/외부 정보 통합 분석 기반의 위험 상황 경고 방법
|
| 10 |
10
제9항에 있어서,상기 시선 추정단계는 상기 헤드포즈 추정단계에서 추정된 헤드 포즈정보를 고려하여 운전자의 시선 방향을 결정하는 것을 특징으로 하는 차량 내/외부 정보 통합 분석 기반의 위험 상황 경고 방법
|
| 11 |
11
제9항에 있어서,상기 시선 추정단계는 얼굴영역 이미지에서 안구 이미지를 추출하고, 안구 이미지에서 6개의 눈꺼풀 랜드마크 포인트를 획득하되,6개의 눈꺼풀 랜드마크 포인트는 안구 영역의 좌우 양단과, 안구 영역 중심점 주변의 좌상, 우상, 좌하, 우하 측의 4개 포인트로 설정되고, 안구 영역 중심점 주변의 4개 포인트는 양단 포인트를 기준으로 수평방향으로 3등분하기 위한 지점에 대해 수직하는 방향에 위치하는 상측 및 하측 눈꺼풀 포인트로 각각 설정되는 것을 특징으로 하는 차량 내/외부 정보 통합 분석 기반의 위험 상황 경고 방법
|
| 12 |
12
제8항에 있어서,상기 제3 단계는 차량 외부영상에서 강도 특성값과 적색과 청색에 해당하는 컬러값을 근거로 픽셀별 교통정보 분포(TID)를 산출하고, 교통정보 분포(TID)를 이용하여 픽셀별 주변 픽셀값의 차이를 Gaussian pyramid 방법을 통해 획득함으로써 적색과 청색 컬러에 기반한 정보량으로 이루어지는 교통 분포 지도(TIDM)를 생성하는 상향식 정보처리 기반의 교통 분포 지도를 생성하는 교통 분포지도 생성 단계와,차량 외부 영상에서 차량과 차선, 보행자 및 신호등을 포함하는 객체를 하향식 정보처리 기반의 객체 인식처리를 수행하되, 상기 신호등에 대해서는 LAB 컬러 공간에서의 적색과 녹색 영역을 신호등 대상 영역으로 추출함과 더불어, 원형의 블랍(blob) 형상을 추출하여, 적색 및 녹색 기반 신호등 대상영역 중 원형의 블랍 형상을 갖는 객체를 신호등으로 결정하는 객체 인식단계를 포함하여 구성되는 것을 특징으로 하는 차량 내/외부 정보 통합 분석 기반의 위험 상황 경고 방법
|
| 13 |
13
삭제
|
| 14 |
14
제8항에 있어서,상기 제4 단계에서 교통 분포 지도의 영역별 상호정보량(Informationtrans)은 하기 수학식에 의해 산출되는 것을 특징으로 하는 차량 내/외부 정보 통합 분석 기반의 위험 상황 경고 방법
|
