맞춤기술찾기

이전대상기술

야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법 및 시스템(METHOD AND SYSTEM FOR DETECTION OF SUDDEN PEDESTRIAN CROSSING FOR SAFE DRIVING DURING NIGHT TIME)

  • 기술번호 : KST2016011365
  • 담당센터 : 대구기술혁신센터
  • 전화번호 : 053-550-1450
요약, Int. CL, CPC, 출원번호/일자, 출원인, 등록번호/일자, 공개번호/일자, 공고번호/일자, 국제출원번호/일자, 국제공개번호/일자, 우선권정보, 법적상태, 심사진행상태, 심판사항, 구분, 원출원번호/일자, 관련 출원번호, 기술이전 희망, 심사청구여부/일자, 심사청구항수의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 서지정보 표입니다.
요약 본 발명은 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법에 관한 것으로서, 보다 구체적으로는 (1) 상기 카메라로부터 촬영되는 열 영상에 대하여, 스케일링 비율 및 보행자 탐색 영역(searching area)을 설정하고, 보행자 윈도우를 검출하는 단계; (2) 차량의 진행 방향을 고려하여 기준선(reference line)을 설정하는 단계; (3) 상기 검출된 보행자 윈도우와 기준선을 이용해, 위험 요소 벡터를 추출하는 단계; 및 (4) 상기 추출된 위험 요소 벡터를 이용해 위험도 스코어를 산출하며, 상기 산출된 위험도 스코어가 임계값 이상이면 위험 보행자로 판단하는 단계를 포함하는 것을 그 구성상의 특징으로 한다.또한, 본 발명은 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 시스템에 관한 것으로서, 보다 구체적으로는 차량에 설치되어 열 영상을 획득하는 카메라; 및 상기 획득된 열 영상으로부터 위험 보행자를 판단하는 분석 장치를 포함하며, 상기 분석 장치는, 상기 카메라로부터 촬영되는 열 영상에 대하여, 스케일링 비율 및 보행자 탐색 영역(searching area)을 설정하고, 보행자 윈도우를 검출하는 보행자 검출 모듈; 차량의 진행 방향을 고려하여 기준선(reference line)을 설정하는 기준선 설정 모듈; 상기 검출된 보행자 윈도우와 기준선을 이용해, 위험 요소 벡터를 추출하는 벡터 추출 모듈; 및 상기 추출된 위험 요소 벡터를 이용해 위험도 스코어를 산출하며, 상기 산출된 위험도 스코어가 임계값 이상이면 위험 보행자로 판단하는 판단 모듈을 포함하는 것을 또 다른 구성상의 특징으로 한다.본 발명에서 제안하고 있는 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법 및 시스템에 따르면, 스케일링 비율 및 보행자 탐색 영역을 설정하고 보행자 윈도우를 검출함으로써, 처리 시간을 단축하고 신속하게 보행자를 검출할 수 있으며, 차량의 진행 방향을 고려하여 기준선을 설정하고 위험 보행자를 판단함으로써, 보다 정확하게 보행자의 위험성을 결정할 수 있다.또한, 본 발명에 따르면, 겹침 위험도(Overlapping ratio), 움직임 방향 위험도(Movement direction ratio) 및 움직임 크기 위험도(Movement speed ratio)를 고려하여 위험 보행자를 판단함으로써, 보행자의 다양한 특징을 고려하여 위험요소를 가진 보행자인지 여부를 정확하게 판단할 수 있다.
Int. CL H04N 5/225 (2006.01) G06T 7/20 (2006.01) G08G 1/16 (2006.01) B60R 21/34 (2011.01)
CPC G08G 1/16(2013.01) G08G 1/16(2013.01) G08G 1/16(2013.01) G08G 1/16(2013.01) G08G 1/16(2013.01)
출원번호/일자 1020140170078 (2014.12.01)
출원인 계명대학교 산학협력단
등록번호/일자 10-1663574-0000 (2016.09.30)
공개번호/일자 10-2016-0065703 (2016.06.09) 문서열기
공고번호/일자 (20161007) 문서열기
국제출원번호/일자
국제공개번호/일자
우선권정보
법적상태 등록
심사진행상태 수리
심판사항
구분 신규
원출원번호/일자
관련 출원번호
심사청구여부/일자 Y (2014.12.01)
심사청구항수 18

출원인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 출원인 표입니다.
번호 이름 국적 주소
1 계명대학교 산학협력단 대한민국 대구광역시 달서구

발명자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 발명자 표입니다.
번호 이름 국적 주소
1 고병철 대한민국 대구광역시 수성구
2 정미라 대한민국 대구광역시 달서구
3 남재열 대한민국 대구광역시 수성구

대리인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 대리인 표입니다.
번호 이름 국적 주소
1 김건우 대한민국 서울특별시 금천구 가산디지털*로 ***, 에이동 ***호 특허그룹덕원 (가산동, 우림 라이온스밸리)

최종권리자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 최종권리자 표입니다.
번호 이름 국적 주소
1 주식회사 대경지역대학공동기술지주 경상북도 경산시 대학로 *
번호, 서류명, 접수/발송일자, 처리상태, 접수/발송일자의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 행정처리 표입니다.
번호 서류명 접수/발송일자 처리상태 접수/발송번호
1 [특허출원]특허출원서
[Patent Application] Patent Application
2014.12.01 수리 (Accepted) 1-1-2014-1169388-61
2 의견제출통지서
Notification of reason for refusal
2016.03.25 발송처리완료 (Completion of Transmission) 9-5-2016-0223163-44
3 [거절이유 등 통지에 따른 의견]의견(답변, 소명)서
[Opinion according to the Notification of Reasons for Refusal] Written Opinion(Written Reply, Written Substantiation)
2016.05.23 수리 (Accepted) 1-1-2016-0489647-54
4 [명세서등 보정]보정서
[Amendment to Description, etc.] Amendment
2016.05.23 보정승인간주 (Regarded as an acceptance of amendment) 1-1-2016-0489626-06
5 등록결정서
Decision to grant
2016.09.22 발송처리완료 (Completion of Transmission) 9-5-2016-0676916-19
6 출원인정보변경(경정)신고서
Notification of change of applicant's information
2018.03.21 수리 (Accepted) 4-1-2018-5049338-19
번호, 청구항의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 청구항 표입니다.
번호 청구항
1 1
차량에 설치된 카메라(10)를 이용한 위험 보행자 결정 방법으로서,(1) 상기 카메라(10)로부터 촬영되는 열 영상에 대하여, 스케일링 비율 및 보행자 탐색 영역(searching area)을 설정하고, 보행자 윈도우를 검출하는 단계;(2) 차량의 진행 방향을 고려하여 기준선(reference line)을 설정하는 단계;(3) 상기 검출된 보행자 윈도우와 기준선을 이용해, 위험 요소 벡터를 추출하는 단계; 및(4) 상기 추출된 위험 요소 벡터를 이용해 위험도 스코어를 산출하며, 상기 산출된 위험도 스코어가 임계값 이상이면 위험 보행자로 판단하는 단계를 포함하되,상기 단계 (2)는,(2-1) 차도의 경계선(boundary lines)과 소실점(vanishing point)을 이용해 최초 기준선(initial reference lines)을 설정하는 단계; 및(2-2) 차량의 진행 방향에 따라 상기 기준선을 변경시키는 단계를 포함하고,상기 단계 (2-2)는,(2-2-1) 옵티컬 플로우 및 최대우도추정법을 이용해 차량 진행 방향을 결정하는 단계; 및(2-2-2) 상기 결정된 차량 진행 방향에 따라 소실점을 이동시켜, 기준선을 변경시키는 단계를 포함하는 것을 특징으로 하는, 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법
2 2
제1항에 있어서, 상기 단계 (1)은,(1-1) 상기 스케일링 비율 및 보행자 탐색 영역을 설정하고, 후보 보행자 윈도우를 검출하는 단계; 및(1-2) 상기 후보 보행자 윈도우에 대하여 Haar-Like 특징 및 OCS-LBP(Oriented Center Symmetric Local Binary Patterns) 특징을 추출하고, 랜덤 포레스트 분류기에 적용하여 보행자 윈도우(bounding box of pedestrian)를 검출하는 단계를 포함하는 것을 특징으로 하는, 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법
3 3
제2항에 있어서, 상기 단계 (1-1)은,(1-1-1) 적응 스케일링(adaptive scaling)을 적용하여 보행자 검출을 위한 스케일링 비율을 결정하는 단계;(1-1-2) 상기 카메라(10)로부터 촬영되는 영상으로부터 보행자 탐색 영역을 설정하는 단계; 및(1-1-3) 상기 설정된 보행자 탐색 영역에서 상기 스케일링 비율을 이용해 후보 보행자 윈도우를 검출하는 단계를 포함하는 것을 특징으로 하는, 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법
4 4
제2항에 있어서, 상기 단계 (1-2)에서는,(1-2-1) 상기 후보 보행자 윈도우에 대하여 Haar-Like 특징 및 OCS-LBP 특징을 추출하는 단계;(1-2-2) 상기 추출한 Haar-like 특징을 2개의 레벨로 구성된 계층적 랜덤 포레스트(Cascade random forests; CaRF)의 레벨 1의 랜덤 포레스트 분류기에 적용하여 1차 검출을 하는 단계; 및(1-2-3) 상기 단계 (1-2-2)에서 검출된 후보 보행자 윈도우에 대하여, 상기 추출한 OCS-LBP 특징으로 레벨 2의 랜덤 포레스트 분류기에 적용하여 2차 검출을 통해, 최종적인 보행자 윈도우를 검출하는 단계를 포함하는 것을 특징으로 하는, 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법
5 5
삭제
6 6
삭제
7 7
제1항에 있어서, 상기 위험 요소 벡터는,겹침 위험도(Overlapping ratio), 움직임 방향 위험도(Movement direction ratio) 및 움직임 크기 위험도(Movement speed ratio)를 포함하는 것을 특징으로 하는, 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법
8 8
제7항에 있어서, 상기 단계 (3)은,(3-1) 상기 검출된 보행자 윈도우와 상기 설정된 기준선의 겹쳐진 정도로부터 겹침 위험도(Overlapping ratio)를 산출하는 단계;(3-2) 상기 보행자 윈도우에서 추출된 움직임 벡터를 이용해 움직임 방향 위험도(Movement direction ratio)를 산출하는 단계; 및(3-3) 상기 움직임 벡터의 크기와 상기 보행자 윈도우의 너비를 이용해 움직임 크기 위험도(Movement speed ratio)를 산출하는 단계를 포함하는 것을 특징으로 하는, 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법
9 9
제1항에 있어서, 상기 단계 (4)에서는,(4-1) 상기 추출된 위험 요소 벡터를 정규 분포 함수에 적용하여 조건부 확률을 추정하는 단계;(4-2) 상기 추정된 조건부 확률을 조합하여 위험도 스코어를 산출하는 단계; 및(4-3) 상기 산출된 위험도 스코어가 임계값 이상이면 위험 보행자로 판단하는 단계를 포함하는 것을 특징으로 하는, 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법
10 10
제9항에 있어서, 상기 단계 (4-2)에서는,나이브 베이즈(naBayes) 및 로그 우도(log likelihoods)를 이용하여 상기 위험도 스코어를 산출하는 것을 특징으로 하는, 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법
11 11
위험 보행자 결정 시스템으로서,차량에 설치되어 열 영상을 획득하는 카메라(10); 및상기 획득된 열 영상으로부터 위험 보행자를 판단하는 분석 장치(20)를 포함하며,상기 분석 장치(20)는,상기 카메라(10)로부터 촬영되는 열 영상에 대하여, 스케일링 비율 및 보행자 탐색 영역(searching area)을 설정하고, 보행자 윈도우를 검출하는 보행자 검출 모듈(100);차량의 진행 방향을 고려하여 기준선(reference line)을 설정하는 기준선 설정 모듈(200);상기 검출된 보행자 윈도우와 기준선을 이용해, 위험 요소 벡터를 추출하는 벡터 추출 모듈(300); 및상기 추출된 위험 요소 벡터를 이용해 위험도 스코어를 산출하며, 상기 산출된 위험도 스코어가 임계값 이상이면 위험 보행자로 판단하는 판단 모듈(400)을 포함하되,상기 기준선 설정 모듈(200)은,차도의 경계선(boundary lines)과 소실점(vanishing point)을 이용해 최초기준선(initial reference lines)을 기준선 설정부(210); 및차량의 진행 방향에 따라 상기 기준선을 변경시키는 기준선 변경부(220)를 포함하고,상기 기준선 변경부(220)는,옵티컬 플로우 및 최대우도추정법을 이용해 차량 진행 방향을 결정하는 방향 결정부(221); 및상기 결정된 차량 진행 방향에 따라 소실점을 이동시켜, 기준선을 변경시키는 변경 처리부(222)를 포함하는 것을 특징으로 하는, 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 시스템
12 12
제11항에 있어서, 상기 카메라(10)는,상기 차량의 지붕에 설치되며, 원적외선(far-infrared; FIR)을 이용해 열 영상을 획득하는 것을 특징으로 하는, 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 시스템
13 13
제11항에 있어서, 상기 보행자 검출 모듈(100)은,상기 스케일링 비율 및 보행자 탐색 영역을 설정하고, 후보 보행자 윈도우를 검출하는 제1 검출부(110); 및상기 후보 보행자 윈도우에 대하여 Haar-Like 특징 및 OCS-LBP(Oriented Center Symmetric Local Binary Patterns) 특징을 추출하고, 랜덤 포레스트 분류기에 적용하여 보행자 윈도우(bounding box of pedestrian)를 검출하는 제2 검출부(120)를 포함하는 것을 특징으로 하는, 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 시스템
14 14
제13항에 있어서, 상기 제1 검출부(110)는,적응 스케일링(adaptive scaling)을 적용하여 보행자 검출을 위한 스케일링 비율을 결정하는 스케일링부(111);상기 카메라(10)로부터 촬영되는 영상으로부터 보행자 탐색 영역을 설정하는 영역 설정부(112); 및상기 설정된 보행자 탐색 영역에서 상기 스케일링 비율을 이용해 후보 보행자 윈도우를 검출하는 후보 검출부(113)를 포함하는 것을 특징으로 하는, 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 시스템
15 15
제13항에 있어서, 상기 제2 검출부(120)는,상기 후보 보행자 윈도우에 대하여 Haar-Like 특징 및 OCS-LBP 특징을 추출하는 특징 추출부(121);상기 추출한 Haar-like 특징을 2개의 레벨로 구성된 계층적 랜덤 포레스트(Cascade random forests; CaRF)의 레벨 1의 랜덤 포레스트 분류기에 적용하여 1차 검출을 하는 레벨1 분류부(122); 및단계 (1-2-2)에서 검출된 후보 보행자 윈도우에 대하여, 상기 추출한OCS-LBP 특징으로 레벨 2의 랜덤 포레스트 분류기에 적용하여 2차 검출을 통해, 최종적인 보행자 윈도우를 검출하는 레벨2 분류부(122)를 포함하는 것을 특징으로 하는, 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 시스템
16 16
삭제
17 17
삭제
18 18
제11항에 있어서, 상기 위험 요소 벡터는,겹침 위험도(Overlapping ratio), 움직임 방향 위험도(Movement direction ratio) 및 움직임 크기 위험도(Movement speed ratio)를 포함하는 것을 특징으로 하는, 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 시스템
19 19
제18항에 있어서, 상기 벡터 추출 모듈(300)은,상기 검출된 보행자 윈도우와 상기 설정된 기준선의 겹쳐진 정도로부터 겹침 위험도(Overlapping ratio)를 산출하는 제1 산출부(310);상기 보행자 윈도우에서 추출된 움직임 벡터를 이용해 움직임 방향 위험도(Movement direction ratio)를 산출하는 제2 산출부(320); 및상기 움직임 벡터의 크기와 상기 보행자 윈도우의 너비를 이용해 움직임 크기 위험도(Movement speed ratio)를 산출하는 제3 산출부(330)를 포함하는 것을 특징으로 하는, 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 시스템
20 20
제11항에 있어서, 상기 판단 모듈(400)에서는,상기 추출된 위험 요소 벡터를 정규 분포 함수에 적용하여 조건부 확률을 추정하는 확률 추정부(410);상기 추정된 조건부 확률을 조합하여 위험도 스코어를 산출하는 스코어 산출부(420); 및상기 산출된 위험도 스코어가 임계값 이상이면 위험 보행자로 판단하는 보행자 판단부(430)를 포함하는 것을 특징으로 하는, 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 시스템
21 21
제20항에 있어서, 상기 스코어 산출부(420)는,나이브 베이즈(naBayes) 및 로그 우도(log likelihoods)를 이용하여 상기 위험도 스코어를 산출하는 것을 특징으로 하는, 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 시스템
22 22
제11항에 있어서,상기 분석 장치(20)에서 위험 보행자로 판단되면, 경보를 발생하는 경보 장치(30)를 더 포함하는 것을 특징으로 하는, 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 시스템
지정국 정보가 없습니다
순번, 패밀리번호, 국가코드, 국가명, 종류의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 패밀리정보 - 패밀리정보 표입니다.
순번 패밀리번호 국가코드 국가명 종류
1 WO2016088960 WO 세계지적재산권기구(WIPO) FAMILY

DOCDB 패밀리 정보

순번, 패밀리번호, 국가코드, 국가명, 종류의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 패밀리정보 - DOCDB 패밀리 정보 표입니다.
순번 패밀리번호 국가코드 국가명 종류
1 WO2016088960 WO 세계지적재산권기구(WIPO) DOCDBFAMILY
순번, 연구부처, 주관기관, 연구사업, 연구과제의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 국가R&D 연구정보 정보 표입니다.
순번 연구부처 주관기관 연구사업 연구과제
1 교육부 계명대학교 일반연구자지원사업 열 영상 카메라를 이용한 다수의 휴먼객체 추적 및 행동 인식