맞춤기술찾기

이전대상기술

보행자 상태 기반의 보행자와 차량간 충돌 경고 시스템 및 그 방법

  • 기술번호 : KST2019006370
  • 담당센터 : 서울동부기술혁신센터
  • 전화번호 : 02-2155-3662
요약, Int. CL, CPC, 출원번호/일자, 출원인, 등록번호/일자, 공개번호/일자, 공고번호/일자, 국제출원번호/일자, 국제공개번호/일자, 우선권정보, 법적상태, 심사진행상태, 심판사항, 구분, 원출원번호/일자, 관련 출원번호, 기술이전 희망, 심사청구여부/일자, 심사청구항수의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 서지정보 표입니다.
요약 본 발명의 일 실시예에 따른 보행자 상태 기반의 보행자와 차량간 충돌 경고 시스템에 관한 것으로서, 차량에 탑재된 카메라를 이용하는 보행자 상태 기반의 보행자와 차량간 충돌 경고 시스템에 있어서, 보행자 상태 기반의 보행자와 차량간 충돌 경고 방법을 수행하기 위한 프로그램이 기록된 메모리; 및 상기 프로그램을 실행하기 위한 프로세서를 포함하며, 상기 프로세서는 상기 프로그램의 영상 이해 모듈을 통해 상기 카메라로부터 입력되는 주행 영상을 분석하여 보행자와 도로를 포함한 주행 환경 정보를 추출하고, 상기 주행 환경 정보를 이용하여 도로 영역과 보행자 영역, 차량과 보행자간의 이격 정도에 따른 보행자 거리, 영상 소실점, 보행자 방향, 차량 주행과의 관련도에 따른 보행자 후보를 각각 검출하고, 상기 프로그램의 위험 분석 모듈을 통해 상기 검출된 보행자 후보를 토대로 보행자의 행동을 인식하여 보행자 행동 정보, 보행자와 차량간의 상대적인 방향 정보, 차량의 주행 영역을 분석한 후 상기 분석된 결과를 토대로 각 보행자의 위험도를 평가하는 것이다.
Int. CL B60W 30/08 (2006.01.01) B60W 50/14 (2012.01.01) G06K 9/00 (2006.01.01) B60R 21/00 (2006.01.01)
CPC B60R 2021/003(2013.01) B60R 2021/003(2013.01)
출원번호/일자 1020180135033 (2018.11.06)
출원인 고려대학교 산학협력단
등록번호/일자
공개번호/일자 10-2019-0062184 (2019.06.05) 문서열기
공고번호/일자 문서열기
국제출원번호/일자
국제공개번호/일자
우선권정보 대한민국  |   1020170159206   |   2017.11.27
법적상태 등록
심사진행상태 수리
심판사항
구분 신규
원출원번호/일자
관련 출원번호
심사청구여부/일자 Y (2018.11.06)
심사청구항수 15

출원인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 출원인 표입니다.
번호 이름 국적 주소
1 고려대학교 산학협력단 대한민국 서울특별시 성북구

발명자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 발명자 표입니다.
번호 이름 국적 주소
1 이성환 서울특별시 강남구
2 곽인엽 서울특별시 동대문구
3 김성수 경기도 부천시 소향로 **, *

대리인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 대리인 표입니다.
번호 이름 국적 주소
1 특허법인엠에이피에스 대한민국 서울특별시 강남구 테헤란로*길 **, *층 (역삼동, 한동빌딩)

최종권리자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 최종권리자 표입니다.
번호 이름 국적 주소
1 고려대학교 산학협력단 서울특별시 성북구
번호, 서류명, 접수/발송일자, 처리상태, 접수/발송일자의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 행정처리 표입니다.
번호 서류명 접수/발송일자 처리상태 접수/발송번호
1 [특허출원]특허출원서
[Patent Application] Patent Application
2018.11.06 수리 (Accepted) 1-1-2018-1098800-87
2 선행기술조사의뢰서
Request for Prior Art Search
2019.06.14 수리 (Accepted) 9-1-9999-9999999-89
3 선행기술조사보고서
Report of Prior Art Search
2019.08.08 수리 (Accepted) 9-1-2019-0038314-78
4 출원인정보변경(경정)신고서
Notification of change of applicant's information
2019.10.10 수리 (Accepted) 4-1-2019-5210941-09
5 의견제출통지서
Notification of reason for refusal
2019.11.18 발송처리완료 (Completion of Transmission) 9-5-2019-0829324-59
6 [명세서등 보정]보정서
[Amendment to Description, etc.] Amendment
2020.01.17 보정승인간주 (Regarded as an acceptance of amendment) 1-1-2020-0055546-67
7 [거절이유 등 통지에 따른 의견]의견(답변, 소명)서
[Opinion according to the Notification of Reasons for Refusal] Written Opinion(Written Reply, Written Substantiation)
2020.01.17 수리 (Accepted) 1-1-2020-0055545-11
8 등록결정서
Decision to grant
2020.03.19 발송처리완료 (Completion of Transmission) 9-5-2020-0204372-17
9 [명세서등 보정]보정서(심사관 직권보정)
2020.04.16 보정승인간주 (Regarded as an acceptance of amendment) 1-1-2020-5009525-24
번호, 청구항의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 청구항 표입니다.
번호 청구항
1 1
차량에 탑재된 카메라를 이용하는 보행자 상태 기반의 보행자와 차량간 충돌 경고 시스템에 있어서,보행자 상태 기반의 보행자와 차량간 충돌 경고 방법을 수행하기 위한 프로그램이 기록된 메모리; 및상기 프로그램을 실행하기 위한 프로세서를 포함하며,상기 프로세서는, 상기 프로그램의 영상 이해 모듈을 통해 상기 카메라로부터 입력되는 주행 영상을 분석하여 보행자와 도로를 포함한 주행 환경 정보를 추출하고, 상기 주행 환경 정보를 이용하여 도로 영역과 보행자 영역, 차량과 보행자간의 이격 정도에 따른 보행자 거리, 영상 소실점, 보행자 방향, 차량 주행과의 관련도에 따른 보행자 후보를 각각 검출하고,상기 프로그램의 위험 분석 모듈을 통해 상기 검출된 보행자 후보를 토대로 보행자의 행동을 인식하여 보행자 행동 정보, 보행자와 차량간의 상대적인 방향 정보, 차량의 주행 영역을 분석한 후 상기 분석된 결과를 토대로 각 보행자의 위험도를 평가하되,상기 위험 분석 모듈은, 상기 검출된 보행자 후보의 보행자 상태를 동적 행동 부류와 정적 행동 부류로 인식하여 보행자 행동 정보를 산출하는 보행자 행동 인식부;보행자 거리 정보와 보행자 방향 정보를 포함한 보행자 정보와 상기 영상 소실점을 이용하여 3차원 공간상에서의 보행자 평행선을 구하고, 상기 보행자와 평행선간의 각도(θ)를 구하여 차량 진행 방향에 기반하여 해당 보행자의 안전 방향과 위험 방향을 분석하여 보행자와 차량간의 상대적인 방향을 확인하는 상대적 방향 분석부;차량의 너비를 포함한 차량 영역을 상기 영상 소실점과 연결하여 차량의 주행 영역을 산출한 후, 상기 차량의 주행 영역과 도로 영역을 비교하여 상기 주행 영역에서 도로 영역이 아닌 부분을 제거하는 주행 영역 분석부; 및 상기 보행자 후보에 대한 상기 차량의 주행 영역 내 존재 여부, 상대적인 방향, 보행자 행동 정보를 이용하여 단계적으로 보행자의 위험도를 평가하는 위험도 평가부를 포함하는 것인, 보행자 상태 기반의 보행자와 차량간 충돌 경고 시스템
2 2
제 1 항에 있어서,상기 프로세서는,상기 프로그램에 포함된 경고 모듈을 통해 상기 위험 분석 모듈에서 평가된 각 보행자의 위험도에 따라 시각적 또는 청각적으로 운전자가 보행자 상태를 인지하도록 경고하는 것인, 보행자 상태 기반의 보행자와 차량간 충돌 경고 시스템
3 3
제 2 항에 있어서,상기 경고 모듈은, 차량 내에 탑재된 디스플레이 장치를 통해 경고 정보를 제공할 경우, 서로 다른 색상의 경고 표지판 아이콘을 이용하여 주의 레벨 1단계, 주의 레벨 2단계 및 주의 레벨 3단계로 구분하여 운전자에게 경고 정보를 제공하는 것인, 보행자 상태 기반의 보행자와 차량간 충돌 경고 시스템
4 4
제 1 항에 있어서, 상기 영상 이해 모듈은, 상기 주행 영상을 시맨틱 세분화(Semantic Segmentation) 기법을 이용하여 상기 주행 영상에서 도로 영역과 보행자 영역을 동시에 검출하는 도로 및 보행자 검출부;상기 주행 영상의 깊이 영상을 이용하여 차량을 기준으로 보행자의 이격 정도를 나타내는 보행자 거리 정보를 추정하는 거리 추정부;상기 주행 영상에 대한 기울기 영상을 이용하여 소실점을 검출하는 소실점 검출부; 합성곱 신경 네트워크(Convolution Neural Network, CNN)와 파인-그레인드 네트워크(Fine-Grained Network)가 병렬로 구성된 분류기를 통해 상기 주행 영상에서 검출된 보행자에 대해 연속적인 방향값을 가지는 보행자 방향 정보를 추정하는 보행자 방향 추정부; 및 상기 주행 영상에서 검출된 보행자들 중에서 상기 도로 영역에 보행자의 존재 여부, 보행자 거리 정보 및 보행자 방향 정보에 근거하여 차량 주행과 관련도가 낮다고 판단되는 보행자를 배제하여 위험도 평가를 위한 보행자 후보를 선별하는 보행자 후보 선별부를 더 포함하는 것인, 보행자 상태 기반의 보행자와 차량간 충돌 경고 시스템
5 5
제 4 항에 있어서,상기 도로 및 보행자 검출부는,상기 주행 영상에서 전역적인 수준으로 깊이 정보를 추정한 후 지역적 정보를 추가하여 최종 깊이 영상을 생성하며, 상기 생성된 깊이 영상과 실제 거리와의 관계를 통해 선형 방정식을 도출하고, 상기 생성된 깊이 영상을 선형 방정식에 대입하여 최종적인 보행자 거리를 산출하는 것인, 보행자 상태 기반의 보행자와 차량간 충돌 경고 시스템
6 6
제 4 항에 있어서,상기 도로 및 보행자 검출부는, 상기 검출된 보행자 영역에 대해 경계 박스(Bounding box)를 추가적으로 생성하는 것인, 보행자 상태 기반의 보행자와 차량간 충돌 경고 시스템
7 7
제 4 항에 있어서,상기 소실점 검출부는,상기 주행 영상에 대해 기울기 필터를 통해 기울기 영상을 구하고, 상기 기울기 영상을 블록으로 나눈 후에 각 블록에서 에지의 방향에 대한 히스토그램을 구하여 각 방향에 대해 크기를 비교하여 기설정된 주요 방향만 취득하여 실시간 소실점의 위치를 예측하는 것인, 보행자 상태 기반의 보행자와 차량간 충돌 경고 시스템
8 8
제 4 항에 있어서,상기 보행자 방향 추정부는 평균 이동 알고리즘을 통해 상기 연속적인 방향값을 추정하는 것인, 보행자 상태 기반의 보행자와 차량간 충돌 경고 시스템
9 9
제 4 항에 있어서,상기 보행자 후보 선별부는, 상기 도로 영역에 보행자가 존재하는 경우, 상기 보행자 거리가 기설정된 임계 거리 이내인 경우, 상기 보행자 방향이 차량의 진행 방향과 동일한 경우에 차량 주행과 관련도가 높다고 판단하는 것인, 보행자 상태 기반의 보행자와 차량간 충돌 경고 시스템
10 10
삭제
11 11
제 1 항에 있어서,상기 보행자 행동 인식부는, 상기 주행 영상의 각 프레임에 적용되어 보행자 외관 정보와 움직임 정보를 추출한 후 상기 보행자 외관 정보와 움직임 정보를 동시에 학습하는 2-스트림 콘볼루션 신경망(two-stream convolutional neural network)을 이용하여 행동인식을 위한 학습을 수행하는 것인, 보행자 상태 기반의 보행자와 차량간 충돌 경고 시스템
12 12
제 1 항에 있어서,상기 보행자 행동 인식부는 달리기, 걷기, 이륜차 타기를 포함한 동적 행동 부류, 서기, 앉기를 포함한 정적 행동 부류로 보행자 행동을 인식하는 것인, 보행자 상태 기반의 보행자와 차량간 충돌 경고 시스템
13 13
삭제
14 14
제 1 항에 있어서,상기 상대적인 방향 분석부는 상기 보행자의 안전 방향을 360°- θ에서 0°까지의 범위([360°- θ, 0°])와 0°에서 180°- θ까지의 범위([0°, 180°- θ])로 설정하고, 상기 보행자의 위험 방향을 상기 보행자의 안전 방향을 제외한 180°- θ에서 360°- θ까지의 범위([180°- θ, 360°-0°])로 설정하여 분석하는 것인, 보행자 상태 기반의 보행자와 차량간 충돌 경고 시스템
15 15
차량에 탑재된 카메라를 이용하는 보행자 상태 기반의 보행자와 차량간 충돌 경고 방법에 있어서,상기 카메라로부터 입력되는 주행 영상을 분석하여 보행자와 도로를 포함한 주행 환경 정보를 추출하고, 상기 주행 환경 정보를 이용하여 도로 영역과 보행자 영역, 차량과 보행자간의 이격 정도에 따른 보행자 거리, 영상 소실점, 보행자 방향, 차량 주행과의 관련도에 따른 보행자 후보를 각각 검출하는 영상 이해 단계; 및 상기 검출된 보행자 후보를 토대로 보행자의 행동을 인식하여 보행자 행동 정보, 보행자와 차량간의 상대적인 방향 정보, 차량의 주행 영역을 분석한 후 상기 분석된 결과를 토대로 각 보행자의 위험도를 평가하는 위험 분석 단계를 포함하되,상기 위험 분석 단계는 상기 검출된 보행자 후보의 보행자 상태를 동적 행동 부류와 정적 행동 부류로 인식하여 보행자 행동 정보를 산출하는 단계;보행자 거리 정보와 보행자 방향 정보를 포함한 보행자 정보와 상기 영상 소실점을 이용하여 3차원 공간상에서의 보행자 평행선을 구하고, 상기 보행자와 평행선간의 각도(θ)를 구하여 차량 진행 방향에 기반하여 해당 보행자의 안전 방향과 위험 방향을 분석하여 보행자와 차량간의 상대적인 방향을 확인하는 단계;차량의 너비를 포함한 차량 영역을 상기 영상 소실점과 연결하여 차량의 주행 영역을 산출한 후, 상기 차량의 주행 영역과 도로 영역을 비교하여 상기 주행 영역에서 도로 영역이 아닌 부분을 제거하는 단계; 및 상기 보행자 후보에 대한 상기 차량의 주행 영역 내 존재 여부, 상대적인 방향, 보행자 행동 정보를 이용하여 단계적으로 보행자의 위험도를 평가하는 단계를 포함하는 것인, 보행자 상태 기반의 보행자와 차량간 충돌 경고 방법
16 16
제 15 항에 있어서, 상기 위험 분석 단계에서 평가된 각 보행자의 위험도에 따라 시각적 또는 청각적으로 운전자가 보행자 상태를 인지하도록 경고하는 경고 단계를 더 포함하는 것인, 보행자 상태 기반의 보행자와 차량간 충돌 경고 방법
17 17
제 15 항에 있어서,상기 영상 이해 단계는, 상기 주행 영상을 시맨틱 세분화(Semantic Segmentation) 기법을 이용하여 상기 주행 영상에서 도로 영역과 보행자 영역을 동시에 검출하는 단계;상기 주행 영상의 깊이 영상을 이용하여 차량을 기준으로 보행자의 이격 정도를 나타내는 보행자 거리 정보를 추정하는 단계;상기 주행 영상에 대한 기울기 영상을 이용하여 소실점을 검출하는 단계; 합성곱 신경 네트워크(Convolution Neural Network, CNN)와 파인-그레인드 네트워크(Fine-Grained Network)가 병렬로 구성된 분류기를 통해 상기 주행 영상에서 검출된 보행자에 대해 연속적인 방향값을 가지는 보행자 방향 정보를 추정하는 단계; 및 상기 주행 영상에서 검출된 보행자들 중에서 상기 도로 영역에 보행자의 존재 여부, 보행자 거리 정보 및 보행자 방향 정보에 근거하여 차량 주행과 관련도가 낮다고 판단되는 보행자를 배제하여 위험도 평가를 위한 보행자 후보를 선별하는 단계를 더 포함하는 것인, 보행자 상태 기반의 보행자와 차량간 충돌 경고 방법
18 18
삭제
지정국 정보가 없습니다
패밀리정보가 없습니다
순번, 연구부처, 주관기관, 연구사업, 연구과제의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 국가R&D 연구정보 정보 표입니다.
순번 연구부처 주관기관 연구사업 연구과제
1 과학기술정보통신부 고려대학교산학협력단 ICT융합산업원천기술개발사업 Deep Learning 기반의 보행자 안전 지원 스마트카 비전 기술의 개발