맞춤기술찾기

홈으로 가기
맞춤기술찾기
이전대상기술
프린트하기

이전대상기술

보행자 검출 장치 및 방법

  • 기술번호 : KST2019031908
  • 담당센터 : 서울동부기술혁신센터
  • 전화번호 : 02-2155-3662
상담신청 PDF 받기
요약, Int. CL, CPC, 출원번호/일자, 출원인, 등록번호/일자, 공개번호/일자, 공고번호/일자, 국제출원번호/일자, 국제공개번호/일자, 우선권정보, 법적상태, 심사진행상태, 심판사항, 구분, 원출원번호/일자, 관련 출원번호, 기술이전 희망, 심사청구여부/일자, 심사청구항수의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 서지정보 표입니다.
요약 본 발명은 보행자 검출 장치 및 방법에 관한 것으로, 더욱 상세하게는 가시광 카메라와 적외선 카메라로 취득한 영상에서 보행자 검출에 유리한 영상을 적응적으로 선택함으로써 보행자 검출 정확도를 향상시키는 보행자 검출 장치 및 방법에 관한 것이다. 본 발명은 퍼지 논리를 기반으로 실시간 입력 영상으로부터 가시광 영상과 적외선 영상의 특징을 분석하여 검출에 유리한 영상을 선택하고, 선택된 영상에 회선 신경망을 적용하여 보행자 검출 성능을 향상시킬 수 있다.
Int. CL H04N 7/18 (2006.01.01) G06T 7/11 (2017.01.01) G06T 5/50 (2006.01.01)
CPC H04N 7/18(2013.01) H04N 7/18(2013.01) H04N 7/18(2013.01) H04N 7/18(2013.01) H04N 7/18(2013.01) H04N 7/18(2013.01)
출원번호/일자 1020170093740 (2017.07.24)
출원인 동국대학교 산학협력단
등록번호/일자 10-1908481-0000 (2018.10.10)
공개번호/일자
공고번호/일자 (20181210) 문서열기
국제출원번호/일자
국제공개번호/일자
우선권정보
법적상태 등록
심사진행상태 수리
심판사항
구분 신규
원출원번호/일자
관련 출원번호
심사청구여부/일자 Y (2017.07.24)
심사청구항수 13

출원인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 출원인 표입니다.
번호 이름 국적 주소
1 동국대학교 산학협력단 대한민국 서울특별시 중구

발명자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 발명자 표입니다.
번호 이름 국적 주소
1 박강령 대한민국 서울특별시 강남구
2 강진규 대한민국 경기도 의정부시 송

대리인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 대리인 표입니다.
번호 이름 국적 주소
1 특허법인이지 대한민국 서울특별시 금천구 가산디지털*로 ***(가산동, KCC웰츠밸리) ***-***

최종권리자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 최종권리자 표입니다.
번호 이름 국적 주소
1 동국대학교 산학협력단 서울특별시 중구
번호, 서류명, 접수/발송일자, 처리상태, 접수/발송일자의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 행정처리 표입니다.
번호 서류명 접수/발송일자 처리상태 접수/발송번호
1 [특허출원]특허출원서
[Patent Application] Patent Application		 2017.07.24 수리 (Accepted) 1-1-2017-0711079-63
2 선행기술조사의뢰서
Request for Prior Art Search		 2018.01.11 수리 (Accepted) 9-1-9999-9999999-89
3 선행기술조사보고서
Report of Prior Art Search		 2018.04.09 수리 (Accepted) 9-1-2018-0014210-32
4 의견제출통지서
Notification of reason for refusal		 2018.06.07 발송처리완료 (Completion of Transmission) 9-5-2018-0388468-13
5 [거절이유 등 통지에 따른 의견]의견(답변, 소명)서
[Opinion according to the Notification of Reasons for Refusal] Written Opinion(Written Reply, Written Substantiation)		 2018.07.11 수리 (Accepted) 1-1-2018-0685235-79
6 [명세서등 보정]보정서
[Amendment to Description, etc.] Amendment		 2018.07.11 보정승인간주 (Regarded as an acceptance of amendment) 1-1-2018-0685251-00
7 등록결정서
Decision to grant		 2018.10.06 발송처리완료 (Completion of Transmission) 9-5-2018-0680961-83
8 [명세서등 보정]보정서(심사관 직권보정)
 2018.12.04 보정승인간주 (Regarded as an acceptance of amendment) 1-1-2018-5022677-57
9 출원인정보변경(경정)신고서
Notification of change of applicant's information		 2019.08.16 수리 (Accepted) 4-1-2019-5163486-33
번호, 청구항의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 청구항 표입니다.
번호 청구항
1 1
보행자 검출 장치에 있어서, 가시광 영상 및 적외선 영상을 입력받는 영상 입력부;입력된 가시광선 영상 및 적외선 영상에서 후보 영역을 검출하고, 검출한 후보 영역에서 특징값 및 가중치를 추출하는 영상 분석부;기 설정한 두 개의 퍼지 논리를 기반으로 후보영역의 특징값 및 가중치를 이용하여 보행자 검출에 유리한 후보영역을 선택하는 영상 선택부; 및선택된 후보영역에 기 학습한 회선 신경망 모델을 적용하여 선택된 영상이 보행자에 해당하는지 검증하고, 검증 결과에 따라 상기 가시광 영상 및 적외선 영상 내 보행자를 검출하는 보행자 검출부;를 포함하고,상기 영상 선택부는가시광 영상 및 적외선 영상의 후보영역에서 추출한 특징값이 보행자에 해당할 경우와 비보행자에 해당할 경우에 따라 상이하게 퍼지 논리를 설정하여, 상기 후보영역의 특징값을 퍼지 논리에 입력하여 출력된 퍼지 결과값과 가중치를 식(1)에 적용하여 최종 퍼지 결과값을 산출하되, (1)식(1)에서 는 최종 퍼지 결과값, 는 보행자일 경우의 퍼지 결과값, 는 보행자일 경우의 가중치, 는 비보행자일 경우의 퍼지 결과값, 는 비보행자일 경우의 가중치를 의미하는 보행자 검출 장치
2 2
제1항에 있어서, 상기 영상 분석부는가시광 배경영상과 입력된 가시광 영상의 차영상을 생성하여 가시광 영상의 후보영역을 검출하고, 적외선 배경영상과 입력된 적외선 영상의 차영상을 생성하여 적외선 영상의 후보영역을 검출하는 후보영역 검출부;가시광 영상의 후보영역 및 적외선 영상의 후보영역에서 픽셀 평균값을 산출하여 제1 특징값 및 제2 특징값을 추출하는 특징값 추출부; 및 가시광 영상 및 적외선 영상의 후보영역에 가우시안 필터링을 적용하고 각 픽셀 명도의 기울기 크기값을 산출하여 제1 가중치 및 제2 가중치를 추출하는 가중치 추출부를 포함하는 보행자 검출 장치
3 3
삭제
4 4
제1항에 있어서, 상기 영상 선택부는기 설정한 임계값을 기준으로 상기 최종 퍼지 결과값이 임계값 이하이면 가시광 영상에서 검출한 후보영역을 선택하고, 그렇지 않을 경우는 적외선 영상에서 검출한 후보영역을 선택하는 보행자 검출 장치
5 5
제1항에 있어서, 상기 보행자 검출부의 회선 신경망 모델은 미리 설정한 스케일의 보행자 후보 영상을 입력하는 이미지 입력 레이어;5개의 콘벌루션 레이어 집합 및 3개의 완전 연결(Fully connected) 레이어 집합을 포함하는 특징 추출 레이어; 및상기 3개의 완전 연결 레이어에서 출력된 후보영역의 특징을 소프트맥스(Softmax) 레이어를 통해 보행자 또는 비호행자로 분류하는 분류 레이어를 포함하는 보행자 검출 장치
6 6
제5항에 있어서, 상기 특징 추출 레이어는 각각의 콘벌루션 레이어들은 교정 선형 유닛(Rectified Linear Unit) 레이어와 함께 하고, 로컬 응답 정규화(Local response normalization) 레이어 및 맥스 풀링(Max pooling) 레이어를 포함하는 보행자 검출 장치
7 7
제5항에 있어서, 상기 5개의 콘벌루션 레이어 집합은115×51×1 픽셀의 이미지가 입력되며, 크기 11×11×3 크기의 96개의 필터를 이용하여 2 픽셀 간격으로 콘벌루션화하는 제1 콘벌루션 레이어, 교정 선형 유닛(Rectified Linear Unit) 레이어, 로컬 응답 정규화(Local response normalization) 레이어 및 3×3 크기의 필터를 1개를 2 픽셀 간격으로 적용하여 27×43×96 픽셀의 특징맵을 출력하는 제1 맥스 풀링 레이어로 구성된 제1 콘벌루션 레이어 집합;상기 제1 콘벌루션 레이어 집합에서 출력된 27×43×96 픽셀의 특징맵에 5×5×96 크기의 128개의 필터를 1 픽셀 간격으로 2패딩씩 콘벌루션화하는 제2 콘벌루션 레이어, 교정 선형 유닛 레이어, 로컬 응답 정규화 및 3×3 크기의 필터를 1개를 2 픽셀 간격으로 적용하여 13×21×128 픽셀의 특징맵을 출력하는 제2 맥스 풀링 레이어로 구성된 제2 콘벌루션 레이어 집합;상기 제2 콘벌루션 레이어 집합에서 출력된 13×21×256 픽셀의 특징맵에 3×3×128 크기의 필터 256개를 이용하여 1 픽셀 간격으로 1 패딩씩 콘벌루션화하는 제3 콘벌루션 레이어 및 교정 선형 유닛 레이어로 구성된 제3 콘벌루션 레이어 집합;상기 제3 콘벌루션 레이어에서 출력된 13×21×256 픽셀의 특징맵에 3×3×128 크기의 필터 256개를 이용하여 1 픽셀 간격으로 1 패딩씩 콘벌루션화하는 제4 콘벌루션 레이어 및 교정 선형 유닛 레이어로 구성된 제4 콘벌루션 레이어 집합; 및상기 제4 콘벌루션 레이어 집합에서 출력된 13×21×256 픽셀의 특징맵에 픽셀의 특징맵에 3×3×256 크기의 128개의 필터를 1 픽셀 간격으로 1패딩씩 콘벌루션화하는 제5 콘벌루션 레이어, 3×3 크기의 필터를 1개를 2 픽셀 간격으로 적용하여 6×10×128 픽셀의 특징맵을 출력하는 제3 맥스 풀링 레이어로 구성된 및 교정 선형 유닛 레이어로 구성된 제5 콘벌루션 레이어 집합;을 포함하는 보행자 검출 장치
8 8
제5항에 있어서, 상기 3개의 완전 연결 레이어 집합은 6 및 4096 노드들을 각각 입력 및 출력으로 하는 제1 완전 연결 레이어;4096 및 1024 노드들을 각각 입력 및 출력으로 하는 제2 완전 연결 레이어; 및1024 및 2개 노드들을 각각 입력 및 출력으로 하는 제3 완전 연결 레이어를 포함하는 보행자 검출 장치
9 9
보행자 검출 방법에 있어서,가시광 영상 및 적외선 영상을 입력받는 단계;입력된 가시광선 영상 및 적외선 영상에서 후보 영역을 검출하고, 검출한 후보 영역에서 특징값 및 가중치를 추출하는 단계;기 설정한 두 개의 퍼지 논리를 기반으로 후보영역의 특징값 및 가중치를 이용하여 보행자 검출에 유리한 후보영역을 선택하는 단계; 및선택된 후보영역에 기 학습한 회선 신경망 모델을 적용하여 선택된 영상이 보행자에 해당하는지 검증하고, 검증 결과에 따라 상기 가시광 영상 및 적외선 영상 내 보행자를 검출하는 단계를 포함하고,상기 기 설정한 두 개의 퍼지 논리를 기반으로 후보영역의 특징값 및 가중치를 이용하여 보행자 검출에 유리한 후보영역을 선택하는 단계는가시광 영상 및 적외선 영상의 후보영역에서 추출한 특징값이 보행자에 해당할 경우와 비보행자에 해당할 경우에 따라 상이하게 퍼지 논리를 설정하여, 상기 후보영역의 특징값을 퍼지 논리에 입력하여 출력된 퍼지 결과값과 가중치를 식(1)에 적용하여 최종 퍼지 결과값을 산출하되, (1)식(1)에서 는 최종 퍼지 결과값, 는 보행자일 경우의 퍼지 결과값, 는 보행자일 경우의 가중치, 는 비보행자일 경우의 퍼지 결과값, 는 비보행자일 경우의 가중치를 의미하는 보행자 검출 방법
10 10
제9항에 있어서,상기 입력된 가시광선 영상 및 적외선 영상에서 후보 영역을 검출하고, 검출한 후보 영역에서 특징값 및 가중치를 추출하는 단계는가시광 배경영상과 입력된 가시광 영상의 차영상을 생성하여 가시광 영상의 후보영역을 검출하고, 적외선 배경영상과 입력된 적외선 영상의 차영상을 생성하여 적외선 영상의 후보영역을 검출하는 단계;상기 가시광 영상의 후보영역 및 상기 적외선 영상의 후보영역에서 픽셀 평균값을 산출하여 제1 특징값 및 제2 특징값을 추출하는 단계; 및상기 가시광 영상의 후보영역 및 상기 적외선 영상의 후보영역에 가우시안 필터링을 적용하고 각 픽셀 명도의 기울기 크기값을 산출하여 제1 가중치 및 제2 가중치를 추출하는 단계를 더 포함하는 보행자 검출 방법
11 11
제10항에 있어서,상기 기 설정한 두 개의 퍼지 논리를 기반으로 후보영역의 특징값 및 가중치를 이용하여 보행자 검출에 유리한 후보영역을 선택하는 단계는 기 설정한 두 개의 퍼지 논리에 상기 제1 특징값, 상기 제2 특징값, 상기 제1 가중치 및 상기 제2 가중치를 적용하여 최종 퍼지 결과값을 출력하는 단계 및상기 최종 퍼지 결과값에 따라 상기 가시광 영상의 후보영역 또는 상기 적외선 영상의 후보영역 중 하나를 선택하는 단계를 더 포함하는 보행자 검출 방법
12 12
제11항에 있어서, 상기 퍼지 논리는 가시광 영상 및 적외선 영상의 후보영역에서 추출한 특징값이 보행자에 해당할 경우와 비보행자에 해당할 경우에 따라 상이하게 설정하고, 상기 최종 퍼지 결과값은 상기 후보영역의 특징값을 퍼지 논리에 입력하여 출력된 퍼지 결과값과 가중치를 식(1)에 적용하여 산출하되, (1)식(1)에서 는 최종 퍼지 결과값, 는 보행자일 경우의 퍼지 결과값, 는 보행자일 경우의 가중치, 는 비보행자일 경우의 퍼지 결과값, 는 비보행자일 경우의 가중치를 의미하는 보행자 검출 방법
13 13
제9항에 있어서,상기 선택된 후보영역에 기 학습한 회선 신경망 모델을 적용하여 선택된 영상이 보행자에 해당하는지 검증하고, 검증 결과에 따라 상기 가시광 영상 및 적외선 영상 내 보행자를 검출하는 단계는 데이터 세트에 포함된 보행자 영역 및 비보행자 영역을 학습한 회선 신경망 모델을 이용하여 상기 선택된 후보영역을 보행자 또는 비보행자로 분류하고, 보행자로 분류된 후보영역으로 상기 가시광 영상 및 상기 적외선 영상 내의 보행자를 검출하는 보행자 검출 방법
14 14
제9항 내지 제13항 중 어느 하나의 보행자 검출 방법을 실행하고 컴퓨터가 판독 가능한 기록매체에 기록된 컴퓨터 프로그램
지정국 정보가 없습니다
패밀리정보가 없습니다
순번, 연구부처, 주관기관, 연구사업, 연구과제의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 국가R&D 연구정보 정보 표입니다.
순번 연구부처 주관기관 연구사업 연구과제
1 교육부 동국대학교 산학협력단 이공학개인기초연구지원사업(기본) 시선 위치, 눈 반응, 감정 및 행태 분석 기반 운전자 감성 인지 자동차 기술 개발[2/3]
2 미래창조과학부 동국대학교 산학협력단 대학ICT연구센터육성지원사업 (ITRC) 소환현실기반 콘텐츠 제작을 위한 실감형 인터랙션 NUI/NUX 플랫폼 기술 개발[5/6]