맞춤기술찾기

이전대상기술

CNN을 활용한 카메라 및 라이다 센서 기반 실시간 객체 탐지 방법

  • 기술번호 : KST2021003388
  • 담당센터 : 대전기술혁신센터
  • 전화번호 : 042-610-2279
요약, Int. CL, CPC, 출원번호/일자, 출원인, 등록번호/일자, 공개번호/일자, 공고번호/일자, 국제출원번호/일자, 국제공개번호/일자, 우선권정보, 법적상태, 심사진행상태, 심판사항, 구분, 원출원번호/일자, 관련 출원번호, 기술이전 희망, 심사청구여부/일자, 심사청구항수의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 서지정보 표입니다.
요약 CNN을 활용한 카메라 및 라이다 센서 기반 실시간 객체 탐지 방법 및 장치가 제시된다. 본 발명에서 제안하는 CNN을 활용한 카메라 및 라이다 센서 기반 실시간 객체 탐지 방법은 반사율 및 거리 정보를 포함하는 PCD(Point Cloud Data)와 영상 데이터에 기초하여 CNN 기반의 복수의 YOLO에 대한 객체 탐지 학습을 각각 수행하는 단계, PCD와 영상 데이터에 기초하여 학습된 각각의 객체 탐지 모델에서의 객체에 대한 경계상자와 신뢰도 점수를 예측하는 단계 및 객체 탐지 결과를 융합하기 위해 경계상자의 좌표를 해당 객체에 대한 신뢰도 점수를 기반으로 가중평균을 통해 최종 경계상자를 결정하는 단계를 포함한다
Int. CL G06T 7/11 (2017.01.01) G06N 3/08 (2006.01.01) G01S 17/02 (2020.01.01) G06T 7/50 (2017.01.01)
CPC G06T 7/11(2013.01) G06N 3/08(2013.01) G01S 17/86(2013.01) G06T 7/50(2013.01) G06T 2207/20081(2013.01) G06T 2207/20084(2013.01) G06T 2210/12(2013.01)
출원번호/일자 1020190107150 (2019.08.30)
출원인 순천향대학교 산학협력단
등록번호/일자
공개번호/일자 10-2021-0026412 (2021.03.10) 문서열기
공고번호/일자
국제출원번호/일자
국제공개번호/일자
우선권정보
법적상태 등록
심사진행상태 수리
심판사항
구분
원출원번호/일자
관련 출원번호
심사청구여부/일자 Y (2019.08.30)
심사청구항수 8

출원인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 출원인 표입니다.
번호 이름 국적 주소
1 순천향대학교 산학협력단 대한민국 충청남도 아산시

발명자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 발명자 표입니다.
번호 이름 국적 주소
1 조정호 대한민국 대전광역시 유성구
2 김진수 충청남도 아산시

대리인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 대리인 표입니다.
번호 이름 국적 주소
1 양성보 대한민국 서울특별시 강남구 선릉로***길 ** (논현동) 삼성빌딩 *층(피앤티특허법률사무소)

최종권리자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 최종권리자 표입니다.
번호 이름 국적 주소
최종권리자 정보가 없습니다
번호, 서류명, 접수/발송일자, 처리상태, 접수/발송일자의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 행정처리 표입니다.
번호 서류명 접수/발송일자 처리상태 접수/발송번호
1 [특허출원]특허출원서
[Patent Application] Patent Application
2019.08.30 수리 (Accepted) 1-1-2019-0894001-84
2 의견제출통지서
Notification of reason for refusal
2020.09.28 발송처리완료 (Completion of Transmission) 9-5-2020-0667095-56
3 출원인정보변경(경정)신고서
Notification of change of applicant's information
2020.11.11 수리 (Accepted) 4-1-2020-5248644-91
4 [명세서등 보정]보정서
[Amendment to Description, etc.] Amendment
2020.11.23 보정승인간주 (Regarded as an acceptance of amendment) 1-1-2020-1255170-63
5 [거절이유 등 통지에 따른 의견]의견서·답변서·소명서
2020.11.23 수리 (Accepted) 1-1-2020-1255169-16
6 출원인정보변경(경정)신고서
Notification of change of applicant's information
2021.01.05 수리 (Accepted) 4-1-2021-5002463-66
7 출원인정보변경(경정)신고서
Notification of change of applicant's information
2021.01.14 수리 (Accepted) 4-1-2021-5010552-64
번호, 청구항의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 청구항 표입니다.
번호 청구항
1 1
반사율 및 거리 정보를 포함하는 PCD(Point Cloud Data)와 영상 데이터에 기초하여 CNN 기반의 복수의 YOLO에 대한 객체 탐지 학습을 각각 수행하는 단계; PCD와 영상 데이터에 기초하여 학습된 각각의 객체 탐지 모델에서의 객체에 대한 경계상자와 신뢰도 점수를 예측하는 단계; 및 객체 탐지 결과를 융합하기 위해 경계상자의 좌표를 해당 객체에 대한 신뢰도 점수를 기반으로 가중평균을 통해 최종 경계상자를 결정하는 단계 를 포함하는 실시간 객체 탐지 방법
2 2
제1항에 있어서,반사율 및 거리 정보를 포함하는 PCD와 영상 데이터에 기초하여 CNN 기반의 복수의 YOLO에 대한 객체 탐지 학습을 각각 수행하는 단계는, RGB 카메라의 시야각과 동일한 전면뷰로 투영하는 변환과정을 통해 PCD의 차원과 좌표계를 영상 데이터와 같은 2차원 픽셀 좌표계로 변환하는 전처리 수행 후, 영상 데이터, 깊이 맵, 반사율 맵으로 분류된 데이터에 기초하여 각각의 객체 탐지 모델을 통해 학습을 수행하는 실시간 객체 탐지 방법
3 3
제1항에 있어서,반사율 및 거리 정보를 포함하는 PCD와 영상 데이터에 기초하여 CNN 기반의 복수의 YOLO에 대한 객체 탐지 학습을 각각 수행하는 단계는, YOLO는 입력된 이미지 내부의 객체에 대한 경계상자의 예측과 분류를 동시에 실행하고, YOLO에 입력되는 영상 데이터는 해상도에 따라 격자 구역으로 나뉘고 CNN 구조의 신경망을 통해 특징이 추출되며, 완전 연결 노드를 통해 예측 텐서가 출력되는 실시간 객체 탐지 방법
4 4
제1항에 있어서,PCD와 영상 데이터에 기초하여 학습된 각각의 객체 탐지 모델에서의 객체에 대한 경계상자와 신뢰도 점수를 예측하는 단계는, 학습된 각각의 객체 탐지 모델의 객체 탐지 결과는 경계상자의 기하학적 정보와 탐지된 객체가 실제값과 일치하는지 정도를 나타내는 신뢰도를 반영하여 객체가 분류된 확률의 신뢰도 점수를 예측하는 실시간 객체 탐지 방법
5 5
제1항에 있어서,객체 탐지 결과를 융합하기 위해 경계상자의 좌표를 해당 객체에 대한 신뢰도 점수를 기반으로 가중평균을 통해 최종 경계상자를 결정하는 단계는, 각각의 객체 탐지 모델에서의 객체에 대한 경계상자들의 신뢰도 점수에 따라 가중된 평균값을 갖고, 각각의 경계상자의 기하학적 정보만을 기초로 하여 하나의 경계상자로 융합하는 실시간 객체 탐지 방법
6 6
반사율 및 거리 정보를 포함하는 PCD와 영상 데이터에 기초하여 CNN 기반의 복수의 YOLO에 대한 객체 탐지 학습을 각각 수행하는 학습부; PCD와 영상 데이터에 기초하여 학습된 각각의 객체 탐지 모델에서의 객체에 대한 경계상자와 신뢰도 점수를 예측하는 예측부; 및 객체 탐지 결과를 융합하기 위해 경계상자의 좌표를 해당 객체에 대한 신뢰도 점수를 기반으로 가중평균을 통해 최종 경계상자를 결정하는 객체 탐지부 를 포함하는 실시간 객체 탐지 장치
7 7
제6항에 있어서,학습부는, RGB 카메라의 시야각과 동일한 전면뷰로 투영하는 변환과정을 통해 PCD의 차원과 좌표계를 영상 데이터와 같은 2차원 픽셀 좌표계로 변환하는 전처리 수행 후, 영상 데이터, 깊이 맵, 반사율 맵으로 분류된 데이터에 기초하여 각각의 객체 탐지 모델을 통해 학습을 수행하는실시간 객체 탐지 장치
8 8
제6항에 있어서,학습부는, YOLO는 입력된 이미지 내부의 객체에 대한 경계상자의 예측과 분류를 동시에 실행하고, YOLO에 입력되는 영상 데이터는 해상도에 따라 격자 구역으로 나뉘고 CNN 구조의 신경망을 통해 특징이 추출되며, 완전 연결 노드를 통해 예측 텐서가 출력되는 실시간 객체 탐지 장치
9 9
제6항에 있어서,예측부는, 학습된 각각의 객체 탐지 모델의 객체 탐지 결과는 경계상자의 기하학적 정보와 탐지된 객체가 실제값과 일치하는지 정도를 나타내는 신뢰도를 반영하여 객체가 분류된 확률의 신뢰도 점수를 예측하는 실시간 객체 탐지 장치
10 10
제6항에 있어서,객체 탐지부는, 각각의 객체 탐지 모델에서의 객체에 대한 경계상자들의 신뢰도 점수에 따라 가중된 평균값을 갖고, 각각의 경계상자의 기하학적 정보만을 기초로 하여 하나의 경계상자로 융합하는실시간 객체 탐지 장치
지정국 정보가 없습니다
패밀리정보가 없습니다
순번, 연구부처, 주관기관, 연구사업, 연구과제의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 국가R&D 연구정보 정보 표입니다.
순번 연구부처 주관기관 연구사업 연구과제
1 교육부 순천향대학교 산학협력단 이공학개인기초 지역대학우수과학자지원사업 다중 센서 탑재 지능형 무인항공기의 지상 감시기술 연구