맞춤기술찾기

이전대상기술

열화상 카메라와 라이다 센서 융합 기반 객체 탐지 장치 및 방법

  • 기술번호 : KST2023003170
  • 담당센터 : 대구기술혁신센터
  • 전화번호 : 053-550-1450
요약, Int. CL, CPC, 출원번호/일자, 출원인, 등록번호/일자, 공개번호/일자, 공고번호/일자, 국제출원번호/일자, 국제공개번호/일자, 우선권정보, 법적상태, 심사진행상태, 심판사항, 구분, 원출원번호/일자, 관련 출원번호, 기술이전 희망, 심사청구여부/일자, 심사청구항수의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 서지정보 표입니다.
요약 본 발명의 탐지 장치는 열화상 이미지와 포인트 클라우드 데이터를 획득하는 획득부; 상기 열화상 이미지에서 객체를 탐지하는 탐지부; 상기 포인트 클라우드 데이터 중에서 상기 객체의 2차원 경계 상자의 중심 좌표에 매칭되는 특정 포인트 클라우드 데이터를 3차원으로 재구성하는 재구성부; 재구성된 특정 포인트 클라우드 데이터를 군집화하여 3차원 경계 상자를 추정하는 추정부;를 포함할 수 있다.
Int. CL G01S 17/894 (2020.01.01) G01S 17/86 (2020.01.01) G01S 17/931 (2020.01.01) G01S 7/497 (2006.01.01) B60W 60/00 (2020.01.01) B60W 40/02 (2006.01.01)
CPC G01S 17/894(2013.01) G01S 17/86(2013.01) G01S 17/931(2013.01) G01S 7/497(2013.01) B60W 60/00(2013.01) B60W 40/02(2013.01) G06T 7/80(2013.01) G06T 3/0031(2013.01) B60W 2420/52(2013.01) B60W 2554/20(2013.01)
출원번호/일자 1020220005341 (2022.01.13)
출원인 경북대학교 산학협력단
등록번호/일자
공개번호/일자 10-2023-0109406 (2023.07.20) 문서열기
공고번호/일자
국제출원번호/일자
국제공개번호/일자
우선권정보
법적상태 공개
심사진행상태 수리
심판사항
구분 국내출원/신규
원출원번호/일자
관련 출원번호
심사청구여부/일자 Y (2022.01.13)
심사청구항수 11

출원인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 출원인 표입니다.
번호 이름 국적 주소
1 경북대학교 산학협력단 대한민국 대구광역시 북구

발명자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 발명자 표입니다.
번호 이름 국적 주소
1 김민영 대구광역시 수성구
2 최지동 대구광역시 달서구

대리인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 대리인 표입니다.
번호 이름 국적 주소
1 백두진 대한민국 서울특별시 서초구 바우뫼로 ***, *층(양재동, 혜산빌딩)(시공특허법률사무소)
2 유광철 대한민국 서울특별시 서초구 바우뫼로 *** *층 (양재동, 혜산빌딩)(시공특허법률사무소)
3 김정연 대한민국 서울특별시 서초구 바우뫼로 *** *층(양재동, 혜산빌딩)(시공특허법률사무소)
4 권성현 대한민국 서울특별시 서초구 바우뫼로 *** 혜산빌딩 *층(시공특허법률사무소)
5 강일신 대한민국 서울특별시 서초구 바우뫼로 ***, *층 혜산빌딩(양재동)(시공특허법률사무소)

최종권리자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 최종권리자 표입니다.
번호 이름 국적 주소
최종권리자 정보가 없습니다
번호, 서류명, 접수/발송일자, 처리상태, 접수/발송일자의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 행정처리 표입니다.
번호 서류명 접수/발송일자 처리상태 접수/발송번호
1 [특허출원]특허출원서
[Patent Application] Patent Application
2022.01.13 수리 (Accepted) 1-1-2022-0047122-59
2 선행기술조사의뢰서
Request for Prior Art Search
2022.10.18 수리 (Accepted) 9-1-9999-9999999-89
3 특허고객번호 정보변경(경정)신고서·정정신고서
2022.12.16 수리 (Accepted) 4-1-2022-5299287-47
번호, 청구항의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 청구항 표입니다.
번호 청구항
1 1
열화상 이미지와 포인트 클라우드 데이터를 획득하는 획득부;상기 열화상 이미지에서 객체를 탐지하는 탐지부;상기 포인트 클라우드 데이터 중에서 상기 객체의 2차원 경계 상자의 중심 좌표에 매칭되는 특정 포인트 클라우드 데이터를 3차원으로 재구성하는 재구성부;재구성된 특정 포인트 클라우드 데이터를 군집화하여 3차원 경계 상자를 추정하는 추정부;를 포함하는 탐지 장치
2 2
제1항에 있어서,라이다 센서로부터 획득된 상기 포인트 클라우드 데이터를 열화상 카메라로부터 획득된 상기 열화상 이미지에 맞춰 재투영하는 재투영부가 마련되고,상기 재구성부는 상기 재투영부에 의한 재투영이 완료된 후에 상기 중심 좌표에 매칭되는 포인트 클라우드 데이터를 탐색하며, 탐색된 상기 포인트 클라우드 데이터를 3차원으로 재구성하는 탐지 장치
3 3
제1항에 있어서,상기 열화상 이미지를 제공하는 열화상 카메라와 상기 포인트 클라우드 데이터를 제공하는 라이다 센서를 캘리브레이션(calibration)하는 재투영부가 마련되고,상기 재투영부는 상기 열화상 이미지에 포함된 특정 물체의 제1 꼭지점을 추출하며,상기 재투영부는 상기 포인트 클라우드 데이터에 포함된 상기 특정 물체의 제2 꼭지점을 추출하고,상기 재투영부는 상기 제1 꼭지점과 상기 제2 꼭지점이 서로 일치하도록 상기 열화상 카메라와 상기 라이다 센서 중 적어도 하나를 캘리브레이션하는 탐지 장치
4 4
제3항에 있어서,상기 특정 물체는 가열 수단을 이용하여 온도 조절이 가능한 동시에 상기 라이다 센서의 방사 신호를 반사할 수 있는 아크릴 소재의 보정 물체를 포함하는 탐지 장치
5 5
제3항에 있어서,상기 재투영부는 상기 열화상 카메라의 캘리브레이션을 통하여 상기 열화상 카메라의 제1 파라미터를 추정하고,상기 재투영부는 히스토그램, 이진화를 통하여 상기 열화상 카메라에서의 제1 보정 타겟점을 추출하며,상기 재투영부는 상기 라이다 센서의 좌표계 기준으로 x, y, z축 필터링과 RANSAC(Random sample consensus) 알고리즘을 이용하여 상기 라이다 센서에서의 제2 보정 타겟점을 추출하고,상기 재투영부는 상기 제1 보정 타겟점 및 상기 제2 보정 타겟점을 이용하여 상기 열화상 카메라 또는 상기 라이다 센서를 캘리브레이션하는 탐지 장치
6 6
제5항에 있어서,상기 재투영부는 히스토그램을 이용하여 상기 열화상 이미지의 밝기 값의 빈도를 분석하고,상기 재투영부는 상기 밝기 값의 상위 설정 개수의 값으로 상기 열화상 이미지를 이진화하여 상기 특정 물체를 추출하며,상기 재투영부는 추출된 상기 특정 물체에서 꼭지점에 해당되는 상기 제1 보정 타겟점을 추출하는 탐지 장치
7 7
제5항에 있어서,상기 재투영부는 상기 포인트 클라우드 데이터에 대하여 상기 라이다 센서의 좌표계를 기준으로 x, y, z축 필터링을 수행하고,상기 재투영부는 상기 필터링 후에 RANSAC(Random sample consensus) 알고리즘으로 3차원 보정 타겟을 추출하며,상기 재투영부는 상기 3차원 보정 타겟에서 외곽선 포인트 클라우드를 추출하고,상기 재투영부는 추출된 외곽선 포인트 클라우드에서 꼭지점에 해당하는 상기 제2 보정 타겟점을 추출하는 탐지 장치
8 8
제1항에 있어서,상기 탐지부는 상기 열화상 이미지에서 상기 객체의 2차원 경계 상자를 예측하고,상기 탐지부는 상기 2차원 경계 상자를 실시간으로 추적하며,3차원의 상기 포인트 클라우드 데이터를 상기 열화상 이미지의 2차원으로 재투영하는 재투영부가 마련되고,상기 재구성부는 상기 2차원 경계 상자의 중심 좌표에 가까운 특정 포인트 클라우드 데이터를 3차원으로 재구성하며,상기 추정부는 재구성된 3차원 포인트 클라우드 데이터를 클러스터링 알고리즘을 이용하여 군집화하고, 군집화된 결과물을 대상으로 3차원 경계 상자를 추정하는 탐지 장치
9 9
2차원의 열화상 이미지를 생성하는 열화상 카메라와 3차원의 포인트 클라우드 데이터를 생성하는 라이다 센서 중 적어도 하나를 캘리브레이션하고,상기 열화상 이미지에서 객체의 2차원 경계 상자를 생성하며,상기 2차원 경계 상자의 중심 좌표에 가까운 특정 포인트 클라우드 데이터를 다시 3차원으로 재구성하고, 3차원으로 재구성된 상기 특정 포인트 클라우드 데이터의 3차원 경계 상자를 상기 객체로 탐지하는 탐지 장치
10 10
탐지 장치에 의해 수행되는 탐지 방법에 있어서,열화상 이미지와 포인트 클라우드 데이터를 획득하는 획득 단계;3차원의 상기 포인트 클라우드 데이터를 상기 열화상 이미지의 2차원으로 재투영하는 재투영 단계;상기 열화상 이미지에서 객체의 2차원 경계 상자를 예측하고 추적하는 탐지 단계;상기 2차원 경계 상자의 중심 좌표에 가까운 특정 포인트 클라우드 데이터를 3차원으로 재구성하는 재구성 단계;재구성된 3차원 포인트 클라우드 데이터를 군집화하고, 군집화된 결과물을 대상으로 3차원 경계 상자를 추정하는 추정 단계;를 포함하는 탐지 방법
11 11
컴퓨터로 읽을 수 있는 기록 매체에 있어서,제10항에 따른 탐지 방법을 컴퓨터로 실행하기 위한 프로그램이 기록된 기록 매체
지정국 정보가 없습니다
패밀리정보가 없습니다
순번, 연구부처, 주관기관, 연구사업, 연구과제의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 국가R&D 연구정보 정보 표입니다.
순번 연구부처 주관기관 연구사업 연구과제
1 산업통상자원부 한국산업기술진흥원 산업혁신인재성장지원(R&D) 미래형자동차R&D전문인력양성