맞춤기술찾기

홈으로 가기
맞춤기술찾기
이전대상기술
프린트하기

이전대상기술

다수 카메라와 라이다 센서 융합을 통한 객체 추적 시스템 및 방법

  • 기술번호 : KST2021001626
  • 담당센터 : 경기기술혁신센터
  • 전화번호 : 031-8006-1570
상담신청 PDF 받기
요약, Int. CL, CPC, 출원번호/일자, 출원인, 등록번호/일자, 공개번호/일자, 공고번호/일자, 국제출원번호/일자, 국제공개번호/일자, 우선권정보, 법적상태, 심사진행상태, 심판사항, 구분, 원출원번호/일자, 관련 출원번호, 기술이전 희망, 심사청구여부/일자, 심사청구항수의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 서지정보 표입니다.
요약 다수의 카메라와 라이더 센서의 융합을 통하여 객체를 추적하는 시스템 및 방법이 제공된다. 본 발명의 일 실시예에 따른, 다수 카메라와 라이다 센서 융합을 통한 객체 추적 방법은, 영상 데이터를 기반으로 객체를 검출하는 단계; 라이다 데이터와 영상 데이터 간의 캘리브레이션을 수행하는 단계; 및 캘리브레이션 결과를 기반으로 객체 간 유사도를 측정하고, 유사도 측정 결과를 기반으로 객체를 추적하는 단계;를 포함한다. 이에 의해, 다수 카메라 시스템에서 각 카메라에서 관측된 객체가 다른 카메라로 옮겨 가는 것을 라이다 센서를 통하여 계산함으로써, 객체의 추적 정확도를 향상 시킬 수 있다.
Int. CL G01S 17/66 (2006.01.01) G01S 17/02 (2020.01.01) G01S 7/497 (2006.01.01) G01S 17/89 (2020.01.01)
CPC G01S 17/66(2013.01) G01S 17/86(2013.01) G01S 7/497(2013.01) G01S 17/89(2013.01)
출원번호/일자 1020190156813 (2019.11.29)
출원인 한국전자기술연구원
등록번호/일자 10-2226372-0000 (2021.03.05)
공개번호/일자
공고번호/일자 (20210311) 문서열기
국제출원번호/일자
국제공개번호/일자
우선권정보
법적상태 등록
심사진행상태 수리
심판사항
구분
원출원번호/일자
관련 출원번호
심사청구여부/일자 Y (2020.02.21)
심사청구항수 4

출원인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 출원인 표입니다.
번호 이름 국적 주소
1 한국전자기술연구원 대한민국 경기도 성남시 분당구

발명자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 발명자 표입니다.
번호 이름 국적 주소
1 김정호 서울특별시 성동구

대리인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 대리인 표입니다.
번호 이름 국적 주소
1 남충우 대한민국 서울 강남구 언주로 ***, *층(역삼동, 광진빌딩)(알렉스국제특허법률사무소)

최종권리자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 최종권리자 표입니다.
번호 이름 국적 주소
1 한국전자기술연구원 대한민국 경기도 성남시 분당구
번호, 서류명, 접수/발송일자, 처리상태, 접수/발송일자의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 행정처리 표입니다.
번호 서류명 접수/발송일자 처리상태 접수/발송번호
1 [특허출원]특허출원서
[Patent Application] Patent Application		 2019.11.29 수리 (Accepted) 1-1-2019-1235022-32
2 [심사청구]심사청구(우선심사신청)서
[Request for Examination] Request for Examination (Request for Preferential Examination)		 2020.02.21 수리 (Accepted) 1-1-2020-0185307-22
3 [우선심사신청]심사청구서·우선심사신청서
 2020.04.09 수리 (Accepted) 1-1-2020-0367539-21
4 [우선심사신청]선행기술조사의뢰서
[Request for Preferential Examination] Request for Prior Art Search		 2020.04.12 수리 (Accepted) 9-1-9999-9999999-89
5 [우선심사신청]선행기술조사보고서
[Request for Preferential Examination] Report of Prior Art Search		 2020.04.23 수리 (Accepted) 9-1-2020-0017787-26
6 의견제출통지서
Notification of reason for refusal		 2020.05.26 발송처리완료 (Completion of Transmission) 9-5-2020-0360554-45
7 [거절이유 등 통지에 따른 의견]의견서·답변서·소명서
 2020.07.27 수리 (Accepted) 1-1-2020-0782717-20
8 [명세서등 보정]보정서
[Amendment to Description, etc.] Amendment		 2020.07.27 보정승인간주 (Regarded as an acceptance of amendment) 1-1-2020-0782739-24
9 출원인정보변경(경정)신고서
Notification of change of applicant's information		 2020.08.24 수리 (Accepted) 4-1-2020-5189497-57
10 최후의견제출통지서
Notification of reason for final refusal		 2020.09.18 발송처리완료 (Completion of Transmission) 9-5-2020-0647671-87
11 [명세서등 보정]보정서
[Amendment to Description, etc.] Amendment		 2020.11.18 보정승인 (Acceptance of amendment) 1-1-2020-1237165-12
12 [거절이유 등 통지에 따른 의견]의견서·답변서·소명서
 2020.11.18 수리 (Accepted) 1-1-2020-1237069-37
13 거절결정서
Decision to Refuse a Patent		 2020.12.22 발송처리완료 (Completion of Transmission) 9-5-2020-0898921-16
14 [명세서등 보정]보정서(재심사)
Amendment to Description, etc(Reexamination)		 2021.01.22 보정승인 (Acceptance of amendment) 1-1-2021-0088387-01
15 [거절이유 등 통지에 따른 의견]의견서·답변서·소명서
 2021.01.22 수리 (Accepted) 1-1-2021-0088365-07
16 등록결정서
Decision to Grant Registration		 2021.03.04 발송처리완료 (Completion of Transmission) 9-5-2021-0185472-28
번호, 청구항의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 청구항 표입니다.
번호 청구항
1 1
영상 데이터를 기반으로 객체를 검출하는 단계;라이다 데이터와 영상 데이터 간의 캘리브레이션을 수행하는 단계; 및캘리브레이션 결과를 기반으로 객체 간 유사도를 측정하고, 유사도 측정 결과를 기반으로 객체를 추적하는 단계;를 포함하고,객체 검출 단계는,딥러닝 기반의 객체 검출기 또는 특징량 기반의 객체 검출기 중 어느 하나를 이용하며, 캘리브레이션 단계는,특정 패턴으로부터 영상과 라이다 데이터를 획득하면, 캘리브레이션을 수행하여 라이다 센서와 카메라 간의 기하학적 정보를 추출하고, 캘리브레이션 단계는,카메라와 라이다 간 상대적인 위치 및 회전 관계 (R, t)를 계산하며, 캘리브레이션 단계는,라이다 3차원 좌표를 영상으로 투영하는 경우, 라이다로부터 획득한 3차원의 점인 가, i번째 카메라 영상에서 로 투영되어, i번째 카메라의 가 계산되며, 영상에서의 좌표값()은, 하기의 수식 1로 산출하고, (수식 1) 객체 추적 단계는,같은 카메라에서 객체 추적을 위해, 두 객체가 같은 유형인지 여부, 두 객체가 검출된 두 영역 안에서 추적된 특징점의 비율 및 두 영역 간의 IoU로부터 유사도를 판단하고,다른 카메라에서의 객체 추적을 위해, 두 객체가 같은 유형인지 여부 및 두 객체가 검출된 두 영역 안 간의 IoU를 고려하되, 두 영역 안에서 추적된 특징점의 비율을 고려하지 않고 유사도를 판단하되,서로 다른 카메라로부터 수집되는 복수의 영상 데이터 간에 객체 유형, 위치의 유사도와 특징점의 추적된 수를 바탕으로 복수의 영상 데이터 안에 포함된 복수의 객체가 동일한 객체인지 여부를 판단하며, 동일한 카메라에서의 객체 추적 유사도()는,복수의 객체가 같은 유형인지 여부()와 현재 객체가 검출된 영역 안에서의 특징점 개수(), 현재 객체가 검출된 영역과 이전 객체가 검출된 영역 간의 매칭된 특징점 개수(), 복수의 영역 사이의 IoU를 기반으로 하기의 수식 2로 산출하고, (수식 2) IoU는, 현재 객체가 검출된 영역과 이전 객체가 검출된 영역 간의 공유하고 있는 영역의 크기를 현재 객체가 검출된 영역과 이전 객체가 검출된 영역이 합쳐진 영역의 크기로 나눔으로써 계산되며, 다른 카메라에서의 객체 추적 유사도()는,복수의 객체가 같은 유형인지 여부()와 제1 카메라를 통해 현재 객체가 검출된 영역()을 제2 카메라를 통해 현재 객체가 검출된 영역()으로 옮긴 후, 계산된 영역에서 산출되는 IoU인 IoU'를 기반으로 하기의 수식 3으로 산출하며, (수식 3) 복수의 카메라 중 제1 카메라를 통해 현재 검출된 영역의 무게 중심() 은, 하기 수식 6을 통해 산출하고, (수식 6) 제1 카메라를 통해 현재 객체가 검출된 영역과 제2 카메라를 통해 현재 객체가 검출된 영역의 차이()는, 제1 카메라를 통해 현재 객체가 검출된 영역()을 제2 카메라를 통해 현재 객체가 검출된 영역()으로 옮기는 과정에서, 제1 카메라를 통해 현재 객체가 검출된 영역의 무게 중심() 및 제2 카메라를 통해 현재 객체가 검출된 영역의 무게 중심()이 산출되면, 제1 카메라를 통해 현재 객체가 검출된 영역의 무게 중심과 제2 카메라를 통해 현재 객체가 검출된 영역의 무게 중심의 차이()를 이용하는 하기 수식 7을 이용하여 산출되는 것을 특징으로 하는 다수 카메라와 라이다 센서 융합을 통한 객체 추적 방법
2 2
삭제
3 3
삭제
4 4
삭제
5 5
삭제
6 6
삭제
7 7
삭제
8 8
삭제
9 9
삭제
10 10
서로 다른 지점에서 영상 데이터를 수집하는 다수의 카메라;라이다 데이터를 수집하는 라이다 센서; 및영상 데이터를 기반으로 객체가 검출되면, 라이다 데이터와 영상 데이터 간의 캘리브레이션을 수행하고, 캘리브레이션 결과를 기반으로 객체 간 유사도를 측정하고, 유사도 측정 결과를 기반으로 객체를 추적하는 프로세서;를 포함하고,영상 데이터 기반 객체 검출 시, 딥러닝 기반의 객체 검출기 또는 특징량 기반의 객체 검출기 중 어느 하나가 이용되며, 프로세서는, 특정 패턴으로부터 영상과 라이다 데이터를 획득하면, 캘리브레이션을 수행하여 라이다 센서와 카메라 간의 기하학적 정보를 추출하고, 프로세서는,카메라와 라이다 간 상대적인 위치 및 회전 관계 (R, t)를 계산하며, 프로세서는,라이다 3차원 좌표를 영상으로 투영하는 경우, 라이다로부터 획득한 3차원의 점인 가, i번째 카메라 영상에서 로 투영되어, i번째 카메라의 가 계산되며, 영상에서의 좌표값()은, 하기의 수식 1로 산출하고, (수식 1) 프로세서는, 같은 카메라에서 객체 추적을 위해, 두 객체가 같은 유형인지 여부, 두 객체가 검출된 두 영역 안에서 추적된 특징점의 비율 및 두 영역 간의 IoU로부터 유사도를 판단하고,다른 카메라에서의 객체 추적을 위해, 두 객체가 같은 유형인지 여부 및 두 객체가 검출된 두 영역 안 간의 IoU를 고려하되, 두 영역 안에서 추적된 특징점의 비율을 고려하지 않고 유사도를 판단하되,서로 다른 카메라로부터 수집되는 복수의 영상 데이터 간에 객체 유형, 위치의 유사도와 특징점의 추적된 수를 바탕으로 복수의 영상 데이터 안에 포함된 복수의 객체가 동일한 객체인지 여부를 판단하며, 동일한 카메라에서의 객체 추적 유사도()는,복수의 객체가 같은 유형인지 여부()와 현재 객체가 검출된 영역 안에서의 특징점 개수(), 현재 객체가 검출된 영역과 이전 객체가 검출된 영역 간의 매칭된 특징점 개수(), 복수의 영역 사이의 IoU를 기반으로 하기의 수식 2로 산출하고, (수식 2) IoU는, 현재 객체가 검출된 영역과 이전 객체가 검출된 영역 간의 공유하고 있는 영역의 크기를 현재 객체가 검출된 영역과 이전 객체가 검출된 영역이 합쳐진 영역의 크기로 나눔으로써 계산되며, 다른 카메라에서의 객체 추적 유사도()는,복수의 객체가 같은 유형인지 여부()와 제1 카메라를 통해 현재 객체가 검출된 영역()을 제2 카메라를 통해 현재 객체가 검출된 영역()으로 옮긴 후, 계산된 영역에서 산출되는 IoU인 IoU'를 기반으로 하기의 수식 3으로 산출하며, (수식 3) 복수의 카메라 중 제1 카메라를 통해 현재 검출된 영역의 무게 중심() 은, 하기 수식 6을 통해 산출하고, (수식 6) 제1 카메라를 통해 현재 객체가 검출된 영역과 제2 카메라를 통해 현재 객체가 검출된 영역의 차이()는, 제1 카메라를 통해 현재 객체가 검출된 영역()을 제2 카메라를 통해 현재 객체가 검출된 영역()으로 옮기는 과정에서, 제1 카메라를 통해 현재 객체가 검출된 영역의 무게 중심() 및 제2 카메라를 통해 현재 객체가 검출된 영역의 무게 중심()이 산출되면, 제1 카메라를 통해 현재 객체가 검출된 영역의 무게 중심과 제2 카메라를 통해 현재 객체가 검출된 영역의 무게 중심의 차이()를 이용하는 하기 수식 7을 이용하여 산출되는 것을 특징으로 하는 다수 카메라와 라이다 센서 융합을 통한 객체 추적 시스템
11 11
영상 데이터를 기반으로 객체를 검출하는 단계;라이다 데이터와 영상 데이터 간의 캘리브레이션을 수행하는 단계; 및캘리브레이션 결과를 기반으로 객체 간 유사도를 측정하고, 유사도 측정 결과를 기반으로 객체를 추적하는 단계;를 포함하고,객체 검출 단계는,딥러닝 기반의 객체 검출기 또는 특징량 기반의 객체 검출기 중 어느 하나를 이용하며, 캘리브레이션 단계는,특정 패턴으로부터 영상과 라이다 데이터를 획득하면, 캘리브레이션을 수행하여 라이다 센서와 카메라 간의 기하학적 정보를 추출하고, 캘리브레이션 단계는,카메라와 라이다 간 상대적인 위치 및 회전 관계 (R, t)를 계산하며, 캘리브레이션 단계는,라이다 3차원 좌표를 영상으로 투영하는 경우, 라이다로부터 획득한 3차원의 점인 가, i번째 카메라 영상에서 로 투영되어, i번째 카메라의 가 계산되며, 영상에서의 좌표값()은, 하기의 수식 1로 산출하고, (수식 1) 객체 추적 단계는,같은 카메라에서 객체 추적을 위해, 두 객체가 같은 유형인지 여부, 두 객체가 검출된 두 영역 안에서 추적된 특징점의 비율 및 두 영역 간의 IoU로부터 유사도를 판단하고,다른 카메라에서의 객체 추적을 위해, 두 객체가 같은 유형인지 여부 및 두 객체가 검출된 두 영역 안 간의 IoU를 고려하되, 두 영역 안에서 추적된 특징점의 비율을 고려하지 않고 유사도를 판단하되,서로 다른 카메라로부터 수집되는 복수의 영상 데이터 간에 객체 유형, 위치의 유사도와 특징점의 추적된 수를 바탕으로 복수의 영상 데이터 안에 포함된 복수의 객체가 동일한 객체인지 여부를 판단하며, 동일한 카메라에서의 객체 추적 유사도()는,복수의 객체가 같은 유형인지 여부()와 현재 객체가 검출된 영역 안에서의 특징점 개수(), 현재 객체가 검출된 영역과 이전 객체가 검출된 영역 간의 매칭된 특징점 개수(), 복수의 영역 사이의 IoU를 기반으로 하기의 수식 2로 산출하고, (수식 2) IoU는, 현재 객체가 검출된 영역과 이전 객체가 검출된 영역 간의 공유하고 있는 영역의 크기를 현재 객체가 검출된 영역과 이전 객체가 검출된 영역이 합쳐진 영역의 크기로 나눔으로써 계산되며, 다른 카메라에서의 객체 추적 유사도()는,복수의 객체가 같은 유형인지 여부()와 제1 카메라를 통해 현재 객체가 검출된 영역()을 제2 카메라를 통해 현재 객체가 검출된 영역()으로 옮긴 후, 계산된 영역에서 산출되는 IoU인 IoU'를 기반으로 하기의 수식 3으로 산출하며, (수식 3) 복수의 카메라 중 제1 카메라를 통해 현재 검출된 영역의 무게 중심() 은, 하기 수식 6을 통해 산출하고, (수식 6) 제1 카메라를 통해 현재 객체가 검출된 영역과 제2 카메라를 통해 현재 객체가 검출된 영역의 차이()는, 제1 카메라를 통해 현재 객체가 검출된 영역()을 제2 카메라를 통해 현재 객체가 검출된 영역()으로 옮기는 과정에서, 제1 카메라를 통해 현재 객체가 검출된 영역의 무게 중심() 및 제2 카메라를 통해 현재 객체가 검출된 영역의 무게 중심()이 산출되면, 제1 카메라를 통해 현재 객체가 검출된 영역의 무게 중심과 제2 카메라를 통해 현재 객체가 검출된 영역의 무게 중심의 차이()를 이용하는 하기 수식 7을 이용하여 산출되는 것을 특징으로 하는 다수 카메라와 라이다 센서 융합을 통한 객체 추적 방법을 수행하는 컴퓨터 프로그램이 수록된 컴퓨터로 읽을 수 있는 기록매체
12 12
영상 데이터 및 라이다 데이터를 수집하는 단계;영상 데이터를 기반으로 객체를 검출하는 단계;라이다 데이터와 영상 데이터 간의 캘리브레이션을 수행하는 단계; 및캘리브레이션 결과를 기반으로 객체 간 유사도를 측정하고, 유사도 측정 결과를 기반으로 객체를 추적하는 단계;를 포함하고,객체 검출 단계는,딥러닝 기반의 객체 검출기 또는 특징량 기반의 객체 검출기 중 어느 하나를 이용하며, 캘리브레이션 단계는,특정 패턴으로부터 영상과 라이다 데이터를 획득하면, 캘리브레이션을 수행하여 라이다 센서와 카메라 간의 기하학적 정보를 추출하고, 캘리브레이션 단계는,카메라와 라이다 간 상대적인 위치 및 회전 관계 (R, t)를 계산하며, 캘리브레이션 단계는,라이다 3차원 좌표를 영상으로 투영하는 경우, 라이다로부터 획득한 3차원의 점인 가, i번째 카메라 영상에서 로 투영되어, i번째 카메라의 가 계산되며, 영상에서의 좌표값()은, 하기의 수식 1로 산출하고, (수식 1) 객체 추적 단계는,같은 카메라에서 객체 추적을 위해, 두 객체가 같은 유형인지 여부, 두 객체가 검출된 두 영역 안에서 추적된 특징점의 비율 및 두 영역 간의 IoU로부터 유사도를 판단하고,다른 카메라에서의 객체 추적을 위해, 두 객체가 같은 유형인지 여부 및 두 객체가 검출된 두 영역 안 간의 IoU를 고려하되, 두 영역 안에서 추적된 특징점의 비율을 고려하지 않고 유사도를 판단하되,서로 다른 카메라로부터 수집되는 복수의 영상 데이터 간에 객체 유형, 위치의 유사도와 특징점의 추적된 수를 바탕으로 복수의 영상 데이터 안에 포함된 복수의 객체가 동일한 객체인지 여부를 판단하며, 동일한 카메라에서의 객체 추적 유사도()는,복수의 객체가 같은 유형인지 여부()와 현재 객체가 검출된 영역 안에서의 특징점 개수(), 현재 객체가 검출된 영역과 이전 객체가 검출된 영역 간의 매칭된 특징점 개수(), 복수의 영역 사이의 IoU를 기반으로 하기의 수식 2로 산출하고, (수식 2) IoU는, 현재 객체가 검출된 영역과 이전 객체가 검출된 영역 간의 공유하고 있는 영역의 크기를 현재 객체가 검출된 영역과 이전 객체가 검출된 영역이 합쳐진 영역의 크기로 나눔으로써 계산되며, 다른 카메라에서의 객체 추적 유사도()는,복수의 객체가 같은 유형인지 여부()와 제1 카메라를 통해 현재 객체가 검출된 영역()을 제2 카메라를 통해 현재 객체가 검출된 영역()으로 옮긴 후, 계산된 영역에서 산출되는 IoU인 IoU'를 기반으로 하기의 수식 3으로 산출하며, (수식 3) 복수의 카메라 중 제1 카메라를 통해 현재 검출된 영역의 무게 중심() 은, 하기 수식 6을 통해 산출하고, (수식 6) 제1 카메라를 통해 현재 객체가 검출된 영역과 제2 카메라를 통해 현재 객체가 검출된 영역의 차이()는, 제1 카메라를 통해 현재 객체가 검출된 영역()을 제2 카메라를 통해 현재 객체가 검출된 영역()으로 옮기는 과정에서, 제1 카메라를 통해 현재 객체가 검출된 영역의 무게 중심() 및 제2 카메라를 통해 현재 객체가 검출된 영역의 무게 중심()이 산출되면, 제1 카메라를 통해 현재 객체가 검출된 영역의 무게 중심과 제2 카메라를 통해 현재 객체가 검출된 영역의 무게 중심의 차이()를 이용하는 하기 수식 7을 이용하여 산출되는 것을 특징으로 하는 다수 카메라와 라이다 센서 융합을 통한 객체 추적 방법
지정국 정보가 없습니다
패밀리정보가 없습니다
순번, 연구부처, 주관기관, 연구사업, 연구과제의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 국가R&D 연구정보 정보 표입니다.
순번 연구부처 주관기관 연구사업 연구과제
1 산업통상자원부 한국과학기술원 자동차산업핵심기술개발(R＆D) Cut-in시 차량간 상호작용이 고려된 딥러닝 기반 미래 상황 예측 및 위험도 판단 기술 개발