맞춤기술찾기

이전대상기술

카메라와 레이더 센서 융합 기반 3차원 객체 검출을 위한 전자 장치 및 그의 동작 방법

  • 기술번호 : KST2020014312
  • 담당센터 : 대전기술혁신센터
  • 전화번호 : 042-610-2279
요약, Int. CL, CPC, 출원번호/일자, 출원인, 등록번호/일자, 공개번호/일자, 공고번호/일자, 국제출원번호/일자, 국제공개번호/일자, 우선권정보, 법적상태, 심사진행상태, 심판사항, 구분, 원출원번호/일자, 관련 출원번호, 기술이전 희망, 심사청구여부/일자, 심사청구항수의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 서지정보 표입니다.
요약 다양한 실시예들에 따른 전자 장치 및 그의 동작 방법은, 카메라 모듈과 레이더 센서 융합 기반 3차원 객체 검출을 위한 것으로, 카메라 모듈을 통해 획득되는 제 1 센싱 데이터로부터 추출되는 제 1 특징 맵에서 제 1 관심 영역을 추출하고, 레이더 센서를 통해 획득되는 제 2 센싱 데이터로부터 추출되는 제 2 특징 맵에서 제 2 관심 영역을 추출하고, 제 1 관심 영역과 제 2 관심 영역을 융합하여 제 3관심 영역을 생성하고, 제 3 관심 영역을 기반으로, 3차원 객체를 검출하도록 구성될 수 있다.
Int. CL B60W 40/02 (2006.01.01) B60W 60/00 (2020.01.01) G05D 1/02 (2020.01.01) G05D 1/00 (2006.01.01) B60R 21/0134 (2006.01.01) G06K 9/00 (2006.01.01) G06K 9/32 (2006.01.01) B60W 50/00 (2006.01.01)
CPC B60W 40/02(2013.01) B60W 40/02(2013.01) B60W 40/02(2013.01) B60W 40/02(2013.01) B60W 40/02(2013.01) B60W 40/02(2013.01) B60W 40/02(2013.01) B60W 40/02(2013.01) B60W 40/02(2013.01) B60W 40/02(2013.01) B60W 40/02(2013.01) B60W 40/02(2013.01) B60W 40/02(2013.01) B60W 40/02(2013.01)
출원번호/일자 1020200032410 (2020.03.17)
출원인 한국과학기술원
등록번호/일자 10-2168753-0000 (2020.10.16)
공개번호/일자
공고번호/일자 (20201022) 문서열기
국제출원번호/일자
국제공개번호/일자
우선권정보
법적상태 등록
심사진행상태 수리
심판사항
구분 신규
원출원번호/일자
관련 출원번호
심사청구여부/일자 Y (2020.03.17)
심사청구항수 13

출원인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 출원인 표입니다.
번호 이름 국적 주소
1 한국과학기술원 대한민국 대전광역시 유성구

발명자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 발명자 표입니다.
번호 이름 국적 주소
1 금동석 대전광역시 유성구
2 김영석 대전광역시 유성구

대리인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 대리인 표입니다.
번호 이름 국적 주소
1 양성보 대한민국 서울특별시 강남구 선릉로***길 ** (논현동) 삼성빌딩 *층(피앤티특허법률사무소)

최종권리자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 최종권리자 표입니다.
번호 이름 국적 주소
1 한국과학기술원 대한민국 대전광역시 유성구
번호, 서류명, 접수/발송일자, 처리상태, 접수/발송일자의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 행정처리 표입니다.
번호 서류명 접수/발송일자 처리상태 접수/발송번호
1 [특허출원]특허출원서
[Patent Application] Patent Application
2020.03.17 수리 (Accepted) 1-1-2020-0278976-05
2 [우선심사신청]심사청구(우선심사신청)서
[Request for Preferential Examination] Request for Examination (Request for Preferential Examination)
2020.03.18 수리 (Accepted) 1-1-2020-0283346-79
3 [우선심사신청]선행기술조사의뢰서
[Request for Preferential Examination] Request for Prior Art Search
2020.03.23 수리 (Accepted) 9-1-9999-9999999-89
4 [우선심사신청]선행기술조사보고서
[Request for Preferential Examination] Report of Prior Art Search
2020.03.25 수리 (Accepted) 9-1-2020-0012740-20
5 의견제출통지서
Notification of reason for refusal
2020.04.27 발송처리완료 (Completion of Transmission) 9-5-2020-0294889-42
6 출원인정보변경(경정)신고서
Notification of change of applicant's information
2020.05.15 수리 (Accepted) 4-1-2020-5108396-12
7 [명세서등 보정]보정서
[Amendment to Description, etc.] Amendment
2020.05.22 보정승인간주 (Regarded as an acceptance of amendment) 1-1-2020-0515989-36
8 [거절이유 등 통지에 따른 의견]의견서·답변서·소명서
2020.05.22 수리 (Accepted) 1-1-2020-0515988-91
9 출원인정보변경(경정)신고서
Notification of change of applicant's information
2020.06.12 수리 (Accepted) 4-1-2020-5131486-63
10 등록결정서
Decision to grant
2020.07.17 발송처리완료 (Completion of Transmission) 9-5-2020-0487227-19
번호, 청구항의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 청구항 표입니다.
번호 청구항
1 1
전자 장치의 동작 방법에 있어서,제 1 센싱 데이터로부터 추출되는 제 1 특징 맵에서 제 1 관심 영역을 추출하는 동작;제 2 센싱 데이터로부터 추출되는 제 2 특징 맵에서 상기 제 1 관심 영역에 대응하는 제 2 관심 영역을 추출하는 동작;상기 제 1 관심 영역과 상기 제 2 관심 영역을 융합하여 제 3 관심 영역을 생성하는 동작; 및상기 제 3 관심 영역을 기반으로, 3차원 객체를 검출하는 동작을 포함하고, 상기 제 1 센싱 데이터는 카메라 모듈로부터 획득되는 영상 데이터를 포함하고, 상기 제 2 센싱 데이터는 레이더 센서 또는 라이다 센서 중 적어도 어느 하나로부터 획득되는 포인트 클라우드 데이터를 포함하고, 상기 제 1 관심 영역을 추출하는 동작은,투영 행렬(projection matrix)을 이용하여, 미리 정해진 사이즈의 3차원 박스를 상기 제 1 센싱 데이터의 제 1 좌표계로 투영함으로써, 상기 제 1 특징 맵에서 상기 3차원 박스에 대응하여 상기 제 1 관심 영역을 추출하는 동작을 포함하고, 상기 제 2 관심 영역을 추출하는 동작은,상기 투영 행렬을 이용하여, 상기 3차원 박스를 상기 제 2 센싱 데이터의 제 2 좌표계로 투영함으로써, 상기 제 2 특징 맵에서 상기 3차원 박스에 대응하여 상기 제 2 관심 영역을 추출하는 동작을 포함하는 방법
2 2
삭제
3 3
삭제
4 4
삭제
5 5
제 1 항에 있어서, 상기 제 3 관심 영역을 생성하는 동작은,상기 제 1 관심 영역과 상기 제 2 관심 영역에 대한 제 1 가중치와 제 2 가중치를 각각 계산하는 동작; 및상기 제 1 가중치와 상기 제 2 가중치를 기반으로, 상기 제 1 관심 영역과 상기 제 2 관심 영역으로부터 상기 제 3 관심 영역을 생성하는 동작을 포함하는 방법
6 6
제 5 항에 있어서, 상기 제 1 가중치와 상기 제 2 가중치를 기반으로, 상기 제 3 관심 영역을 생성하는 동작은, 상기 제 1 관심 영역에 상기 제 1 가중치를 곱하여, 제 1 가중 영역을 획득하는 동작;상기 제 2 관심 영역에 상기 제 2 가중치를 곱하여, 제 2 가중 영역을 획득하는 동작; 및상기 제 1 가중 영역과 상기 제 2 가중 영역의 합을 상기 제 1 가중치와 상기 제 2 가중치의 합으로 나눔으로써, 상기 제 3 관심 영역을 생성하는 동작을 포함하는 방법
7 7
제 5 항에 있어서, 상기 제 1 가중치와 상기 제 2 가중치를 계산하는 동작은, 상기 제 1 관심 영역과 상기 제 2 관심 영역의 병합으로부터 상기 제 1 가중치와 상기 제 2 가중치를 각각 계산하는 동작을 포함하는 방법
8 8
제 1 항에 있어서, 상기 3차원 객체를 검출하는 동작은, 상기 3차원 객체에 대한 정보를 검출하는 동작을 포함하고,상기 정보는 상기 3차원 객체의 위치, 크기 또는 방향 중 적어도 어느 하나를 포함하는 방법
9 9
제 8 항에 있어서, 상기 3차원 객체를 검출하는 동작은, 상기 제 3 관심 영역에 상기 3차원 객체가 존재할 확률을 검출하는 동작; 및상기 확률을 기반으로, 상기 3차원 객체의 상기 위치, 크기 또는 방향 중 적어도 어느 하나를 검출하는 동작을 포함하고, 상기 정보는 상기 확률을 더 포함하는 방법
10 10
전자 장치에 있어서, 메모리; 및상기 메모리와 연결되고, 상기 메모리에 저장된 적어도 하나의 명령을 실행하도록 구성된 프로세서를 포함하고, 상기 프로세서는, 제 1 센싱 데이터로부터 추출되는 제 1 특징 맵에서 제 1 관심 영역을 추출하고, 제 2 센싱 데이터로부터 추출되는 제 2 특징 맵에서 상기 제 1 관심 영역에 대응하는 제 2 관심 영역을 추출하고, 상기 제 1 관심 영역과 상기 제 2 관심 영역을 융합하여 제 3 관심 영역을 생성하고, 상기 제 3 관심 영역을 기반으로, 3차원 객체를 검출하도록 구성되고, 상기 전자 장치는, 카메라 모듈; 및레이더 센서 또는 라이다 센서 중 적어도 어느 하나를 포함하는 센서 모듈을 더 포함하고,상기 프로세서는, 상기 카메라 모듈을 통해, 상기 제 1 센싱 데이터를 획득하고, 상기 센서 모듈을 통해, 상기 제 2 센싱 데이터를 획득하도록 구성되고, 상기 프로세서는,투영 행렬을 이용하여, 미리 정해진 사이즈의 3차원 박스를 상기 제 1 센싱 데이터의 제 1 좌표계로 투영함으로써, 상기 제 1 특징 맵에서 상기 3차원 박스에 대응하여 상기 제 1 관심 영역을 추출하도록 구성되고, 상기 투영 행렬을 이용하여, 상기 3차원 박스를 상기 제 2 센싱 데이터의 제 2 좌표계로 투영함으로써, 상기 제 2 특징 맵에서 상기 3차원 박스에 대응하여 상기 제 2 관심 영역을 추출하도록 구성되는 장치
11 11
삭제
12 12
삭제
13 13
삭제
14 14
제 10 항에 있어서, 상기 프로세서는, 상기 제 1 관심 영역과 상기 제 2 관심 영역에 대한 제 1 가중치와 제 2 가중치를 각각 계산하고, 상기 제 1 가중치와 상기 제 2 가중치를 기반으로, 상기 제 1 관심 영역과 상기 제 2 관심 영역으로부터 상기 제 3 관심 영역을 생성하도록 구성되는 장치
15 15
제 14 항에 있어서, 상기 프로세서는, 상기 제 1 관심 영역에 상기 제 1 가중치를 곱하여, 제 1 가중 영역을 획득하고, 상기 제 2 관심 영역에 상기 제 2 가중치를 곱하여, 제 2가중 영역을 획득하고, 상기 제 1 가중 영역과 상기 제 2 가중 영역의 합을 상기 제 1 가중치와 상기 제 2 가중치의 합으로 나눔으로써, 상기 제 3 관심 영역을 생성하도록 구성되는 장치
16 16
제 14 항에 있어서, 상기 프로세서는,상기 제 1 관심 영역과 상기 제 2 관심 영역의 병합으로부터 상기 제 1 가중치와 상기 제 2 가중치를 각각 계산하도록 구성되는 장치
17 17
제 10 항에 있어서, 상기 프로세서는,상기 3차원 객체에 대한 정보를 검출하도록 구성되고, 상기 정보는 상기 3차원 객체의 위치, 크기 또는 방향 중 적어도 어느 하나를 포함하는 장치
18 18
제 17 항에 있어서, 상기 프로세서는,상기 제 3 관심 영역에 상기 3차원 객체가 존재할 확률을 검출하는 동작; 및상기 확률을 기반으로, 상기 3차원 객체의 상기 위치, 크기 또는 방향 중 적어도 어느 하나를 검출하는 동작을 포함하고, 상기 정보는 상기 확률을 더 포함하는 장치
19 19
비-일시적(non-transitory) 컴퓨터-판독 가능(computer-readable) 저장(storage) 매체(medium)에 있어서,제 1 센싱 데이터로부터 추출되는 제 1 특징 맵에서 제 1 관심 영역을 추출하는 동작;제 2 센싱 데이터로부터 추출되는 제 2 특징 맵에서 상기 제 1 관심 영역에 대응하는 제 2 관심 영역을 추출하는 동작;상기 제 1 관심 영역과 상기 제 2 관심 영역을 융합하여 제 3 관심 영역을 생성하는 동작; 및상기 제 3 관심 영역을 기반으로, 3차원 객체를 검출하는 동작을 실행하기 위한 하나 이상의 프로그램들을 저장하고, 상기 제 1 센싱 데이터는 카메라 모듈로부터 획득되는 영상 데이터를 포함하고, 상기 제 2 센싱 데이터는 레이더 센서 또는 라이다 센서 중 적어도 어느 하나로부터 획득되는 포인트 클라우드 데이터를 포함하고, 상기 제 1 관심 영역을 추출하는 동작은,투영 행렬을 이용하여, 미리 정해진 사이즈의 3차원 박스를 상기 제 1 센싱 데이터의 제 1 좌표계로 투영함으로써, 상기 제 1 특징 맵에서 상기 3차원 박스에 대응하여 상기 제 1 관심 영역을 추출하는 동작을 포함하고, 상기 제 2 관심 영역을 추출하는 동작은,상기 투영 행렬을 이용하여, 상기 3차원 박스를 상기 제 2 센싱 데이터의 제 2 좌표계로 투영함으로써, 상기 제 2 특징 맵에서 상기 3차원 박스에 대응하여 상기 제 2 관심 영역을 추출하는 동작을 포함하는 저장 매체
20 20
삭제
지정국 정보가 없습니다
패밀리정보가 없습니다
순번, 연구부처, 주관기관, 연구사업, 연구과제의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 국가R&D 연구정보 정보 표입니다.
순번 연구부처 주관기관 연구사업 연구과제
1 산업통상자원부 한국과학기술원 자동차산업핵심기술개발(R&D) Cut-in시 차량간 상호작용이 고려된 딥러닝 기반 미래 주변 상황 예측 및 위험도 판단 기술 개발