맞춤기술찾기

홈으로 가기
맞춤기술찾기
이전대상기술
프린트하기

이전대상기술

다중 센서 시스템, 이를 이용하는 3차원 월드 모델링 장치 및 방법

  • 기술번호 : KST2015116096
  • 담당센터 : 대전기술혁신센터
  • 전화번호 : 042-610-2279
상담신청 PDF 받기
요약, Int. CL, CPC, 출원번호/일자, 출원인, 등록번호/일자, 공개번호/일자, 공고번호/일자, 국제출원번호/일자, 국제공개번호/일자, 우선권정보, 법적상태, 심사진행상태, 심판사항, 구분, 원출원번호/일자, 관련 출원번호, 기술이전 희망, 심사청구여부/일자, 심사청구항수의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 서지정보 표입니다.
요약 본 발명은 전방 및 측면 카메라들과 전방 및 측면 거리 측정 센서들의 캘리브레이션을 수행하고, 거리 측정 센서 데이터를 이미지에 투영시킨 결과를 이용하여 카메라 센서와 거리 측정 센서를 융합한 데이터를 구하고 이를 이용하여 더욱 향상된 3차원 월드 모델을 생성할 수 있도록 하는 다중 센서 시스템, 및 이를 이용하는 3차원 월드 모델링 장치 및 방법에 관한 것이다.
Int. CL G06T 17/05 (2011.01) G01B 11/14 (2006.01) G01C 3/02 (2006.01)
CPC G06T 17/05(2013.01) G06T 17/05(2013.01) G06T 17/05(2013.01) G06T 17/05(2013.01) G06T 17/05(2013.01)
출원번호/일자 1020120115517 (2012.10.17)
출원인 한국과학기술원
등록번호/일자
공개번호/일자 10-2014-0049361 (2014.04.25) 문서열기
공고번호/일자
국제출원번호/일자
국제공개번호/일자
우선권정보
법적상태 거절
심사진행상태 수리
심판사항
구분 신규
원출원번호/일자
관련 출원번호
심사청구여부/일자 Y (2012.10.17)
심사청구항수 18

출원인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 출원인 표입니다.
번호 이름 국적 주소
1 한국과학기술원 대한민국 대전광역시 유성구

발명자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 발명자 표입니다.
번호 이름 국적 주소
1 서보길 대한민국 대전 유성구
2 강정원 대한민국 대전 유성구
3 김시종 대한민국 대전 유성구
4 최윤근 대한민국 대전 유성구
5 오택준 대한민국 대전 유성구
6 정명진 대한민국 대전 유성구

대리인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 대리인 표입니다.
번호 이름 국적 주소
1 김학제 대한민국 서울특별시 서초구 매헌로 ** 하이브랜드빌딩 **층 (양재동)(피닉스국제특허법률사무소)
2 문혜정 대한민국 서울특별시 서초구 매헌로 **, 하이브랜드빌딩 **층 (양재동)(피닉스국제특허법률사무소)

최종권리자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 최종권리자 표입니다.
번호 이름 국적 주소
최종권리자 정보가 없습니다
번호, 서류명, 접수/발송일자, 처리상태, 접수/발송일자의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 행정처리 표입니다.
번호 서류명 접수/발송일자 처리상태 접수/발송번호
1 [특허출원]특허출원서
[Patent Application] Patent Application		 2012.10.17 수리 (Accepted) 1-1-2012-0844882-12
2 보정요구서
Request for Amendment		 2012.10.29 발송처리완료 (Completion of Transmission) 1-5-2012-0131132-57
3 [출원서등 보정]보정서
[Amendment to Patent Application, etc.] Amendment		 2012.11.06 수리 (Accepted) 1-1-2012-0910175-22
4 출원인정보변경(경정)신고서
Notification of change of applicant's information		 2013.02.01 수리 (Accepted) 4-1-2013-5019983-17
5 선행기술조사의뢰서
Request for Prior Art Search		 2013.08.22 수리 (Accepted) 9-1-9999-9999999-89
6 선행기술조사보고서
Report of Prior Art Search		 2013.10.10 수리 (Accepted) 9-1-2013-0077551-12
7 의견제출통지서
Notification of reason for refusal		 2013.12.20 발송처리완료 (Completion of Transmission) 9-5-2013-0883917-51
8 [명세서등 보정]보정서
[Amendment to Description, etc.] Amendment		 2014.02.20 보정승인간주 (Regarded as an acceptance of amendment) 1-1-2014-0168508-52
9 [거절이유 등 통지에 따른 의견]의견(답변, 소명)서
[Opinion according to the Notification of Reasons for Refusal] Written Opinion(Written Reply, Written Substantiation)		 2014.02.20 수리 (Accepted) 1-1-2014-0168490-18
10 거절결정서
Decision to Refuse a Patent		 2014.07.23 발송처리완료 (Completion of Transmission) 9-5-2014-0502124-16
11 출원인정보변경(경정)신고서
Notification of change of applicant's information		 2014.12.24 수리 (Accepted) 4-1-2014-5157993-01
12 출원인정보변경(경정)신고서
Notification of change of applicant's information		 2014.12.24 수리 (Accepted) 4-1-2014-5157968-69
13 출원인정보변경(경정)신고서
Notification of change of applicant's information		 2014.12.24 수리 (Accepted) 4-1-2014-5158129-58
14 출원인정보변경(경정)신고서
Notification of change of applicant's information		 2019.04.24 수리 (Accepted) 4-1-2019-5081392-49
15 출원인정보변경(경정)신고서
Notification of change of applicant's information		 2020.05.15 수리 (Accepted) 4-1-2020-5108396-12
16 출원인정보변경(경정)신고서
Notification of change of applicant's information		 2020.06.12 수리 (Accepted) 4-1-2020-5131486-63
번호, 청구항의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 청구항 표입니다.
번호 청구항
1 1
이동체의 전방에 설치되어 이동체의 전방에 위치하는 물체까지의 상대적 거리를 검출하는 전방 거리 측정 센서; 상기 전방 거리 측정 센서의 양단에 배치되는 제1 및 제2 카메라로서, 동일 촬영 대상에 대해 상기 제1 및 제2 카메라를 통해 촬영된 한 쌍의 스테레오 영상들이 포함된 영상 정보를 생성하는 전방 스테레오 카메라;이동체의 양 측면에 각각 설치되어 이동체로부터 주변에 위치하는 물체까지의 상대적 거리를 검출하는 측면 거리 측정 센서들; 상기 이동체의 측면에 각각 설치되어 상기 이동체의 주변을 촬영하는 카메라 센서들; GPS 위성 신호를 수신하여 이동체의 위치 정보를 생성하는 GPS 수신부; 이동체의 이동시 이동체의 자세정보를 생성하는 자세측정부; 상기 GPS 수신부와 상기 자세측정부 및 상기 스테레오 카메라로부터 수신된 상기 이동체의 위치 데이터 및 자세 데이터를 융합하고, 상기 전방 및 측면 거리 측정 센서들과 상기 측면 카메라 센서들로부터 수신된 거리 데이터와 색 데이터를 동기화시키고 보정하여 3차원 절대좌표값을 산출하는 주제어부를 포함하는 다중 센서 시스템
2 2
제1항에 있어서, 상기 주제어부는상기 한 쌍의 전방 스테레오 카메라와 양 측면의 측면 카메라들로부터 복수 개의 2차원 카메라 영상들을 수신하고, 상기 전방 및 측면 레이저 스캐너들로부터 복수 개의 2차원 카메라 영상들과 대응되는 복수 개의 2차원 거리 정보들을 수신하는 영상 입력부; 상기 GPS 수신부가 수신한 GPS 수신신호 및 상기 자세측정부의 자세 데이터를 선형 보간법에 의해서 융합하거나 스테레오 카메라를 이용하여 외부 환경에서의 이동체의 위치 정보를 검출하는 이동체 위치검출부;상기 전방 스테레오 카메라 및 상기 측면 카메라들의 내부 파라미터(intrinsic, extrinsic parameters) 및 외부 파라미터들(intrinsic, extrinsic parameters)을 구하기 위해 카메라 보정(calibration)을 수행하는 카메라 보정부;상기 카메라 보정부에 의해서 산출된 카메라 내부 및 외부 파라미터들을 데이터로 이용하여, 복수 개의 2차원 거리 정보들로부터 복수 개의 3차원 LRF 좌표들을 추출하고, 추출된 복수 개의 3차원 LRF 좌표들을 이용하여 카메라 좌표계와 상기 LRF 좌표계 사이의 3차원 변환 행렬을 산출하는 연산부: 및 상기 3차원 변환 행렬을 이용하여 상기 카메라 영상들과 상기 거리 정보들을 융합하는 융합처리부;상기 전방 및 측면 카메라들 및 전방 및 측면 거리 측정 센서들로부터 수신된 데이터를 보정하여 유색 점군 데이터(Colored Point Cloud)를 검출한 후, 모든 카메라들 및 거리 측정 센서들의 데이터를 이동체의 중심(vehicle center)을 중심으로 하는 동일한 좌표계로 통합하여 변환하는 점군 데이터 검출부; 및 상기 이동체 위치검출부에 의해서 검출된 이동체의 위치 데이터와 상기 유색 점군 데이터를 3차원으로 모델링하는 3차원 정보변환부를 포함하는 것을 특징으로 하는 다중 센서 시스템
3 3
제 2항에 있어서, 상기 3차원 좌표 추출부는 상기 전방 및 측면 카메라들 각각에 대한 카메라 내, 외부 파라미터들을 데이터로 하여 공액 기하학 (epipolar geometry) 원리를 사용한 3차원 좌표 추출법을 이용하여 차량 중심을 원점으로 가지는 3차원 좌표 상의 3차원 좌표값들을 구하도록 구성된 것을 특징으로 하는 다중 센서 시스템
4 4
제 1항에 있어서, 상기 자세측정부는 이동체의 롤, 요, 피치 각도 및 각속도를 포함하는 자세정보를 생성하는 관성측정장치(Inertial Measurement Unit)인 것을 특징으로 하는 다중 센서 시스템
5 5
제 1항에 있어서, 상기 거리 측정 센서는 레이저 거리 측정 장치(LRF : Laser Range Finder)인 것을 특징으로 하는 다중 센서 시스템
6 6
제1항에 있어서, 상기 내부 파라미터들은 전방 및 측면 카메라들의 초점거리(focal length) 및 주점(principal point)이고, 상기 외부 파라미터들은 상기 전방 및 측면 카메라들의 상기 월드 좌표계 상의 이동 벡터(translation vector) 및 회전 행렬(rotation matrix)인 것을 특징으로 하는 다중 센서 시스템
7 7
제 1항에 있어서, 상기 주제어부는 멀티쓰레드 프로세서를 포함하고, 상기 전방 및 측면 카메라들의 영상 데이터 저장은 하나의 쓰레드로 데이터가 관리되고, 상기 GPS 수신부, 상기 자세측정부, 및 상기 거리 측정 센서들은 각각 하나의 직렬 쓰레드를 이용하여 데이터를 전송받도록 구성된 것을 특징으로 하는 다중 센서 시스템
8 8
제7항에 있어서, 상기 멀티쓰레드 프로세서는 상기 GPS 수신부, 상기 자세측정부, 상기 거리 측정 센서들 및 카메라 센서들을 제어하고, 이들로부터 입력되는 데이터를 데이터 수집 프로세서로 전송하는 제어 프로세서(Control Process); 및 상기 제어 프로세서로부터 수신한 데이터들 중 상기 거리 측정 센서로부터의 거리 데이터와 상기 카메라로부터의 색 데이터는 동기화시키고 보정하고, 상기 자세측정부 및 상기 GPS 수신부로부터 수신한 데이터는 선형 보간법으로 융합하여 3차원 공간상의 좌표로 변환하는 데이터 수집 프로세서를 포함하는 것을 특징으로 하는 다중 센서 시스템
9 9
제1항 내지 제8항 중 어느 하나의 항의 다중 센서 시스템을 포함하고, 상기 다중 센서 시스템에 의해 산출된 위치 정보, 거리 정보 및 색상 정보로부터 3차원의 월드 모델을 생성하는 3차원 월드 모델링 장치
10 10
이동체에 탑재된 GPS 수신부를 통해서 이동체의 기준 위치 정보를 획득하는 단계;이동체에 탑재된 복수의 자세측정부들로부터 이동체의 자세 데이터를 검출하는 단계;상기 이동체의 기준 위치 데이터와 자세 데이터를 융합하여 자세 정보(Pose Information)를 산출하는 단계;이동체에 탑재된 전방 및 측면 카메라들에 의해서 이동체 주변의 2차원 영상을 촬영하여 색 데이터를 수득하는 단계;이동체에 탑재된 전방 및 측면 거리 측정 센서들에 의해서 이동체로부터 주변에 위치하는 물체까지의 상대적 거리를 측정하는 단계;상기 전방 스테레오 카메라 및 상기 측면 카메라들의 내부 파라미터(intrinsic, extrinsic parameters) 및 외부 파라미터들(intrinsic, extrinsic parameters)을 구하는 카메라 보정 단계;상기 카메라 보정 단계에서 산출된 카메라 내부 및 외부 파라미터들을 데이터로 이용하여, 복수 개의 2차원 거리 정보들로부터 복수 개의 3차원 LRF 좌표들을 추출하고, 추출된 복수 개의 3차원 LRF 좌표들을 이용하여 상기 카메라 좌표계와 상기 LRF 좌표계 사이의 3차원 변환 행렬을 산출하는 연산 단계: 및 상기 3차원 변환 행렬을 이용하여 상기 카메라 영상들과 상기 거리 정보들을 융합하는 융합 처리 단계;상기 전방 및 측면 카메라들 및 전방 및 측면 거리 측정 센서들로부터 수신된 데이터를 보정하여 유색 점군 데이터(Colored Point Cloud)를 검출한 후, 모든 카메라들 및 거리 측정 센서들의 데이터를 이동체의 중심(vehicle center)을 중심으로 하는 동일한 좌표계로 통합하여 변환하는 점군 데이터 검출 단계; 및 상기 이동체 위치검출부에 의해서 검출된 이동체의 위치 데이터와 상기 유색 점군 데이터를 3차원으로 모델링하는 단계를 포함하는 것을 특징으로 하는 3차원 월드 모델링 방법
11 11
제10항에 있어서, 상기 방법은 이동체의 전방의 2차원 영상을 촬영하는 전방 스테레오 카메라, 이동체의 양 측면의 2차원 영상을 촬영하는 측면 카메라들, GPS 수신부, 자세측정부, 전방 및 측면 거리 측정 센서들을 이동체에 탑재하되, 이동체의 정면에 스테레오 카메라를 설치하고, 이동체의 좌우측면에 카메라와 거리 측정 센서를 설치하고, 카메라의 데이터 획득 중심 방향이 레이저 스캐너의 스캐닝 각도의 중간방향과 동일한 방향이 되게 하여 이동체에 센서를 탑재하는 단계를 더 포함하는 것을 특징으로 하는 3차원 월드 모델링 방법
12 12
제10항에 있어서, 상기 3차원 좌표 추출 단계는 상기 전방 및 측면 카메라들 각각에 대한 카메라 내, 외부 파라미터들을 데이터로 하여 공액 기하학(epipolar geometry) 원리를 사용한 3차원 좌표 추출법을 이용하여 차량 중심을 원점으로 가지는 3차원 좌표 상의 3차원 좌표값들을 구하는 단계임을 특징으로 하는 3차원 월드 모델링 방법
13 13
제10항에 있어서, 상기 방법은 상기 GPS 수신부, 상기 자세측정부, 및 상기 거리 측정 센서들은 각각 하나의 직렬 쓰레드를 이용하여 데이터를 전송받고, 전방 및 측면 카메라들의 영상 데이터 저장은 간헐적으로 이미지 데이터를 획득(grab)하여 하나의 쓰레드로 데이터를 저장하는 단계를 포함하는 것을 특징으로 하는 다중 센서 시스템
14 14
제10항에 있어서, 상기 방법은 위성 신호 음영 지역에서는 이동체 정면에 탑재된 스테레오 카메라를 이용한 Visual Odometry에 의해서 이동체의 위치를 측정하는 단계를 추가로 포함하는 3차원 월드 모델링 방법
15 15
제10항에 있어서, 상기 자세 데이터 검출 단계는 GPS로부터 수신한 3차원 좌표를 자세측정부의 개수로 선형보간하여 위치를 추정하는 단계임을 특징으로 하는 3차원 월드 모델링 방법
16 16
제 15항에 있어서, 상기 자세 데이터의 보간은 칼만 필터링에 의해서 수행되는 것을 특징으로 하는 3차원 월드 모델링 방법
17 17
제10항에 있어서, 상기 3차원 좌표값 산출 단계는 거리측정 센서로부터 얻은 점군(Point Cloud)의 정보를 GPS로부터 얻은 위치 정보와 자세측정부에서 수신한 각 정보를 바탕으로 변환하여 월드 좌표(World Coordinate)의 형태로 변환하는 단계임을 특징으로 하는 3차원 월드 모델링 방법
18 18
제10항에 있어서, 상기 동기화는 이진 검색(Binary Search)에 의해 동기화를 수행하는 단계임을 특징으로 하는 3차원 월드 모델링 방법
지정국 정보가 없습니다
패밀리정보가 없습니다
순번, 연구부처, 주관기관, 연구사업, 연구과제의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 국가R&D 연구정보 정보 표입니다.
순번 연구부처 주관기관 연구사업 연구과제
1 지식경제부 한국전자통신연구원 지식경제기술혁신사업 실외환경에 강인한 도로기반 저가형 자율주행기술개발(3차년도)