맞춤기술찾기

이전대상기술

헤드업 디스플레이를 위한 증강현실 시스템

  • 기술번호 : KST2015117055
  • 담당센터 : 대전기술혁신센터
  • 전화번호 : 042-610-2279
요약, Int. CL, CPC, 출원번호/일자, 출원인, 등록번호/일자, 공개번호/일자, 공고번호/일자, 국제출원번호/일자, 국제공개번호/일자, 우선권정보, 법적상태, 심사진행상태, 심판사항, 구분, 원출원번호/일자, 관련 출원번호, 기술이전 희망, 심사청구여부/일자, 심사청구항수의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 서지정보 표입니다.
요약 본 발명은 헤드업 디스플레이를 위한 증강현실 시스템에 관한 것으로서, 기존의 Display 방식과 달리 운전자의 머리와 눈 위치를 추적하여 운전자에 최적화된 시선 내에 외부 시야와 더불어 주행에 필요한 정보를 증강 현실로 구현하는 시스템을 제공함에 그 목적이 있다.이러한 목적을 달성하기 위한 본 발명은, 다중 비전 센서 및 두 개 이상의 스테레오 카메라를 이용하여, 차량의 내외부의 영상정보를 수집하는 센서장치; 차량 외부 객체에 관한 3차원 위치정보를 추출하고, 운전자 눈의 위치정보를 검출하는 상황 인식장치; 및 상기 상황 인식장치를 통해 추출한 객체의 위치정보와 운전자의 눈의 위치정보를 이용하여 운전자 시점에서의 2차원 이미지를 생성하고, 운전자의 위치정보 및 각종 주변상황정보를 2차원 이미지에 투영하여 증강현실을 구현하는 증강현실 구현장치; 를 포함한다.
Int. CL G06T 1/00 (2006.01) G02B 27/01 (2006.01) B60K 35/00 (2006.01) H04N 5/262 (2006.01)
CPC G06T 19/006(2013.01) G06T 19/006(2013.01) G06T 19/006(2013.01) G06T 19/006(2013.01) G06T 19/006(2013.01) G06T 19/006(2013.01) G06T 19/006(2013.01) G06T 19/006(2013.01)
출원번호/일자 1020110073883 (2011.07.26)
출원인 한국과학기술원
등록번호/일자 10-1359660-0000 (2014.01.29)
공개번호/일자 10-2013-0012629 (2013.02.05) 문서열기
공고번호/일자 (20140207) 문서열기
국제출원번호/일자
국제공개번호/일자
우선권정보
법적상태 등록
심사진행상태 수리
심판사항
구분 신규
원출원번호/일자
관련 출원번호
심사청구여부/일자 Y (2011.07.26)
심사청구항수 9

출원인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 출원인 표입니다.
번호 이름 국적 주소
1 한국과학기술원 대한민국 대전광역시 유성구

발명자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 발명자 표입니다.
번호 이름 국적 주소
1 유창동 대한민국 대전광역시 유성구
2 박상혁 대한민국 대전광역시 유성구
3 윤성락 대한민국 대전광역시 유성구
4 김성웅 대한민국 대전광역시 유성구

대리인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 대리인 표입니다.
번호 이름 국적 주소
1 이은철 대한민국 서울특별시 송파구 법원로**길 **, A동 *층 ***호 (문정동, H비지니스파크)(*T국제특허법률사무소)

최종권리자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 최종권리자 표입니다.
번호 이름 국적 주소
1 한국과학기술원 대전광역시 유성구
번호, 서류명, 접수/발송일자, 처리상태, 접수/발송일자의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 행정처리 표입니다.
번호 서류명 접수/발송일자 처리상태 접수/발송번호
1 [특허출원]특허출원서
[Patent Application] Patent Application
2011.07.26 수리 (Accepted) 1-1-2011-0575686-92
2 선행기술조사의뢰서
Request for Prior Art Search
2012.08.17 수리 (Accepted) 9-1-9999-9999999-89
3 선행기술조사보고서
Report of Prior Art Search
2012.09.19 수리 (Accepted) 9-1-2012-0072231-11
4 의견제출통지서
Notification of reason for refusal
2012.11.29 발송처리완료 (Completion of Transmission) 9-5-2012-0726701-79
5 [거절이유 등 통지에 따른 의견]의견(답변, 소명)서
[Opinion according to the Notification of Reasons for Refusal] Written Opinion(Written Reply, Written Substantiation)
2013.01.25 수리 (Accepted) 1-1-2013-0074265-91
6 [명세서등 보정]보정서
[Amendment to Description, etc.] Amendment
2013.01.25 보정승인간주 (Regarded as an acceptance of amendment) 1-1-2013-0074266-36
7 출원인정보변경(경정)신고서
Notification of change of applicant's information
2013.02.01 수리 (Accepted) 4-1-2013-5019983-17
8 의견제출통지서
Notification of reason for refusal
2013.05.31 발송처리완료 (Completion of Transmission) 9-5-2013-0377564-57
9 [거절이유 등 통지에 따른 의견]의견(답변, 소명)서
[Opinion according to the Notification of Reasons for Refusal] Written Opinion(Written Reply, Written Substantiation)
2013.07.26 수리 (Accepted) 1-1-2013-0677274-23
10 [명세서등 보정]보정서
[Amendment to Description, etc.] Amendment
2013.07.26 보정승인간주 (Regarded as an acceptance of amendment) 1-1-2013-0677276-14
11 등록결정서
Decision to grant
2013.11.29 발송처리완료 (Completion of Transmission) 9-5-2013-0833309-06
12 출원인정보변경(경정)신고서
Notification of change of applicant's information
2014.12.24 수리 (Accepted) 4-1-2014-5157968-69
13 출원인정보변경(경정)신고서
Notification of change of applicant's information
2014.12.24 수리 (Accepted) 4-1-2014-5158129-58
14 출원인정보변경(경정)신고서
Notification of change of applicant's information
2014.12.24 수리 (Accepted) 4-1-2014-5157993-01
15 출원인정보변경(경정)신고서
Notification of change of applicant's information
2019.04.24 수리 (Accepted) 4-1-2019-5081392-49
16 출원인정보변경(경정)신고서
Notification of change of applicant's information
2020.05.15 수리 (Accepted) 4-1-2020-5108396-12
17 출원인정보변경(경정)신고서
Notification of change of applicant's information
2020.06.12 수리 (Accepted) 4-1-2020-5131486-63
번호, 청구항의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 청구항 표입니다.
번호 청구항
1 1
차량의 내외부의 영상정보를 수집하는 센서장치(100); 상기 영상정보로부터 차량 외부 객체의 위치정보를 추출하고, 운전자 눈의 위치정보를 검출하는 상황 인식장치(200); 및 상기 상황 인식장치(200)를 통해 추출한 객체의 위치정보와 운전자의 눈의 위치정보를 이용하여 운전자 시점에서의 2차원 이미지를 생성하고, 운전자의 위치정보 및 주변상황정보를 2차원 이미지에 투영하여 증강현실을 구현하는 증강현실 구현장치(300); 를 포함하되,상기 상황 인식장치(200)는,상기 센서장치(100)를 통해 수집된 영상정보로부터 표지판을 검출하고, 표지판 내용을 실시간 인식하는 표지판 검출부(210);상기 센서장치(100)를 통해 수집된 영상정보로부터 컬러모델과 허프변환(Hough transform)을 이용하여 차선 후보를 검출하고, 차선 특징모델을 이용하여 최종적으로 차선을 검출하는 차선 검출부(220);상기 센서장치(100)로부터 수집된 영상정보를 바탕으로 자동차 및 보행자의 특징을 검출하고, 실시간 인식하는 자동차 및 보행자 검출부(230);스테레오 매칭(Stereo Matching)을 통해 추정된 깊이 맵(Depth Map)과, 상기 센서장치(100)의 두 스테레오 카메라로부터 수집된 영상을 바탕으로, 검출된 객체들이 기준 좌표(world coordinate)의 어디에 위치하는지 추정함으로써 3차원 위치정보를 추출하는 위치정보 추출부(240); 및 상기 센서장치(100)를 통해 수집된 영상정보를 바탕으로, 얼굴의 모양과 위치 변화에 대해 통계적으로 모델링한 후, 얼굴 및 눈 위치를 검출하고 추적하는 얼굴 및 눈 위치 검출부(250); 를 포함하는 것을 특징으로 하는 헤드업 디스플레이를 위한 증강현실 시스템
2 2
삭제
3 3
제 1 항에 있어서, 상기 차선 검출부(220)는,상기 센서장치(100)를 통해 수집된 영상정보를 바탕으로, HSV 컬러모델을 이용하여 차선 후보를 검출하며, 허프변환(Hough transform)을 이용하여 차선 후보를 검출하는 차선후보 검출부(221);차선 특징모델을 이용하여 차선에 해당하는 부분을 필터링하며, 직선 모델과 곡선 모델을 이용하여 직선들을 최종적인 차선으로 결정하는 차선 결정모듈(222); 이전 프레임에서 검출된 차선 정보와, 차선 사전 정보를 이용하여, 다음 프레임에서 관심 영역(ROI)을 결정하고, 결정된 관심 영역에 대해서만 차선 검출을 수행하는 실시간 검출모듈(223); 및연속된 프레임에서 particle filtering을 이용하여 차선을 추적하며, 앞 차량의 위치추적을 통해 차선을 추적하는 차선 추적모듈(224); 을 포함하는 것을 특징으로 하는 헤드업 디스플레이를 위한 증강현실 시스템
4 4
제 3 항에 있어서, 상기 차선 사전 정보는, 차선의 소실점, 차선 폭 및 두께 정보를 포함하는 것을 특징으로 하는 헤드업 디스플레이를 위한 증강현실 시스템
5 5
제 1 항에 있어서, 상기 자동차 및 보행자 검출부(230)는,상기 센서장치(100)로부터 수집된 영상정보를 바탕으로, 자동차 및 보행자의 형상, 크기 및 회전에 관한 특징을 검출하는 특징 검출모듈(231); 및 선형 인식기를 이용하여 실시간으로 자동차 및 보행자를 인식하는 인식모듈(232); 을 포함하는 것을 특징으로 하는 헤드업 디스플레이를 위한 증강현실 시스템
6 6
삭제
7 7
제 1 항에 있어서, 상기 증강현실 구현장치(300)는,상기 상황 인식장치(200)를 통해 추출된 객체의 3차원 위치정보를, 운전자의 눈의 위치정보에 따른 운전자 시점에서의 2차원 평면에 사영시켜 객체에 대한 2차원 이미지를 생성하는 2D 이미지 생성부(310);상기 2D 이미지 생성부(310)를 통해 생성된 2차원 이미지의 사각지대를 보상하는 사각지대 보상부(320);차량의 위치정보 및 이동경로를 포함하는 네비게이션 정보를 생성하는 위치정보 생성부(330); 현재 차량의 위치정보를 바탕으로 한 주변상황정보를 취득하여 세부 카테고리별로 분류하는 웹 통신부(340);상기 네비게이션 정보 및 주변상황정보를 상기 2차원 이미지에 투영하는 정보 투영부(370); 및 투영된 2차원 이미지를 운전자의 주시선의 위치로 디스플레이하는 디스플레이부(380); 를 포함하는 것을 특징으로 하는 헤드업 디스플레이를 위한 증강현실 시스템
8 8
제 7 항에 있어서, 상기 증강현실 구현장치(300)는,운전자의 음성입력신호에 따라 정보를 선택하여, 선택정보에 관한 표시제어신호를 디스플레이부(380)로 전송하는 음성 인터페이스부(350); 더 를 포함하되, 상기 음성 인터페이스부(350)는,소음 제거 알고리즘을 이용하여 운전 중 발생하는 소음을 제거하고, 단어 음성 인식기를 이용하여 세부 카테고리별로 분류된 정보를 선택하는 것을 특징으로 하는 헤드업 디스플레이를 위한 증강현실 시스템
9 9
제 7 항에 있어서, 상기 증강현실 구현장치(300)는,운전자의 정보 선택 패턴과 주변 상황에 관한 분석정보를 생성하여 정보 투영부(370)에 전송하는 정보 분석부(360); 를 더 포함하되, 상기 정보 분석부(360)는,주변 상황을 입력으로 하고, 운전자에 의해 선택된 정보를 출력으로 하는 모델을 구성하고, 입력된 주변 상황에 맞게 자동으로 표시할 정보를 선별하고, 운전자의 정보 선택의 순차적 패턴을 마르코프 모델로 구성하여 현재 운전자의 정보 선택에 기반하여 다음으로 선택되는 정보를 예측하는 것을 특징으로 하는 헤드업 디스플레이를 위한 증강현실 시스템
10 10
제 7 항에 있어서, 상기 사각지대 보상부(320)는,차량 간 무선통신을 통해 앞선 차량으로부터 입력받은 영상을 바탕으로 2차원 이미지를 실시간 보상하는 것을 특징으로 하는 헤드업 디스플레이를 위한 증강현실 시스템
11 11
제 7 항에 있어서, 상기 주변상황정보는, 날씨, 교통상황에 관한 운전도움정보 및 관광 명소, 음식점, 지역 축제, 특산품에 관한 주변정보를 포함하는 것을 특징으로 하는 헤드업 디스플레이를 위한 증강현실 시스템
지정국 정보가 없습니다
패밀리정보가 없습니다
순번, 연구부처, 주관기관, 연구사업, 연구과제의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 국가R&D 연구정보 정보 표입니다.
순번 연구부처 주관기관 연구사업 연구과제
1 교육과학기술부 한국과학기술원 선도연구센터(ACE) 육성 사업 개인용 플러그 앤 플레이 디지털 전기자동차