맞춤기술찾기

홈으로 가기
맞춤기술찾기
이전대상기술
프린트하기

이전대상기술

실시간 카메라 트래킹을 이용한 실사 영상 합성 시스템 및 그 방법

  • 기술번호 : KST2015093346
  • 담당센터 : 대전기술혁신센터
  • 전화번호 : 042-610-2279
상담신청 PDF 받기
요약, Int. CL, CPC, 출원번호/일자, 출원인, 등록번호/일자, 공개번호/일자, 공고번호/일자, 국제출원번호/일자, 국제공개번호/일자, 우선권정보, 법적상태, 심사진행상태, 심판사항, 구분, 원출원번호/일자, 관련 출원번호, 기술이전 희망, 심사청구여부/일자, 심사청구항수의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 서지정보 표입니다.
요약 본 발명은 실시간 카메라 트래킹을 이용한 실사 영상 합성 시스템 및 그 방법에 관한 것으로, 2차원 특징점 추적 데이터에서 적합한 특징점들을 선별하여 상태(state) 예측기를 통해 카메라의 위치, 각도를 실시간으로 예측할 수 있다. 그리고 특징점들을 3차원으로 복원시킨 공간좌표를 DB의 도심 모델정보와 비교하여 도심모델 공간의 절대좌표계에서 카메라의 위치와 각도를 실시간으로 추정함으로써, 차량용 네비게이터에서 길안내 및 주변정보를 실사영상과 실시간으로 합성하여 출력할 수 있어 정확도와 실시간성을 보장할 수 있다. 합성, 카메라, 움직임, 예측
Int. CL H04N 13/00 (2006.01)
CPC G01C 21/3647(2013.01) G01C 21/3647(2013.01) G01C 21/3647(2013.01) G01C 21/3647(2013.01) G01C 21/3647(2013.01)
출원번호/일자 1020070132360 (2007.12.17)
출원인 한국전자통신연구원
등록번호/일자 10-0922544-0000 (2009.10.13)
공개번호/일자 10-2009-0064967 (2009.06.22) 문서열기
공고번호/일자 (20091021) 문서열기
국제출원번호/일자
국제공개번호/일자
우선권정보
법적상태 소멸
심사진행상태 수리
심판사항
구분 신규
원출원번호/일자
관련 출원번호
심사청구여부/일자 Y (2007.12.17)
심사청구항수 7

출원인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 출원인 표입니다.
번호 이름 국적 주소
1 한국전자통신연구원 대한민국 대전광역시 유성구

발명자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 발명자 표입니다.
번호 이름 국적 주소
1 유정재 대한민국 경기 성남시 분당구
2 김재헌 대한민국 대전 서구
3 김혜미 대한민국 대전 서구
4 김진호 대한민국 대전 유성구
5 최병태 대한민국 대전광역시 유성구

대리인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 대리인 표입니다.
번호 이름 국적 주소
1 장성구 대한민국 서울특별시 서초구 마방로 ** (양재동, 동원F&B빌딩)(제일특허법인(유))
2 김원준 대한민국 서울특별시 서초구 마방로 ** (양재동, 동원F&B빌딩)(제일특허법인(유))

최종권리자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 최종권리자 표입니다.
번호 이름 국적 주소
1 주식회사 인트윈 서울특별시 동작구
번호, 서류명, 접수/발송일자, 처리상태, 접수/발송일자의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 행정처리 표입니다.
번호 서류명 접수/발송일자 처리상태 접수/발송번호
1 [특허출원]특허출원서
[Patent Application] Patent Application		 2007.12.17 수리 (Accepted) 1-1-2007-0906114-46
2 선행기술조사의뢰서
Request for Prior Art Search		 2008.07.08 수리 (Accepted) 9-1-9999-9999999-89
3 선행기술조사보고서
Report of Prior Art Search		 2008.08.12 수리 (Accepted) 9-1-2008-0052302-79
4 [명세서등 보정]보정서
[Amendment to Description, etc.] Amendment		 2009.07.20 보정승인간주 (Regarded as an acceptance of amendment) 1-1-2009-0440232-08
5 의견제출통지서
Notification of reason for refusal		 2009.07.29 발송처리완료 (Completion of Transmission) 9-5-2009-0313127-13
6 출원인정보변경(경정)신고서
Notification of change of applicant's information		 2009.08.04 수리 (Accepted) 4-1-2009-5150899-36
7 [명세서등 보정]보정서
[Amendment to Description, etc.] Amendment		 2009.09.14 보정승인간주 (Regarded as an acceptance of amendment) 1-1-2009-0563660-21
8 [거절이유 등 통지에 따른 의견]의견(답변, 소명)서
[Opinion according to the Notification of Reasons for Refusal] Written Opinion(Written Reply, Written Substantiation)		 2009.09.14 수리 (Accepted) 1-1-2009-0563661-77
9 등록결정서
Decision to grant		 2009.10.09 발송처리완료 (Completion of Transmission) 9-5-2009-0418180-07
10 출원인정보변경(경정)신고서
Notification of change of applicant's information		 2015.02.02 수리 (Accepted) 4-1-2015-0006137-44
번호, 청구항의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 청구항 표입니다.
번호 청구항
1 1
영상에 대한 특징점들중 3차원 위치가 복원된 특징점들만을 두개의 카메라 중심으로부터 각 이미지 플렌 상의 영역 안 경계선을 이어 생성된 원뿔모양의 방사형 내부의 공간을 통해 선별하는 특징점 예측 및 선별부와, 선별한 상기 특징점들에 대하여 2차원 특징점 추적 데이터를 입력으로 하는 확장형 칼만 필터(Extended Kalman Filter : EKF)를 통해 카메라 움직임 정보를 예측하는 카메라 움직임 예측부와, 카메라의 현재 위치와, 도심 배경기하 모델 데이터베이스(DB)로부터 가져온 주변공간의 배경기하 모델 간을 비교 및 매칭시켜 로컬 좌표(Local Coordinate)에서 계산된 카메라의 위치 및 각도를 월드 좌표(World Coordinate)에서의 값으로 변환하는 매칭부와, 상기 예측된 카메라 움직임 정보를 지도 및 주변 정보 DB에서 가져온 길안내 및 주변정보의 실사영상에 합성하여 출력하는 합성부 를 포함하는 실시간 카메라 트래킹을 이용한 실사 영상 합성 시스템
2 2
제 1 항에 있어서, 상기 카메라 움직임 예측부는, 상기 선별된 특징점들을 이용하여 상태 벡터(state vector) 안에 적정 수준의 특징점 변수들을 유지하고, 화면에서 벗어난 특징점과 새로 추가된 특징점들로 갱신하는 상태 벡터 갱신부와, 현재 프레임에서 다음 프레임에서의 상태 벡터를 예측하는 예측부와, 상기 예측된 상태 벡터를 칼만게인(Kalman Gain)으로 계산하는 계산부와, 상기 예측된 상태 벡터와 상기 계산된 값을 결합하여 최종 예측값으로 업데이트하는 업데이트부 를 포함하는 실시간 카메라 트래킹을 이용한 실사 영상 합성 시스템
3 3
제 2 항에 있어서, 상기 업데이트부는, 수학식 (여기서, x(t|t-1)은 이전 프레임에서 예측된 상태 벡터이고, 은 예측 메트릭스(prediction matrix)이며, K(t)는 Kalman Gain이며, y(t)는 현재 프레임에서의 관찰치이며, h(x(t|t-1))은 이전 프레임에서 예측된 특징점의 3차원 좌표를 현재 프레임의 카메라 사영행렬을 통해 사영시켰을 때 예측되는 좌표를 의미한다
4 4
삭제
5 5
제 1 항에 있어서, 상기 시스템은, 상기 카메라의 초기 위치를 예측하는 카메라 초기 위치 예측부와, 영상 입력에 대하여 네츄럴 특징점(Natural Feature)들을 실시간으로 추출하는 특징점 추출부와, 상기 추출된 특징점들을 일정 구간 N3 프레임동안 데이터를 누적시키며 상기 N3프레임 이상 일관되게 관찰된 특징점들만을 상기 특징점 예측 및 선별부에 제공하는 버퍼 를 더 포함하는 실시간 카메라 트래킹을 이용한 실사 영상 합성 시스템
6 6
제 1 항에 있어서, 상기 카메라의 현재 위치는, GPS(Global Positioning System)에 의해 수신되는 것을 특징으로 하는 실시간 카메라 트래킹을 이용한 실사 영상 합성 시스템
7 7
영상에 대한 특징점들중 3차원 위치가 복원된 특징점들만을 두개의 카메라 중심으로부터 각 이미지 플렌 상의 영역 안 경계선을 이어 생성된 원뿔모양의 방사형 내부의 공간을 통해 선별하는 단계와, 선별한 상기 특징점들에 대하여 2차원 특징점 추적 데이터를 입력으로 하는 확장형 칼만 필터(Extended Kalman Filter)를 통해 카메라 움직임 정보를 예측하는 단계와, 카메라의 현재 위치와, 도심 배경기하 모델 데이터베이스(DB)로부터 가져온 주변공간의 배경기하 모델 간을 비교하여 매칭시켜 로컬 좌표에서 계산된 카메라의 위치 및 각도를 월드 좌표에서의 값으로 변환하는 단계와, 상기 예측된 카메라 움직임 정보를 지도 및 주변 정보 DB에서 가져온 길안내 및 주변정보의 실사영상에 합성하여 출력하는 단계 를 포함하는 실시간 카메라 트래킹을 이용한 실사 영상 합성 방법
8 8
제 7 항에 있어서, 상기 특징점들은, 두개의 카메라 중심으로부터 각 이미지 플렌 상의 영역 안의 경계선을 이을때 S1, S2 와 같은 원뿔모양의 방사형 내부의 공간을 형성하며, 이는 수학식 (여기서, S3가 작을수록 이 특징점이 공간상에서 존재할 수 있는 불확실성 영역은 좁아지며 이 특징점은 상대적으로 정확하게 3차원 복원된 특징점으로 간주할 수 있으며, RPE(Reprojection Error)가 작아서 두 원뿔(S1, S2)의 폭이 좁아야 하며, 프레임 구간동안 움직인 카메라의 이동, 회전이 커야하며, S3의 부피를 특징점의 3차원 복원 정확도의 척도로 삼는다
지정국 정보가 없습니다
패밀리정보가 없습니다
국가 R&D 정보가 없습니다.