맞춤기술찾기

이전대상기술

복원조각과 볼륨형 표면을 이용하는 카메라 트래킹 장치 및 방법

  • 기술번호 : KST2015092011
  • 담당센터 : 대전기술혁신센터
  • 전화번호 : 042-610-2279
요약, Int. CL, CPC, 출원번호/일자, 출원인, 등록번호/일자, 공개번호/일자, 공고번호/일자, 국제출원번호/일자, 국제공개번호/일자, 우선권정보, 법적상태, 심사진행상태, 심판사항, 구분, 원출원번호/일자, 관련 출원번호, 기술이전 희망, 심사청구여부/일자, 심사청구항수의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 서지정보 표입니다.
요약 본 발명은 복원조각과 볼륨형 표면을 이용하여 실환경을 3차원으로 복원하는 카메라를 트래킹하는 장치 및 방법에 관한 것이다. 본 발명에 따른 복원조각과 볼륨형 표면을 이용하는 카메라 트래킹 장치는 카메라가 획득한 영상으로부터 3차원 공간의 복원조각을 추출하고, 복원조각을 분할하는 복원조각분할부와, 복원조각분할부가 분할한 복원 조각 중 적어도 어느 하나의 일 복원 조각에 대한 변환행렬을 생성하는 변환행렬생성부 및 변환행렬생성부가 생성한 변환행렬에 따라 일 복원조각을 회전 또는 이동시키고, 회전 또는 이동된 일 복원조각과 타 복원조각을 연결하는 복원조각연결부를 포함한다. 또한, 본 발명에 따른 복원조각과 볼륨형 표면을 이용하는 카메라 트래킹 방법은 카메라가 기획득한 영상 내에서 3차원 공간 복원조각을 분할하는 복원조각 분할단계와, 복원조각 분할단계에서 분할한 복원 조각 중 일 복원조각에 대한 변환 행렬을 생성하는 변환행렬 생성단계와, 변환행렬 생성단계에서 생성한 변환행렬에 따라 일 복원조각을 변환하는 변환행렬 적용단계 및 변환된 일 복원조각과 타 복원조각을 연결하는 복원조각 연결단계를 포함한다. 또한, 본 발명에 따른 복원조각과 볼륨형 표면을 이용하는 카메라 트래킹 장치는 카메라가 획득한 영상으로부터 제1 복원조각을 생성하고, 생성한 제1 복원조각을 저장하는 제1 GPU(Graphic Processing Unit) 및 기설정된 복원조각 분할 조건 성립 시, 제1 복원조각 이후 프레임을 시작프레임으로 하는 제2 복원조각을 생성하고, 생성한 제2복원조각을 저장하는 제2 GPU를 포함하고, 제2 GPU는 제3 복원 조각 생성시 제2 복원조각의 데이터를 제1 GPU에 송신하고, 제3 복원 조각을 생성 및 저장하고, 제1 GPU는 제2 GPU로부터 수신한 제2 복원조각과 상기 제1 복원조각을 연결하는 것을 특징으로 한다.
Int. CL G06T 3/00 (2019.01.01) G06T 1/00 (2006.01.01) G06T 5/00 (2019.01.01)
CPC
출원번호/일자 1020130141598 (2013.11.20)
출원인 한국전자통신연구원
등록번호/일자 10-2084253-0000 (2020.02.26)
공개번호/일자 10-2015-0057800 (2015.05.28) 문서열기
공고번호/일자 (20200303) 문서열기
국제출원번호/일자
국제공개번호/일자
우선권정보
법적상태 등록
심사진행상태 수리
심판사항
구분 신규
원출원번호/일자
관련 출원번호
심사청구여부/일자 Y (2018.04.11)
심사청구항수 17

출원인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 출원인 표입니다.
번호 이름 국적 주소
1 한국전자통신연구원 대한민국 대전광역시 유성구

발명자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 발명자 표입니다.
번호 이름 국적 주소
1 김영희 대한민국 대전광역시 서구
2 김진호 대한민국 대전광역시 유성구
3 김기홍 대한민국 대전광역시 유성구
4 이길행 대한민국 서울 서초구

대리인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 대리인 표입니다.
번호 이름 국적 주소
1 특허법인지명 대한민국 서울특별시 강남구 남부순환로**** 차우빌딩*층

최종권리자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 최종권리자 표입니다.
번호 이름 국적 주소
1 한국전자통신연구원 대전광역시 유성구
번호, 서류명, 접수/발송일자, 처리상태, 접수/발송일자의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 행정처리 표입니다.
번호 서류명 접수/발송일자 처리상태 접수/발송번호
1 [특허출원]특허출원서
[Patent Application] Patent Application
2013.11.20 수리 (Accepted) 1-1-2013-1057167-05
2 출원인정보변경(경정)신고서
Notification of change of applicant's information
2015.02.02 수리 (Accepted) 4-1-2015-0006137-44
3 [심사청구]심사청구(우선심사신청)서
[Request for Examination] Request for Examination (Request for Preferential Examination)
2018.04.11 수리 (Accepted) 1-1-2018-0362474-32
4 선행기술조사의뢰서
Request for Prior Art Search
2018.10.16 수리 (Accepted) 9-1-9999-9999999-89
5 선행기술조사보고서
Report of Prior Art Search
2019.01.10 발송처리완료 (Completion of Transmission) 9-6-2019-0066741-12
6 의견제출통지서
Notification of reason for refusal
2019.07.12 발송처리완료 (Completion of Transmission) 9-5-2019-0504203-55
7 [명세서등 보정]보정서
[Amendment to Description, etc.] Amendment
2019.09.16 보정승인간주 (Regarded as an acceptance of amendment) 1-1-2019-0945627-29
8 [거절이유 등 통지에 따른 의견]의견(답변, 소명)서
[Opinion according to the Notification of Reasons for Refusal] Written Opinion(Written Reply, Written Substantiation)
2019.09.16 수리 (Accepted) 1-1-2019-0945628-75
9 등록결정서
Decision to grant
2020.01.20 발송처리완료 (Completion of Transmission) 9-5-2020-0046127-86
번호, 청구항의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 청구항 표입니다.
번호 청구항
1 1
카메라가 획득한 영상으로부터 3차원 공간의 복원조각을 생성하는 복원조각분할부;복원 진행 중에, 상기 복원조각 중 왜곡이 있는 제1 복원조각에 대한 변환행렬을 생성하는 변환행렬생성부; 및상기 변환행렬생성부가 생성한 변환행렬에 따라 상기 왜곡이 있는 제1 복원조각을 회전 또는 이동시키고, 상기 회전 또는 이동된 제1 복원조각과 왜곡이 없는 제2 복원조각을 연결하는 복원조각연결부를 포함하되, 상기 복원조각분할부는 상기 카메라의 움직임 팩터가 기설정된 값보다 큰 시점 또는 기설정된 프레임 단위를 기준으로 상기 복원조각을 생성하는 것을 특징으로 하는 복원조각과 볼륨형 표면을 이용하는 카메라 트래킹 장치
2 2
삭제
3 3
제1항에 있어서, 상기 변환행렬생성부는 상기 복원조각분할부에 의하여 생성된 상기 왜곡이 있는 제1 복원조각의 시작 프레임에 대응하는 상기 카메라의 위치 및 상기 왜곡이 없는 제2 복원조각의 종료 프레임에 대응하는 상기 카메라의 위치 사이의 지점에 기준 카메라를 설정하고, 상기 기준 카메라의 상기 제1 복원조각 및 제2 복원조각에 대한 맵 세트를 생성하는 것인 복원조각과 볼륨형 표면을 이용하는 카메라 트래킹 장치
4 4
제3항에 있어서, 상기 변환행렬생성부는상기 기준 카메라의 상기 제1 복원조각 및 제2 복원조각에 대한 버텍스 맵과 노말 맵을 포함하는 맵 세트를 생성하고, 상기 생성한 맵 세트에 대하여 ICP(Iterative Closest Point) 알고리즘을 적용하여 상기 제1 복원조각의 변환행렬을 생성하는 것인 복원조각과 볼륨형 표면을 이용하는 카메라 트래킹 장치
5 5
제4항에 있어서, 상기 복원조각연결부는 상기 제1 복원조각의 복셀 그리드 도메인에 대하여 상기 변환행렬생성부가 생성한 변환행렬의 역행렬을 적용하는 것인 복원조각과 볼륨형 표면을 이용하는 카메라 트래킹 장치
6 6
제5항에 있어서, 상기 복원조각연결부는 회전 행렬 및 이동 행렬을 포함하는 상기 역행렬을 상기 제1 복원조각의 SDF(Signed Distance Function) 값에 적용하는 것인 복원조각과 볼륨형 표면을 이용하는 카메라 트래킹 장치
7 7
제6항에 있어서, 상기 복원조각연결부는 상기 역행렬이 적용된 상기 제1 복원조각의 SDF 값, 상기 제2 복원조각의 SDF 값, 상기 제1 복원조각 및 제2 복원조각의 가중치 함수에 기초하여 상기 제1 복원조각 및 제2 복원조각을 연결하는 것인 복원조각과 볼륨형 표면을 이용하는 카메라 트래킹 장치
8 8
(a) 카메라가 기획득한 영상 내에서 3차원 공간 복원조각을 생성하는 단계; (b) 상기 생성된 복원조각 중 왜곡이 있는 제1 복원조각에 대한 변환 행렬을 생성하는 변환행렬 생성단계; (c) 상기 변환행렬 생성단계에서 생성한 변환행렬에 따라 상기 왜곡이 있는 제1 복원조각을 변환하는 변환행렬 적용단계; 및 (d) 상기 변환된 제1 복원조각과 왜곡이 없는 제2 복원조각을 연결하는 복원조각 연결단계를 포함하되,상기 (a) 단계는 복원 진행 중 상기 카메라의 움직임이 기설정 범위 이상인 시점 또는 기설정된 프레임 단위를 기준으로 상기 복원조각을 생성하는 것을 특징으로 하는 복원조각과 볼륨형 표면을 이용하는 카메라 트래킹 방법
9 9
삭제
10 10
제8항에 있어서, 상기 (b) 단계는 상기 카메라의 이동 경로에 따라 상기 왜곡이 있는 제1 복원조각의 시작 프레임에 대응하는 카메라 및 상기 왜곡이 없는 제2 복원조각의 종료 프레임에 대응하는 카메라 사이의 지점에서 영상을 획득한 기준 카메라의 지점을 기준으로 상기 제1 복원조각 및 제2 복원조각에 대한 맵 세트를 생성하는 것인 복원조각과 볼륨형 표면을 이용하는 카메라 트래킹 방법
11 11
제10항에 있어서, 상기 (b) 단계는 버텍스 맵 및 노말 맵을 포함하는 맵 세트를 생성하고, 상기 생성한 맵 세트에 대하여 ICP 알고리즘을 적용하여 상기 변환행렬을 생성하는 것인 복원조각과 볼륨형 표면을 이용하는 카메라 트래킹 방법
12 12
제11항에 있어서, 상기 (c) 단계는 상기 제1 복원조각의 복셀 그리드 도메인에 대하여 상기 변환행렬의 역행렬을 적용하는 것인 복원조각과 볼륨형 표면을 이용하는 카메라 트래킹 방법
13 13
제12항에 있어서, 상기 (c) 단계는 회전 행렬 및 이동 행렬을 포함하는 상기 역행렬을 상기 제1 복원조각의 SDF값에 적용하는 것인 복원조각과 볼륨형 표면을 이용하는 카메라 트래킹 방법
14 14
제13항에 있어서, 상기 (d) 단계는상기 역행렬이 적용된 상기 제1 복원조각의 SDF 값, 상기 제2 복원조각의 SDF값, 상기 제1 복원조각 및 제2 복원조각의 가중치 함수에 기초하여 상기 제1 복원조각 및 제2 복원조각을 연결하는 것인 복원조각과 볼륨형 표면을 이용하는 카메라 트래킹 방법
15 15
카메라가 획득한 영상으로부터 복원 진행을 위한 제1 복원조각을 생성하고, 상기 생성한 제1 복원조각을 저장하는 제1 GPU(Graphic Processing Unit); 및 복원 진행 중 기설정된 복원조각 생성 조건 성립 시, 상기 제1 복원조각 이후 프레임을 시작프레임으로 하는 복원 진행을 위한 제2 복원조각을 생성하고, 상기 생성한 제2복원조각을 저장하는 제2 GPU를 포함하고, 상기 제2 GPU는 제3 복원 조각 생성시 상기 제2 복원조각의 데이터를 상기 제1 GPU에 송신하고, 상기 제3 복원 조각을 생성 및 저장하고, 상기 제1 GPU는 상기 제2 GPU로부터 수신한 상기 제2 복원조각과 상기 제1 복원조각을 연결하되, 상기 제2 GPU는 상기 카메라의 움직임 팩터가 기설정값 이상인 경우 또는 상기 카메라의 기설정된 프레임 단위의 제1 복원조각이 생성된 경우 상기 복원조각 분할 조건이 성립된 것으로 판단하여 상기 제2 복원조각을 생성 및 저장하는 것을 특징으로 하는 복원조각과 볼륨형 표면을 이용하는 카메라 트래킹 장치
16 16
삭제
17 17
제15항에 있어서, 상기 제2 복원조각이 왜곡이 있는 경우, 상기 제2 복원조각에 대한 변환행렬을 생성하고, 상기 생성한 변환행렬을 상기 제2 GPU가 상기 제1 GPU에 송신하는 상기 제2복원조각에 적용하여 상기 제2 복원조각을 변환하는 변환행렬 생성부를 더 포함하는 복원조각과 볼륨형 표면을 이용하는 카메라 트래킹 장치
18 18
제17항에 있어서, 상기 변환행렬 생성부는 상기 제1 복원조각의 종료 프레임에 대응하는 카메라의 위치와 상기 제2 복원조각의 시작 프레임에 대응하는 카메라의 위치 사이의 가상의 기준 카메라를 기준으로 상기 제1 및 제2 복원조각에 대한 맵 세트를 생성하고, 상기 생성한 맵 세트에 대하여 ICP 알고리즘을 적용하여 상기 변환행렬을 생성하는 것인 복원조각과 볼륨형 표면을 이용하는 카메라 트래킹 장치
19 19
제18항에 있어서, 상기 변환행렬 생성부는상기 제2복원조각의 복셀 그리드 도메인에 대하여 상기 변환행렬의 역행렬을 적용하는 것인 복원조각과 볼륨형 표면을 이용하는 카메라 트래킹 장치
20 20
제19항에 있어서, 상기 제1 GPU는 상기 변환행렬의 역행렬이 적용된 제2 복원조각의 SDF값, 상기 제1 복원조각의 SDF값, 상기 제1 및 제2 복원조각의 가중치 함수에 기초하여 상기 제1 및 제2 복원조각을 연결하는 것 인 복원조각과 볼륨형 표면을 이용하는 카메라 트래킹 장치
지정국 정보가 없습니다
순번, 패밀리번호, 국가코드, 국가명, 종류의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 패밀리정보 - 패밀리정보 표입니다.
순번 패밀리번호 국가코드 국가명 종류
1 US09489740 US 미국 FAMILY
2 US20150139532 US 미국 FAMILY

DOCDB 패밀리 정보

순번, 패밀리번호, 국가코드, 국가명, 종류의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 패밀리정보 - DOCDB 패밀리 정보 표입니다.
순번 패밀리번호 국가코드 국가명 종류
1 US2015139532 US 미국 DOCDBFAMILY
2 US9489740 US 미국 DOCDBFAMILY
순번, 연구부처, 주관기관, 연구사업, 연구과제의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 국가R&D 연구정보 정보 표입니다.
순번 연구부처 주관기관 연구사업 연구과제
1 舊지경부 ETRI 산업원천기술개발사업 실감 체험 공간 확장형 Live 4D 콘텐츠 플랫폼 기술 개발