맞춤기술찾기

이전대상기술

번들 조정 알고리즘을 이용한 립모션과 HMD 사이의 캘리브레이션 방법 및 장치

  • 기술번호 : KST2019014144
  • 담당센터 : 서울동부기술혁신센터
  • 전화번호 : 02-2155-3662
요약, Int. CL, CPC, 출원번호/일자, 출원인, 등록번호/일자, 공개번호/일자, 공고번호/일자, 국제출원번호/일자, 국제공개번호/일자, 우선권정보, 법적상태, 심사진행상태, 심판사항, 구분, 원출원번호/일자, 관련 출원번호, 기술이전 희망, 심사청구여부/일자, 심사청구항수의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 서지정보 표입니다.
요약 본 발명은 번들 조정 알고리즘을 이용한 립모션과 HMD 사이의 캘리브레이션 방법 및 장치에 관한 것이다. 본 발명에 따르면, 립모션을 장착하며 적외선 전구들이 형성된 HMD의 전면을 적외선 카메라로 촬영하여 획득한 각기 다른 시점의 n개 2차원 영상을 n개 희소 행렬로 변환하는 단계, 번들 조정 알고리즘을 통해 n개 희소 행렬을 3차원 공간에 근사시켜 생성한 하나의 3차원 점군과 n개 희소 행렬을 이용하여 n개 투영 행렬을 획득하는 단계, 3차원 점군을 n개 투영 행렬을 통해 n개 2차원 영상에 각각 투영시켜 투영된 n개 2차원 점군을 획득하는 단계, n개 2차원 영상 각각에 대해, 적외선 전구의 형상에 대응하는 복수의 전구 클러스터를 검출 후 2차원 점군 내 소속점들 중 전구 클러스터 내 위치한 2차원 점들을 판별하는 단계, 3차원 점군 내 소속점들 중 전구 클러스터 내에 위치한 2차원 점들에 대응되는 3차원 점들을 기초로 각 전구 클러스터의 3차원 중심점을 획득하는 단계, 및 각 전구 클러스터의 3차원 중심점과 클러스터 크기를 이용하여 립모션과 HMD의 원점을 각각 추정하여 캘리브레이션하는 단계를 포함한다. 본 발명에 따르면, 립모션이 장착된 영상투시 HMD의 전면에서 얻은 복수 시점의 적외선 영상을 사용하여 HMD와 립모션 간 상대적 위치 오차를 보정함으로써 HMD를 착용한 사용자의 현실감 및 몰입감을 제고할 수 있다.
Int. CL G06F 3/01 (2006.01.01) G02B 27/01 (2006.01.01)
CPC G06F 3/011(2013.01) G06F 3/011(2013.01) G06F 3/011(2013.01)
출원번호/일자 1020180001572 (2018.01.05)
출원인 동국대학교 산학협력단
등록번호/일자 10-2028376-0000 (2019.09.27)
공개번호/일자 10-2019-0083757 (2019.07.15) 문서열기
공고번호/일자 (20191004) 문서열기
국제출원번호/일자
국제공개번호/일자
우선권정보
법적상태 등록
심사진행상태 수리
심판사항
구분 신규
원출원번호/일자
관련 출원번호
심사청구여부/일자 Y (2018.01.05)
심사청구항수 12

출원인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 출원인 표입니다.
번호 이름 국적 주소
1 동국대학교 산학협력단 대한민국 서울특별시 중구

발명자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 발명자 표입니다.
번호 이름 국적 주소
1 성연식 서울특별시 강남구
2 조경은 서울특별시 강남구
3 박산 서울특별시 마포구

대리인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 대리인 표입니다.
번호 이름 국적 주소
1 특허법인태백 대한민국 서울 금천구 가산디지털*로 *** 이노플렉스 *차 ***호

최종권리자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 최종권리자 표입니다.
번호 이름 국적 주소
1 동국대학교 산학협력단 서울특별시 중구
번호, 서류명, 접수/발송일자, 처리상태, 접수/발송일자의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 행정처리 표입니다.
번호 서류명 접수/발송일자 처리상태 접수/발송번호
1 [특허출원]특허출원서
[Patent Application] Patent Application
2018.01.05 수리 (Accepted) 1-1-2018-0015480-67
2 의견제출통지서
Notification of reason for refusal
2019.06.17 발송처리완료 (Completion of Transmission) 9-5-2019-0426691-04
3 [명세서등 보정]보정서
[Amendment to Description, etc.] Amendment
2019.07.03 보정승인간주 (Regarded as an acceptance of amendment) 1-1-2019-0682688-57
4 [거절이유 등 통지에 따른 의견]의견(답변, 소명)서
[Opinion according to the Notification of Reasons for Refusal] Written Opinion(Written Reply, Written Substantiation)
2019.07.03 수리 (Accepted) 1-1-2019-0682689-03
5 출원인정보변경(경정)신고서
Notification of change of applicant's information
2019.08.16 수리 (Accepted) 4-1-2019-5163486-33
6 등록결정서
Decision to grant
2019.09.25 발송처리완료 (Completion of Transmission) 9-5-2019-0692523-69
번호, 청구항의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 청구항 표입니다.
번호 청구항
1 1
캘리브레이션 장치를 이용한 립모션과 HMD 사이의 캘리브레이션 방법에 있어서,상기 캘리브레이션 장치의 희소 행렬 생성기는, 립모션을 장착하며 적외선 전구들이 형성된 HMD의 전면을 적외선 카메라로 촬영하여 획득한 각기 다른 시점의 n개 2차원 영상을 n개 희소 행렬로 각각 변환하는 단계;희소 번들 조정기는 번들 조정 알고리즘을 통해 상기 n개 희소 행렬을 3차원 공간에 근사시켜 생성한 하나의 3차원 점군과 상기 n개 희소 행렬을 이용하여 n개 투영 행렬을 획득하는 단계;2D 점 추정기는 상기 3차원 점군을 상기 n개 투영 행렬을 통해 상기 n개 2차원 영상에 각각 투영시켜, 투영된 n개 2차원 점군을 각각 획득하는 단계;블랍 검출기는 상기 n개 2차원 영상 각각에 대해, 상기 2차원 영상 내에서 적외선 전구의 형상에 대응하는 복수의 전구 클러스터를 검출하는 단계;블랍 판별기는 상기 2차원 점군 내 소속점들 중 상기 전구 클러스터 내에 위치한 2차원 점들을 판별하는 단계;위치 추정기는 상기 3차원 점군 내 소속점들 중 상기 전구 클러스터 내에 위치한 2차원 점들에 대응되는 3차원 점들을 기초로 각 전구 클러스터의 3차원 중심점을 획득하는 단계; 및상기 위치 추정기는 상기 각 전구 클러스터의 3차원 중심점과 클러스터 크기를 이용하여 상기 립모션의 원점과 상기 HMD의 원점을 추정하여 캘리브레이션하는 단계를 포함하는 립모션과 HMD 사이의 캘리브레이션 방법
2 2
청구항 1에 있어서,픽셀 행렬 생성기는 상기 n개 2차원 영상에 대응하는 n개 픽셀 행렬을 획득하는 단계를 더 포함하며,상기 n개 희소 행렬로 변환하는 단계에서,상기 희소 행렬 생성기는 상기 n개 픽셀 행렬을 각각 상기 n개 희소 행렬로 변환하는 립모션과 HMD 사이의 캘리브레이션 방법
3 3
청구항 1에 있어서,상기 복수의 전구 클러스터를 검출하는 단계에서,상기 블랍 검출기는 상기 2차원 영상 내에서 블랍 검출 기법을 통해 원형의 복수의 전구 클러스터를 검출한 다음, 상기 전구 클러스터의 중심점과, 상기 전구 클러스터 내 나머지 점들과 상기 중심점 간의 거리 중 최대 거리값을 각각 구하며,상기 전구 클러스터 내에 위치한 2차원 점들을 판별하는 단계에서,상기 블랍 판별기는 상기 2차원 점군 내 소속점들과 상기 중심점 간 거리를 구한 후, 상기 최대 거리값 이하의 거리를 도출한 2차원 점들을 상기 전구 클러스터 내에 위치한 2차원 점들로 판별하는 립모션과 HMD 사이의 캘리브레이션 방법
4 4
청구항 1에 있어서,상기 캘리브레이션하는 단계에서,상기 위치 추정기는 상기 립모션의 원점 좌표를 상기 HMD의 원점 좌표로 이동시켜 캘리브레이션하는 립모션과 HMD 사이의 캘리브레이션 방법
5 5
청구항 1에 있어서,상기 각 전구 클러스터의 3차원 중심점을 획득하는 단계에서,상기 위치 추정기는 상기 3차원 점군 내 소속점들 중 상기 전구 클러스터 내 위치한 2차원 점들에 대응되는 3차원 점들의 좌표를 평균하는 방식으로 상기 각 전구 클러스터의 3차원 중심점을 연산하는 립모션과 HMD 사이의 캘리브레이션 방법
6 6
청구항 1에 있어서,상기 캘리브레이션하는 단계에서,상기 위치 추정기는 상기 각 전구 클러스터의 크기를 기초로 상위 L개의 제1 클러스터들과 나머지 M개의 제2 클러스터들로 분류한 다음(L003c#M), 상기 제1 클러스터들에 대한 3차원 중심점의 좌표를 평균하여 상기 립모션의 원점 좌표를 추정하고, 상기 제2 클러스터들에 대한 3차원 중심점의 좌표를 평균하여 상기 HMD의 원점 좌표를 추정하는 립모션과 HMD 사이의 캘리브레이션 방법
7 7
립모션과 HMD 사이를 캘리브레이션하기 위한 장치에 있어서,립모션을 장착하며 적외선 전구들이 형성된 HMD의 전면을 적외선 카메라로 촬영하여 획득한 각기 다른 시점의 n개 2차원 영상을 n개 희소 행렬로 각각 변환하는 희소 행렬 생성기;번들 조정 알고리즘을 통해 상기 n개 희소 행렬을 3차원 공간에 근사시켜 생성한 하나의 3차원 점군과 상기 n개 희소 행렬을 이용하여 n개 투영 행렬을 획득하는 희소 번들 조정기;상기 3차원 점군을 상기 n개 투영 행렬을 통해 상기 n개 2차원 영상에 각각 투영시켜 상기 투영된 n개 2차원 점군을 각각 획득하는 2D 점 추정기;상기 n개 2차원 영상 각각에 대해, 상기 2차원 영상 내에서 상기 적외선 전구의 형상에 대응하는 복수의 전구 클러스터를 검출하는 블랍 검출기;상기 2차원 점군 내 소속점들 중 상기 전구 클러스터 내에 위치한 2차원 점들을 판별하는 블랍 판별기; 및상기 3차원 점군 내 소속점들 중 상기 전구 클러스터 내에 위치한 2차원 점들에 대응되는 3차원 점들을 기초로 각 전구 클러스터의 3차원 중심점을 획득하고, 상기 각 전구 클러스터의 3차원 중심점과 클러스터 크기를 이용하여 상기 립모션의 원점과 상기 HMD의 원점을 추정하여 캘리브레이션하는 위치 추정기를 포함하는 립모션과 HMD 사이의 캘리브레이션 장치
8 8
청구항 7에 있어서,상기 n개 2차원 영상에 대응하는 n개 픽셀 행렬을 획득하는 픽셀 행렬 생성기를 더 포함하며,상기 희소 행렬 생성기는,상기 n개 픽셀 행렬을 각각 상기 n개 희소 행렬로 변환하는 립모션과 HMD 사이의 캘리브레이션 장치
9 9
청구항 7에 있어서,상기 블랍 검출기는,상기 2차원 영상 내에서 블랍 검출 기법을 통해 원형의 복수의 전구 클러스터를 검출한 다음, 상기 전구 클러스터의 중심점과, 상기 전구 클러스터 내 나머지 점들과 상기 중심점 간의 거리 중 최대 거리값을 각각 구하며, 상기 블랍 판별기는,상기 2차원 점군 내 소속점들과 상기 중심점 간 거리를 구한 후, 상기 최대 거리값 이하의 거리를 도출한 2차원 점들을 상기 전구 클러스터 내에 위치한 2차원 점들로 판별하는 립모션과 HMD 사이의 캘리브레이션 장치
10 10
청구항 7에 있어서,상기 위치 추정기는,상기 립모션의 원점 좌표를 상기 HMD의 원점 좌표로 이동시켜 캘리브레이션하는 립모션과 HMD 사이의 캘리브레이션 장치
11 11
청구항 7에 있어서,상기 위치 추정기는,상기 3차원 점군 내 소속점들 중 상기 전구 클러스터 내 위치한 2차원 점들에 대응되는 3차원 점들의 좌표를 평균하는 방식으로 상기 각 전구 클러스터의 3차원 중심점을 연산하는 립모션과 HMD 사이의 캘리브레이션 장치
12 12
청구항 7에 있어서,상기 위치 추정기는,상기 각 전구 클러스터의 크기를 기초로 L개의 제1 클러스터들과, 상기 제1 클러스터보다 작은 나머지 M개의 제2 클러스터들로 분류하며(L003c#M), 상기 제1 클러스터들에 대한 3차원 중심점의 좌표를 평균하여 상기 립모션의 원점 좌표를 추정하고, 상기 제2 클러스터들에 대한 3차원 중심점의 좌표를 평균하여 상기 HMD의 원점 좌표를 추정하는 립모션과 HMD 사이의 캘리브레이션 장치
지정국 정보가 없습니다
순번, 패밀리번호, 국가코드, 국가명, 종류의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 패밀리정보 - 패밀리정보 표입니다.
순번 패밀리번호 국가코드 국가명 종류
1 WO2019135462 WO 세계지적재산권기구(WIPO) FAMILY

DOCDB 패밀리 정보

순번, 패밀리번호, 국가코드, 국가명, 종류의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 패밀리정보 - DOCDB 패밀리 정보 표입니다.
순번 패밀리번호 국가코드 국가명 종류
1 WO2019135462 WO 세계지적재산권기구(WIPO) DOCDBFAMILY
순번, 연구부처, 주관기관, 연구사업, 연구과제의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 국가R&D 연구정보 정보 표입니다.
순번 연구부처 주관기관 연구사업 연구과제
1 미래창조과학부 동국대학교 산학협력단 정보통신기술인력양성 소환현실기반 콘텐츠 제작을 위한 실감형 인터랙션 NUI/NUX 플랫폼 기술 개발