맞춤기술찾기

이전대상기술

이동형 단말기에서의 증강 현실을 제공하기 위한 위치 인식 방법 및 시스템

  • 기술번호 : KST2019019559
  • 담당센터 : 대전기술혁신센터
  • 전화번호 : 042-610-2279
요약, Int. CL, CPC, 출원번호/일자, 출원인, 등록번호/일자, 공개번호/일자, 공고번호/일자, 국제출원번호/일자, 국제공개번호/일자, 우선권정보, 법적상태, 심사진행상태, 심판사항, 구분, 원출원번호/일자, 관련 출원번호, 기술이전 희망, 심사청구여부/일자, 심사청구항수의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 서지정보 표입니다.
요약 본 발명은 이동형 단말기에서의 증강 현실을 위한 위치 인식 방법 및 시스템에 관한 것으로, 이동형 단말기 내 카메라에서 획득되는 이미지 데이터를 서브 샘플링(sub-sampling)하며, 저화질 이미지 데이터에서 라인(line) 및 포인트(point)를 포함한 이미지 패치를 추출하는 단계, 상기 카메라의 움직임에 따른, 상기 이미지 패치와 이전 이미지 패치 간의 포인트 특징 요소의 특징 쌍을 매칭하고, 상기 이미지 패치에 대한 서브픽셀(subpixel)의 라인을 산출하는 단계 및 상기 산출된 라인과 관성에 의해 추정된 라인 간의 차이를 기반으로, 상기 이동형 단말기 내 카메라의 위치를 추정하는 단계를 포함한다.
Int. CL G06F 3/038 (2006.01.01) G06F 3/0346 (2013.01.01) G06T 19/00 (2011.01.01)
CPC
출원번호/일자 1020180128595 (2018.10.26)
출원인 한국과학기술원
등록번호/일자
공개번호/일자 10-2019-0116039 (2019.10.14) 문서열기
공고번호/일자
국제출원번호/일자
국제공개번호/일자
우선권정보 대한민국  |   1020180038605   |   2018.04.03
법적상태 등록
심사진행상태 수리
심판사항
구분 신규
원출원번호/일자
관련 출원번호
심사청구여부/일자 Y (2018.10.26)
심사청구항수 15

출원인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 출원인 표입니다.
번호 이름 국적 주소
1 한국과학기술원 대한민국 대전광역시 유성구

발명자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 발명자 표입니다.
번호 이름 국적 주소
1 명현 대전광역시 유성구
2 정광익 대전광역시 유성구
3 윤필립 대전광역시 유성구
4 김예은 대전광역시 유성구
5 임현준 대전광역시 유성구
6 송승원 대전광역시 유성구

대리인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 대리인 표입니다.
번호 이름 국적 주소
1 양성보 대한민국 서울특별시 강남구 선릉로***길 ** (논현동) 삼성빌딩 *층(피앤티특허법률사무소)

최종권리자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 최종권리자 표입니다.
번호 이름 국적 주소
최종권리자 정보가 없습니다
번호, 서류명, 접수/발송일자, 처리상태, 접수/발송일자의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 행정처리 표입니다.
번호 서류명 접수/발송일자 처리상태 접수/발송번호
1 [특허출원]특허출원서
[Patent Application] Patent Application
2018.10.26 수리 (Accepted) 1-1-2018-1058389-85
2 출원인정보변경(경정)신고서
Notification of change of applicant's information
2019.04.24 수리 (Accepted) 4-1-2019-5081392-49
3 의견제출통지서
Notification of reason for refusal
2020.02.10 발송처리완료 (Completion of Transmission) 9-5-2020-0101788-69
4 출원인정보변경(경정)신고서
Notification of change of applicant's information
2020.05.15 수리 (Accepted) 4-1-2020-5108396-12
5 [지정기간연장]기간 연장신청서·기간 단축신청서·기간 경과 구제신청서·절차 계속신청서
2020.06.01 수리 (Accepted) 1-1-2020-0559168-99
6 출원인정보변경(경정)신고서
Notification of change of applicant's information
2020.06.12 수리 (Accepted) 4-1-2020-5131486-63
7 [명세서등 보정]보정서
[Amendment to Description, etc.] Amendment
2020.06.30 보정승인간주 (Regarded as an acceptance of amendment) 1-1-2020-0672810-77
8 [거절이유 등 통지에 따른 의견]의견서·답변서·소명서
2020.06.30 수리 (Accepted) 1-1-2020-0672809-20
9 최후의견제출통지서
Notification of reason for final refusal
2020.11.19 발송처리완료 (Completion of Transmission) 9-5-2020-0806222-31
번호, 청구항의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 청구항 표입니다.
번호 청구항
1 1
이동형 단말기에서의 증강 현실을 제공하기 위한 위치 인식 시스템의 동작 방법에 있어서,상기 이동형 단말기 내 카메라에서 획득되는 이미지 데이터를 서브 샘플링(sub-sampling)하며, 저화질 이미지 데이터에서 라인(line) 및 포인트(point)를 포함한 이미지 패치를 추출하는 단계;상기 카메라의 움직임에 따른, 상기 이미지 패치와 이전 이미지 패치 간의 포인트 특징 요소의 특징 쌍을 매칭하고, 상기 이미지 패치에 대한 서브픽셀(subpixel)의 라인을 산출하는 단계; 및상기 산출된 라인과 관성에 의해 추정된 라인 간의 차이를 기반으로, 상기 이동형 단말기 내 카메라의 위치를 추정하는 단계를 포함하는 증강 현실을 위한 위치 인식 방법
2 2
제1항에 있어서,상기 이미지 패치를 추출하는 단계는상기 이동형 단말기 내 상기 카메라로부터 고화질 이미지 데이터를 수신하는 단계;상기 고화질 이미지 데이터를 서브 샘플링(sub-sampling)하여 상기 저화질 이미지 데이터를 획득하는 단계; 상기 저화질 이미지 데이터에서 라인(line) 및 포인트(point)의 특징 요소를 추출하는 단계; 및 상기 라인(line) 및 포인트(point)의 특징 요소를 포함하는 상기 이미지 패치를 추출하는 단계를 포함하는 증강 현실을 위한 위치 인식 방법
3 3
제2항에 있어서,상기 라인(line) 및 포인트(point)의 특징 요소를 포함하는 이미지 패치를 추출하는 단계는상기 저화질 이미지 데이터에서, 라인(line) 특징 요소 및 포인트(point) 특징 요소를 모두 포함하는 원형의 상기 이미지 패치를 추출하는 것을 특징으로 하는 증강 현실을 위한 위치 인식 방법
4 4
제1항에 있어서,상기 특징 쌍을 매칭하고, 이미지 패치에 대한 서브픽셀의 라인을 산출하는 단계는관성측정장치(Inertial Measurement Unit; IMU) 및 상기 이미지 패치 상의 포인트 특징 요소(point feature)를 이용하여 특징 쌍에 대한 매칭 여부를 확인하는 단계; 및3차원 라인 분포식으로 상기 이미지 패치에 대한 상기 서브픽셀의 라인을 추출하는 단계를 포함하는 증강 현실을 위한 위치 인식 방법
5 5
제4항에 있어서,상기 특징 쌍을 검색하여 매칭 여부를 확인하는 단계는이전 이미지 패치(t-1)를 기준으로, 상기 관성측정장치로부터 감지되는 상기 카메라의 움직임[R/t]에 따른 이미지 패치(t)의 포인트 특징 요소를 검색하며, 이전 이미지 패치(t-1)의 포인트 특징 요소와 상기 이미지 패치(t)의 포인트 특징 요소 각각을 매칭하여 동일 직선 선분을 가진 복수의 특징 쌍을 획득하는 증강 현실을 위한 위치 인식 방법
6 6
제5항에 있어서,상기 이미지 패치에 대한 서브픽셀의 라인을 추출하는 단계는3차원 가우시안 커널(3D Gaussian kernel)의 상기 3차원 라인 분포식을 이용하여 상기 이미지 패치(t)에 대한 3차원 분포를 확장하고, 3차원 분포 결과에서의 최대 포인트(maximum point)를 연결한 최대 라인(maximum line)을 산출하여 정밀한 상기 서브픽셀의 라인을 획득하는 증강 현실을 위한 위치 인식 방법
7 7
제1항에 있어서,상기 이동형 단말기 내 카메라의 위치를 추정하는 단계는상기 이동형 단말기에 포함된 관성항법센서(Inertial Navigation Sensor)를 이용하여 획득되는 상기 이전 이미지 패치(t-1)에 대한 상기 추정된 라인과, 상기 이미지 패치(t)에 대한 상기 산출된 라인 간의 이노베이션 항목(innovation term)을 산출하여 상기 카메라에 대한 위치를 추정하는 증강 현실을 위한 위치 인식 방법
8 8
제7항에 있어서,상기 이동형 단말기 내 카메라의 위치를 추정하는 단계는상기 이미지 패치(t)에서 상기 산출된 라인의 라인 기울기(at)와 상기 이전 이미지 패치(t-1)에서 상기 추정된 라인의 라인 기울기(at-1) 사이의 기울기 차이를 고려하여 카메라 위치(state x) 추정의 정확도를 향상시키는 것을 특징으로 하는 증강 현실을 위한 위치 인식 방법
9 9
제1항 내지 제8항 중 어느 한 항의 방법을 수행하기 위하여 컴퓨터로 판독 가능한 기록 매체에 저장된 컴퓨터 프로그램
10 10
이동형 단말기에서의 증강 현실을 제공하기 위한 위치 인식 시스템에 있어서,상기 이동형 단말기 내 카메라에서 획득되는 이미지 데이터를 서브 샘플링(sub-sampling)하며, 저화질 이미지 데이터에서 라인(line) 및 포인트(point)를 포함한 이미지 패치를 추출하는 이미지 패치 추출부;상기 카메라의 움직임에 따른, 상기 이미지 패치와 이전 이미지 패치 간의 포인트 특징 요소의 특징 쌍을 매칭하고, 상기 이미지 패치에 대한 서브픽셀(subpixel)의 라인을 산출하는 산출부; 및상기 산출된 라인과 관성에 의해 추정된 라인 간의 차이를 기반으로, 상기 이동형 단말기 내 카메라의 위치를 추정하는 위치 추정부를 포함하는 증강 현실을 위한 위치 인식 시스템
11 11
제10항에 있어서,상기 이미지 패치 추출부는상기 이동형 단말기 내 상기 카메라로부터 고화질 이미지 데이터를 수신하는 이미지 데이터 수신부;상기 고화질 이미지 데이터를 서브 샘플링(sub-sampling)하여 라인(line) 및 포인트(point)를 내포한 상기 저화질 이미지 데이터를 획득하는 저화질 이미지 데이터 획득부; 및상기 저화질 이미지 데이터에서 라인(line) 및 포인트(point)의 특징 요소를 포함하는 상기 이미지 패치를 추출하는 특징 요소 추출부를 포함하는 증강 현실을 위한 위치 인식 시스템
12 12
제11항에 있어서,상기 특징 요소 추출부는상기 저화질 이미지 데이터에서, 라인(line) 특징 요소 및 포인트(point) 특징 요소를 모두 포함하는 원형의 상기 이미지 패치를 추출하는 것을 특징으로 하는 증강 현실을 위한 위치 인식 시스템
13 13
제10항에 있어서,상기 산출부는관성측정장치(Inertial Measurement Unit; IMU) 및 상기 이미지 패치 상의 포인트 특징 요소(point feature)를 이용하여 특징 쌍에 대한 매칭 여부를 확인하는 매칭 확인부; 및3차원 라인 분포식으로 상기 이미지 패치에 대한 상기 서브픽셀의 라인을 추출하는 라인 추출부를 포함하는 증강 현실을 위한 위치 인식 시스템
14 14
제13항에 있어서,상기 매칭 확인부는이전 이미지 패치(t-1)를 기준으로, 상기 관성측정장치로부터 감지되는 상기 카메라의 움직임[R/t]에 따른 이미지 패치(t)의 포인트 특징 요소를 검색하며, 이전 이미지 패치(t-1)의 포인트 특징 요소와 상기 이미지 패치(t)의 포인트 특징 요소 각각을 매칭하여 동일 직선 선분을 가진 복수의 특징 쌍을 획득하는 증강 현실을 위한 위치 인식 시스템
15 15
제14항에 있어서,상기 라인 추출부는 3차원 가우시안 커널(3D Gaussian kernel)의 상기 3차원 라인 분포식을 이용하여 상기 이미지 패치(t)에 대한 3차원 분포를 확장하고, 3차원 분포 결과에서의 최대 포인트(maximum point)를 연결한 최대 라인(maximum line)을 산출하여 정밀한 상기 서브픽셀의 라인을 추출하는 증강 현실을 위한 위치 인식 시스템
16 16
제10항에 있어서,상기 위치 추정부는상기 이동형 단말기에 포함된 관성항법센서(Inertial Navigation Sensor)를 이용하여 획득되는 상기 이전 이미지 패치(t-1)에 대한 상기 추정된 라인과, 상기 이미지 패치(t)에 대한 상기 산출된 라인 간의 이노베이션 항목(innovation term)을 산출하여 상기 카메라에 대한 위치를 추정하는 증강 현실을 위한 위치 인식 시스템
17 17
제16항에 있어서,상기 위치 추정부는상기 이미지 패치(t)에서 상기 산출된 라인의 라인 기울기(at)와 상기 이전 이미지 패치(t-1)에서 상기 추정된 라인의 라인 기울기(at-1) 사이의 기울기 차이를 고려하여 카메라 위치(state x) 추정의 정확도를 향상시키는 것을 특징으로 증강 현실을 위한 위치 인식 시스템
지정국 정보가 없습니다
순번, 패밀리번호, 국가코드, 국가명, 종류의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 패밀리정보 - 패밀리정보 표입니다.
순번 패밀리번호 국가코드 국가명 종류
1 US20190304128 US 미국 FAMILY
2 WO2019194561 WO 세계지적재산권기구(WIPO) FAMILY

DOCDB 패밀리 정보

순번, 패밀리번호, 국가코드, 국가명, 종류의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 패밀리정보 - DOCDB 패밀리 정보 표입니다.
순번 패밀리번호 국가코드 국가명 종류
DOCDB 패밀리 정보가 없습니다
국가 R&D 정보가 없습니다.