맞춤기술찾기

이전대상기술

IMU 센서와 카메라를 이용한 하이브리드 실내 측위 시스템

  • 기술번호 : KST2021001667
  • 담당센터 : 대구기술혁신센터
  • 전화번호 : 053-550-1450
요약, Int. CL, CPC, 출원번호/일자, 출원인, 등록번호/일자, 공개번호/일자, 공고번호/일자, 국제출원번호/일자, 국제공개번호/일자, 우선권정보, 법적상태, 심사진행상태, 심판사항, 구분, 원출원번호/일자, 관련 출원번호, 기술이전 희망, 심사청구여부/일자, 심사청구항수의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 서지정보 표입니다.
요약 IMU 센서와 카메라를 이용한 하이브리드 실내 측위 시스템은 IMU 센서와 카메라로부터 얻은 위치 결과를 결합하여 IMU 센서 기반의 측위에서 발생하는 IMU 센서 오차를 카메라 측위 결과인 카메라 포즈에 의해 감소시키고, 카메라 기반의 측위에서 발생하는 방위각 오차를 IMU 측위 결과로 줄임으로써 실내 위치 측위에서 위치 오차를 최소화하는 효과가 있다.
Int. CL G01C 21/16 (2006.01.01) G01C 21/20 (2006.01.01) G01C 19/00 (2006.01.01) G01P 15/14 (2006.01.01) G06F 17/10 (2006.01.01) G01P 15/00 (2006.01.01)
CPC G01C 21/16(2013.01) G01C 21/206(2013.01) G01C 19/00(2013.01) G01P 15/14(2013.01) G06F 17/10(2013.01) G01P 15/003(2013.01)
출원번호/일자 1020190108082 (2019.09.02)
출원인 경북대학교 산학협력단
등록번호/일자 10-2226846-0000 (2021.03.05)
공개번호/일자 10-2021-0026795 (2021.03.10) 문서열기
공고번호/일자 (20210311) 문서열기
국제출원번호/일자
국제공개번호/일자
우선권정보
법적상태 등록
심사진행상태 수리
심판사항
구분
원출원번호/일자
관련 출원번호
심사청구여부/일자 Y (2019.09.02)
심사청구항수 16

출원인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 출원인 표입니다.
번호 이름 국적 주소
1 경북대학교 산학협력단 대한민국 대구광역시 북구

발명자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 발명자 표입니다.
번호 이름 국적 주소
1 한동석 대구광역시 수성구
2 알윈폴로즈 대구광역시 북구

대리인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 대리인 표입니다.
번호 이름 국적 주소
1 윤귀상 대한민국 서울특별시 금천구 디지털로*길 ** ***호 (가산동, 한신IT타워*차)(디앤특허법률사무소)

최종권리자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 최종권리자 표입니다.
번호 이름 국적 주소
1 경북대학교 산학협력단 대구광역시 북구
번호, 서류명, 접수/발송일자, 처리상태, 접수/발송일자의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 행정처리 표입니다.
번호 서류명 접수/발송일자 처리상태 접수/발송번호
1 [특허출원]특허출원서
[Patent Application] Patent Application
2019.09.02 수리 (Accepted) 1-1-2019-0900647-44
2 선행기술조사의뢰서
Request for Prior Art Search
2020.01.17 수리 (Accepted) 9-1-9999-9999999-89
3 선행기술조사보고서
Report of Prior Art Search
2020.03.09 발송처리완료 (Completion of Transmission) 9-6-2020-0026908-37
4 출원인정보변경(경정)신고서
Notification of change of applicant's information
2020.06.23 수리 (Accepted) 4-1-2020-5136893-04
5 의견제출통지서
Notification of reason for refusal
2020.08.14 발송처리완료 (Completion of Transmission) 9-5-2020-0558002-08
6 [명세서등 보정]보정서
[Amendment to Description, etc.] Amendment
2020.10.12 보정승인간주 (Regarded as an acceptance of amendment) 1-1-2020-1074578-31
7 [거절이유 등 통지에 따른 의견]의견서·답변서·소명서
2020.10.12 수리 (Accepted) 1-1-2020-1074577-96
8 등록결정서
Decision to grant
2021.02.04 발송처리완료 (Completion of Transmission) 9-5-2021-0107729-50
번호, 청구항의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 청구항 표입니다.
번호 청구항
1 1
3축 가속도계와 3축 자력계 및 3축 자이로스코프를 포함하는 IMU(Inertia Measurement Unit) 센서들로부터 수신한 센서 신호를 이용하여 보행자의 스텝과 방향각 정보를 계산하며, 상기 스텝과 방향각 정보를 이용하여 제1 위치를 계산하는 제1 실내 측위 장치;카메라에 의해 촬영된 복수의 영상 프레임에서 복수의 특징점을 검출하여 미리 저장된 키프레임의 매칭을 수행하고, 매칭 결과를 이용하여 상기 카메라의 자세 변화 정보를 추정하며, 상기 자세 변화 정보를 기초로 제2 위치를 측위하는 제2 실내 측위 장치; 및상기 제1 실내 측위 장치로부터 계산된 제1 위치와, 상기 제2 실내 측위 장치로부터 계산된 제2 위치를 선형 칼만 필터를 이용하여 결합하여 보행자의 최종 위치를 계산하는 센서 융합부를 포함하는 것을 특징으로 하는 하이브리드 실내 측위 시스템
2 2
제1항에 있어서,상기 제1 실내 측위 장치는 상기 3축 가속도계와 상기 3축 자이로스코프의 각 센서 신호를 이용하여 가속도와 각속도의 크기 변화를 분석하여 보행자의 스텝을 검출하고, 상기 검출한 스텝을 이용하여 상기 보행자의 스텝 길이를 추정하며, 상기 3축 자력계와 상기 3축 자이로스코프의 센서 신호를 융합하여 방향각 정보를 계산하며, 상기 계산된 방향각 정보와 상기 스텝 길이를 기초로 상기 보행자의 제1 위치를 계산하는 것을 특징으로 하는 하이브리드 실내 측위 시스템
3 3
제1항에 있어서,상기 제2 실내 측위 장치는 상기 카메라로부터 촬영된 복수의 영상 프레임을 입력받아 프레임 단위로 복수의 특징점을 검출하고, 상기 검출된 복수의 특징점과 키프레임을 매칭하고, 상기 매칭된 각각의 특징점을 상기 키프레임에 누적하여 상기 키프레임을 갱신하고,상기 키프레임과 상기 갱신한 키프레임 간의 특징점 추적을 통해 상기 카메라의 자세 변화 정보를 계산하며, 상기 자세 변화 정보를 기초로 상기 제2 위치를 측위하는 것을 특징으로 하는 하이브리드 실내 측위 시스템
4 4
제1항에 있어서,상기 센서 융합부는 상기 제1 위치와 상기 제2 위치를 상기 선형 칼만 필터에 의해 결합하여 위치 보정을 수행한 후, 상기 보행자의 현재 위치를 지도에 정합시켜 상기 지도 상에 보행자의 위치를 계산하는 것을 특징으로 하는 하이브리드 실내 측위 시스템
5 5
제1항에 있어서,상기 제1 실내 측위 장치는 상기 가속도계로부터 3축 가속도 데이터를 수신하고, 상기 수신한 3축 가속도 데이터의 피치 각과 롤 각을 하기의 수학식 1에 의해 계산하고, 상기 자이로스코프로부터 3축 각속도 데이터를 수신하고, 상기 수신한 3축 각속도 데이터의 피치 각과 롤 각을 하기의 수학식 1에 의해 계산하며, 3축 가속도 데이터의 피치 각 및 롤 각과 3축 각속도 데이터의 피치 각 및 롤 각을 제1 칼만 필터를 이용하여 결합하여 융합 피치 각과 융합 롤 각을 계산하는 자세 결정부를 더 포함하는 것을 특징으로 하는 하이브리드 실내 측위 시스템
6 6
제5항에 있어서,상기 제1 실내 측위 장치는 상기 자력계로부터 보행자의 좌표계에 대한 방향 정보를 수신하고, 상기 자세 결정부로부터 상기 융합 피치 각과, 상기 융합 롤 각을 수신하여 절대 방위각을 계산하는 자력계 방위각 계산부; 및상기 자이로스코프로부터 3축 각속도 데이터를 수신하여 보행자가 위치한 방향을 3차원 공간에 표시하기 위하여 피치의 각과 롤의 각을 이용하여 하기의 수학식 2의 오일러의 각도를 계산하는 자이로스코프 방위각 계산부를 포함하는 것을 특징으로 하는 하이브리드 실내 측위 시스템
7 7
제6항에 있어서,상기 자이로스코프 방위각 계산부는 상기 계산한 오일러의 각도를 하기의 수학식 3에 의해 사원수의 값을 사용하여 오일러 각도에 의한 사원수(Quaternion)의 업데이트를 수행하는 것을 특징으로 하는 하이브리드 실내 측위 시스템
8 8
제6항에 있어서,상기 제1 실내 측위 장치는 상기 자력계 방위각 계산부에서 계산된 절대 방위각과, 상기 자이로스코프 방위각 계산부에서 계산된 각속도 정보를 제2 칼만 필터에 의해 결합하여 보행자의 최종 방향 정보(Headinggyro)를 계산하는 방향 필터부를 더 포함하는 것을 특징으로 하는 하이브리드 실내 측위 시스템
9 9
제8항에 있어서,상기 제1 실내 측위 장치는 상기 절대 방위각과 상기 각속도 정보를 하기의 수학식 4에 의해 결합하여 보행자의 최종 방향 정보(Headinggyro)를 계산하는 방향 필터부를 더 포함하는 것을 특징으로 하는 하이브리드 실내 측위 시스템
10 10
제5항에 있어서,상기 제1 실내 측위 장치는 상기 가속도 데이터의 피치 각과 각속도 데이터의 피치 각을 결합한 융합 피치 각을 수신하고, 상기 수신한 융합 피치 각을 이용하여 하기의 수학식 5의 선형 회귀 모델을 기초로 스텝 길이(SL)를 추정하는 스텝 길이 추정부를 더 포함하는 것을 특징으로 하는 하이브리드 실내 측위 시스템
11 11
제5항에 있어서,상기 제1 실내 측위 장치는 상기 자력계로부터 보행자의 좌표계에 대한 방향 정보를 수신하고, 자세 결정부로부터 상기 융합 피치 각과, 상기 융합 롤 각을 수신하여 절대 방위각을 계산하는 자력계 방위각 계산부;상기 자이로스코프로부터 3축 각속도 데이터를 수신하여 보행자가 위치한 방향을 3차원 공간에 표시하는 각속도 정보를 계산하는 자이로스코프 방위각 계산부; 및상기 자력계 방위각 계산부에서 계산된 절대 방위각과, 상기 자이로스코프 방위각 계산부에서 계산된 각속도 정보를 제2 칼만 필터에 의해 결합하여 보행자의 최종 방향 정보(Headinggyro)를 계산하는 방향 필터부를 더 포함하는 것을 특징으로 하는 하이브리드 실내 측위 시스템
12 12
제11항에 있어서,상기 제1 실내 측위 장치는 상기 가속도 데이터의 피치 각과 각속도 데이터의 피치 각을 결합한 융합 피치 각을 수신하고, 상기 수신한 융합 피치 각을 이용하여 스텝 길이(SL)를 추정하는 스텝 길이 추정부; 및상기 방향 필터부로부터 보행자의 최종 방향 정보를 수신하고, 상기 스텝 길이 추정부로부터 추정한 스텝 길이(SL)를 수신하고, 하기의 수학식 6에 의해 상기 보행자의 최종 방향 정보와 상기 스텝 길이, 초기 위치값을 이용하여 보행자의 현재 위치를 계산하는 현재 위치 계산부를 더 포함하는 것을 특징으로 하는 하이브리드 실내 측위 시스템
13 13
제1항에 있어서,상기 제2 실내 측위 장치는 이전의 키프레임들과 현재의 키프레임을 비교하여 유사도 정도가 소정의 문턱값보다 큰 키프레임이 있는지를 검색한다
14 14
제1항에 있어서,상기 센서 융합부는 센서 융합의 전이 상태 함수인 하기의 수학식 7의 이동 모델과 수학식 8의 관측 모델을 갖는 칼만 필터 알고리즘을 이용하여 상기 제1 위치와 상기 제2 위치를 결합하는 것을 특징으로 하는 하이브리드 실내 측위 시스템
15 15
제14항에 있어서,상기 칼만 필터 알고리즘은 시간에 앞서 미리 현재 상태를 예측하는 칼만 필터의 예측 단계(Predict)로 순방향으로 현재 상태 추정 결과를 전달하는 것으로 하기의 수학식 9의 선형 추정 방정식과, 하기의 수학식 10의 Prior 추적 에러 공분산 방정식으로 이루어진 예측을 위한 시간 갱신 방정식인 것을 특징으로 하는 하이브리드 실내 측위 시스템
16 16
제15항에 있어서,상기 칼만 필터 알고리즘은 시간에 실제 측정에 의해 전달된 추정 상태값들을 보정하는 것으로 하기의 수학식 11의 칼만 이득 생성 방정식과 하기의 수학식 12의 갱신된 추정값 생성 방정식 및 하기의 수학식 13의 Posteriori 추적 에러 공분산 방정식으로 이루어진 측정 갱신 방정식인 것을 특징으로 하는 하이브리드 실내 측위 시스템
지정국 정보가 없습니다
패밀리정보가 없습니다
순번, 연구부처, 주관기관, 연구사업, 연구과제의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 국가R&D 연구정보 정보 표입니다.
순번 연구부처 주관기관 연구사업 연구과제
1 과학기술정보통신부 경북대학교 SW컴퓨팅산업원천기술개발(R&D, 정보화)사업 사용자의 의도와 맥락을 이해하는 지능형 인터랙션 기술 연구개발