맞춤기술찾기

이전대상기술

증강 현실에서의 햅틱 상호 작용 방법 및 그 시스템

  • 기술번호 : KST2015174087
  • 담당센터 : 광주기술혁신센터
  • 전화번호 : 062-360-4654
요약, Int. CL, CPC, 출원번호/일자, 출원인, 등록번호/일자, 공개번호/일자, 공고번호/일자, 국제출원번호/일자, 국제공개번호/일자, 우선권정보, 법적상태, 심사진행상태, 심판사항, 구분, 원출원번호/일자, 관련 출원번호, 기술이전 희망, 심사청구여부/일자, 심사청구항수의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 서지정보 표입니다.
요약 본 발명은 증강 현실에서의 햅틱 상호 작용 방법 및 그 시스템에 대한 것이다. 더욱 상세하게는 본 발명은, 증강 현실에서의 안정적이고 부드러운 햅틱 상호 작용을 위하여 영상 획득 장치를 통하여 획득된 실제 영상에서의 노이즈를 효과적으로 제거하고 햅틱 상호작용시 발생하는 힘의 불연속성을 최소화하는 것을 특징으로 하는 증강 현실에서의 햅틱 상호 작용 방법 및 그 시스템에 대한 것이다. 본 발명은 마커를 포함한 현실 환경에 대한 영상을 입력받아 상기 영상 중에 포함된 상기 마커를 검출하는 마커 검출부와, 검출된 상기 마커의 위치를 추출하는 마커 위치 추출부와, 상기 마커 위치 추출부에서 추출된 마커의 위치 정보에서 노이즈를 제거하는 노이즈 제거부와, 상기 마커에 대응하는 가상 객체를 상기 마커의 위치에 증강시켜 출력하는 가상 객체 증강부를 포함하는 시각 렌더링부; 및 상기 노이즈 제거부로부터 전달받은 상기 마커의 위치 정보를 바탕으로 햅틱 렌더링을 위한 시간 간격에 따라 상기 마커의 움직임을 추정하는 움직임 추정부와, 상기 움직임 추정부에 따라 추정된 상기 마커의 위치에 대응하는 가상 객체와 햅틱 장치의 엔드 포인트간의 충돌 여부를 검출하는 충돌 검출부와, 상기 충돌 검출부의 판단에 따라 상기 햅틱 장치를 통해 제공될 반력을 계산하는 반력 계산부를 포함하는 햅틱 렌더링부를 포함하는 증강 현실 시스템과, 이를 위한 증강 현실 제공 방법을 제공한다.
Int. CL G06F 3/01 (2011.01) G06T 7/00 (2011.01) G06T 15/00 (2011.01)
CPC G06F 3/016(2013.01) G06F 3/016(2013.01) G06F 3/016(2013.01) G06F 3/016(2013.01) G06F 3/016(2013.01) G06F 3/016(2013.01) G06F 3/016(2013.01) G06F 3/016(2013.01) G06F 3/016(2013.01) G06F 3/016(2013.01) G06F 3/016(2013.01)
출원번호/일자 1020080011300 (2008.02.04)
출원인 광주과학기술원
등록번호/일자 10-0927009-0000 (2009.11.09)
공개번호/일자 10-2009-0085419 (2009.08.07) 문서열기
공고번호/일자 (20091116) 문서열기
국제출원번호/일자
국제공개번호/일자
우선권정보
법적상태 소멸
심사진행상태 수리
심판사항
구분 신규
원출원번호/일자
관련 출원번호
심사청구여부/일자 Y (2008.02.04)
심사청구항수 17

출원인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 출원인 표입니다.
번호 이름 국적 주소
1 광주과학기술원 대한민국 광주광역시 북구

발명자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 발명자 표입니다.
번호 이름 국적 주소
1 이범찬 대한민국 광주 북구
2 황선욱 대한민국 광주 북구
3 박혜신 대한민국 광주 북구
4 류제하 대한민국 광주 북구
5 이용구 대한민국 광주 북구

대리인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 대리인 표입니다.
번호 이름 국적 주소
1 특허법인우인 대한민국 서울특별시 강남구 역삼로 ***, *층(역삼동, 중평빌딩)

최종권리자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 최종권리자 표입니다.
번호 이름 국적 주소
1 광주과학기술원 대한민국 광주광역시 북구
번호, 서류명, 접수/발송일자, 처리상태, 접수/발송일자의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 행정처리 표입니다.
번호 서류명 접수/발송일자 처리상태 접수/발송번호
1 [특허출원]특허출원서
[Patent Application] Patent Application
2008.02.04 수리 (Accepted) 1-1-2008-0091416-70
2 선행기술조사의뢰서
Request for Prior Art Search
2008.12.11 수리 (Accepted) 9-1-9999-9999999-89
3 선행기술조사보고서
Report of Prior Art Search
2009.01.16 수리 (Accepted) 9-1-2009-0004886-85
4 의견제출통지서
Notification of reason for refusal
2009.03.23 발송처리완료 (Completion of Transmission) 9-5-2009-0124667-67
5 [명세서등 보정]보정서
[Amendment to Description, etc.] Amendment
2009.05.25 보정승인간주 (Regarded as an acceptance of amendment) 1-1-2009-0312537-04
6 [거절이유 등 통지에 따른 의견]의견(답변, 소명)서
[Opinion according to the Notification of Reasons for Refusal] Written Opinion(Written Reply, Written Substantiation)
2009.05.25 수리 (Accepted) 1-1-2009-0312523-65
7 의견제출통지서
Notification of reason for refusal
2009.06.26 발송처리완료 (Completion of Transmission) 9-5-2009-0272081-05
8 [거절이유 등 통지에 따른 의견]의견(답변, 소명)서
[Opinion according to the Notification of Reasons for Refusal] Written Opinion(Written Reply, Written Substantiation)
2009.07.03 수리 (Accepted) 1-1-2009-0407149-97
9 [명세서등 보정]보정서
[Amendment to Description, etc.] Amendment
2009.07.03 보정승인간주 (Regarded as an acceptance of amendment) 1-1-2009-0407153-70
10 등록결정서
Decision to grant
2009.10.27 발송처리완료 (Completion of Transmission) 9-5-2009-0440530-45
11 출원인정보변경(경정)신고서
Notification of change of applicant's information
2011.09.15 수리 (Accepted) 4-1-2011-5187089-85
번호, 청구항의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 청구항 표입니다.
번호 청구항
1 1
햅틱 상호작용을 포함하는 증강 현실 시스템에 있어서, 마커를 포함한 현실 환경에 대한 영상을 입력받아 상기 영상 중에 포함된 상기 마커를 검출하는 마커 검출부와, 검출된 상기 마커의 위치를 추출하는 마커 위치 추출부와, 상기 마커 위치 추출부에서 추출된 마커의 위치 정보에서 노이즈를 제거하는 노이즈 제거부와, 상기 마커에 대응하는 가상 객체를 상기 마커의 위치에 증강시켜 출력하는 가상 객체 증강부를 포함하는 시각 렌더링부; 및 상기 노이즈 제거부로부터 전달받은 상기 마커의 위치 정보를 바탕으로 햅틱 렌더링을 위한 시간 간격에 따라 상기 마커의 움직임을 추정하는 움직임 추정부와, 상기 움직임 추정부에 따라 추정된 상기 마커의 위치에 대응하는 가상 객체와 햅틱 장치의 엔드 포인트간의 충돌 여부를 검출하는 충돌 검출부와, 상기 충돌 검출부의 판단에 따라 상기 햅틱 장치를 통해 제공될 반력을 계산하는 반력 계산부를 포함하는 햅틱 렌더링부를 포함하며, 상기 움직임 추정부는, 이전 시간 영상을 바탕으로 추정된 상기 마커의 위치와 현재 시간 영상에서의 상기 마커의 실제 위치와의 차이를 이용하여 상기 마커의 위치 증가분을 결정하는 것을 특징으로 하는 증강 현실 시스템
2 2
제 1 항에 있어서, 상기 마커의 위치 정보는 상기 마커의 3차원 위치 정보 및 방위 정보를 포함하는 것을 특징으로 하는 증강 현실 시스템
3 3
제 1 항에 있어서, 상기 노이즈 제거부는, 로우 패스 필터, FIR 필터, 및 IIR 필터 중 어느 하나 또는 그와 동등한 필터로 구성되는 것을 특징으로 하는 증강 현실 시스템
4 4
제 1 항에 있어서, 상기 노이즈 제거부는, 최소제곱 예측기, 최소 평균제곱 예측기, 최대우도 예측기, Maximun A posteriori 예측기, 베이즈 예측기, 칼만 필터, 파티클 필터, 마르코프 연쇄 몬테 카를로 예측기, 최소 분산 불편 예측기, 및 선형 불편 예측기 중 어느 하나 또는 그와 동등한 예측기로 구성되어 노이즈 제거 및 상기 마커의 움직임 예측을 동시에 수행하는 것을 특징으로 하는 증강 현실 시스템
5 5
제 1 항에 있어서, 상기 노이즈 제거부는, 초기값으로부터 연속적인 예측과 보정을 통하여 상기 마커의 위치 정보에서 노이즈를 필터링하고 예측하는 확장 칼만 필터로 구현되는 것을 특징으로 하는 증강 현실 시스템
6 6
제 5 항에 있어서, 상기 확장 칼만 필터에 있어서, 상기 마커 트래킹에 대한 모델은 위치, 속도, 및 가속도를 포함하는 상태 벡터와 마커 트래킹 과정에서 유입되는 시스템 노이즈로 표현되며, 실제 측정값을 바탕으로 연속적으로 예측되는 것을 특징으로 하는 증강 현실 시스템
7 7
제 6 항에 있어서, 상기 확장 칼만 필터는, 상기 상태 벡터의 선험적 예측값과 오차 공분산의 선험적 예측값을 초기 조건으로부터 예측한 후, 칼만 이득을 구하고, 상기 실제 측정값과 상기 칼만 이득을 이용하여 상기 상태 벡터의 선험적 예측값을 보정하여 상기 상태 벡터의 경험적 예측값을 구하는 것을 특징으로 하는 증강 현실 시스템
8 8
삭제
9 9
제 1 항에 있어서, 상기 이전 시간 영상을 바탕으로 최종적으로 추정된 상기 마커의 위치는 매 영상 프레임마다 연속적으로 모니터되는 것을 특징으로 하는 증강 현실 시스템
10 10
제 1 항에 있어서, 상기 시각 렌더링부와 상기 햅틱 렌더링부 중 어느 하나는 시각 렌더링을 위한 시각 좌표계와 햅틱 렌더링을 위한 햅틱 좌표계의 동기화를 수행하는 좌표계 동기화부를 추가로 포함하는 것을 특징으로 하는 증강 현실 시스템
11 11
햅틱 상호 작용을 포함하는 증강 현실 제공 방법에 있어서, (a) 마커를 포함한 실제 환경의 영상을 입력받는 단계; (b) 상기 영상에서 상기 마커를 검출하고 상기 마커의 위치를 추출하는 단계; (c) 상기 마커의 위치 정보에 포함된 노이즈를 제거하는 단계; (d) 상기 마커의 위치 정보를 바탕으로 햅틱 렌더링을 위한 시간 간격에 따라 상기 마커의 움직임을 추정하는 단계; (e) 상기 마커에 대응하는 가상 객체와 햅틱 장치의 엔드 포인트 간의 충돌여부를 검출하고 반력을 계산하여 햅틱 장치로 출력하는 단계; 및 (f) 상기 실제 영상의 상기 마커 위치에 상기 가상 객체를 증강하여 시각 디스플레이 장치로 출력하는 단계 를 포함하는 증강 현실 제공 방법
12 12
제 11 항에 있어서, 상기 마커의 위치 정보는 상기 마커의 3차원 위치 정보 및 방위 정보를 포함하는 것을 특징으로 하는 증강 현실 제공 방법
13 13
제 11 항에 있어서, 상기 (c) 단계는, 로우 패스 필터, FIR 필터, 및 IIR 필터 중 어느 하나 또는 그와 동등한 필터로 수행되는 것을 특징으로 하는 증강 현실 제공 방법
14 14
제 11 항에 있어서, 상기 (c) 단계는, 최소제곱 예측기, 최소 평균제곱 예측기, 최대우도 예측기, Maximun A posteriori 예측기, 베이즈 예측기, 칼만 필터, 파티클 필터, 마르코프 연쇄 몬테 카를로 예측기, 최소 분산 불편 예측기, 및 선형 불편 예측기 중 어느 하나 또는 그와 동등한 예측기로 수행되어 노이즈 제거 및 상기 마커의 움직임 예측이 함께 이루어지도록 하는 것을 특징으로 하는 증강 현실 제공 방법
15 15
제 11 항에 있어서, 상기 (c) 단계는, 초기값으로부터 연속적인 예측과 보정을 통하여 상기 마커의 위치 정보에서 노이즈를 필터링하고 예측하는 확장 칼만 필터로 수행되는 것을 특징으로 하는 증강 현실 제공 방법
16 16
제 11 항에 있어서, 상기 (c) 단계는, (c1) 상기 마커의 위치, 속도, 가속도를 포함하는 상태 벡터에 대한 선험적 예측값과 오차 공분산의 선험적 예측값을 초기 조건으로부터 예측하는 단계; 및 (c2) 칼만 이득을 구하고, 실제 측정값과 상기 칼만 이득을 이용하여 상기 상태 벡터의 선험적 예측값을 보정하여 상기 상태 벡터의 경험적 예측값을 구하는 단계 를 포함하여 이루어지는 것을 특징으로 하는 증강 현실 제공 방법
17 17
제 11 항 내지 제 16 항 중 어느 한 항에 있어서, 상기 (d) 단계는, 이전 시간 영상을 바탕으로 외삽법을 적용하여 최종적으로 추정된 상기 마커의 위치와, 현재 시간 영상에서의 상기 마커의 실제 위치와의 차이를 바탕으로 현재 시간 이후의 햅틱 렌더링을 위한 상기 마커의 위치 증가분을 결정하는 적응적 외삽법을 통해 상기 마커의 움직임을 추정하는 것을 특징으로 하는 증강 현실 제공 방법
18 18
제 17 항에 있어서, 상기 이전 시간 영상을 바탕으로 최종적으로 추정된 상기 마커의 위치는 매 영상 프레임마다 연속적으로 모니터되는 것을 특징으로 하는 증강 현실 제공 방법
지정국 정보가 없습니다
순번, 패밀리번호, 국가코드, 국가명, 종류의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 패밀리정보 - 패밀리정보 표입니다.
순번 패밀리번호 국가코드 국가명 종류
1 JP04977725 JP 일본 FAMILY
2 JP21187550 JP 일본 FAMILY
3 US08243099 US 미국 FAMILY
4 US20090195538 US 미국 FAMILY

DOCDB 패밀리 정보

순번, 패밀리번호, 국가코드, 국가명, 종류의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 패밀리정보 - DOCDB 패밀리 정보 표입니다.
순번 패밀리번호 국가코드 국가명 종류
1 JP2009187550 JP 일본 DOCDBFAMILY
2 JP4977725 JP 일본 DOCDBFAMILY
3 US2009195538 US 미국 DOCDBFAMILY
4 US8243099 US 미국 DOCDBFAMILY
국가 R&D 정보가 없습니다.