| 1 |
1
헤드 마운티드 디스플레이(Head Mounted Display, HMD)에서 촉각 상호작용을 수행하는 가상객체와 사용자를 포함하는 가상환경을 상기 사용자의 외부 관점에서 관찰 가능한 햅틱 디바이스의 자극 반응형 가상객체 증강 방법으로서, 상기 가상환경에 증강하고자 하는 햅틱모델(Haptic Model)을 획득하는 단계; 상기 사용자가 실존하는 좌표계에 대한 캘리브레이션을 수행하는 단계;상기 사용자를 바라보는 외부 뷰 포인트에서의 타시점 증강현실 영상을 획득하는 단계; 상기 햅틱 디바이스로부터 발생하는 촉각자극 정보를 획득하는 단계; 상기 획득된 촉각자극 정보에 기반하여 상기 햅틱모델에 대한 동기화 모델링을 수행하는 단계; 상기 동기화된 햅틱모델을 상기 타시점 증강현실 영상에 증강 표시하는 단계; 및 상기 동기화된 햅틱모델이 증강 표시된 타시점 증강현실 영상을 제공하는 단계를 포함하고, 상기 햅틱모델에 대한 동기화 모델링을 수행하는 단계는, 상기 햅틱 디바이스에 의하여 상기 사용자에게 가해진 촉각자극에 매칭되는 형상으로 상기 햅틱모델을 생성하는 햅틱 렌더링을 수행하는 단계를 포함하는햅틱 디바이스의 자극 반응형 가상객체 증강 방법
|
| 2 |
2
제 1 항에 있어서, 상기 햅틱모델은, 상기 가상환경에서 증강하고자 하는 가상객체에 대한 3차원 모델링 정보인 햅틱 디바이스의 자극 반응형 가상객체 증강 방법
|
| 3 |
3
제 1 항에 있어서, 상기 캘리브레이션을 수행하는 단계는, 상기 타시점 증강현실 영상에서, 상기 사용자에 대한 실존 좌표계인 3차원 가상좌표계, 상기 햅틱 디바이스에 대한 3차원 가상좌표계 및 상기 햅틱모델에 대한 3차원 가상좌표계를 캘리브레이션하여 일치시키는 단계를 포함하는 햅틱 디바이스의 자극 반응형 가상객체 증강 방법
|
| 4 |
4
제 1 항에 있어서, 상기 타시점 증강현실 영상은, 상기 사용자의 시점이 아닌 상기 사용자를 바라보는 외부 시점에서의 증강현실 환경을 제공하는 영상인 햅틱 디바이스의 자극 반응형 가상객체 증강 방법
|
| 5 |
5
제 1 항에 있어서, 상기 촉각자극 정보는, 상기 햅틱 디바이스가 상기 사용자에 대하여 유발한 촉각자극의 위치 정보 및 강도 정보 중 적어도 하나를 포함하는 정보인 햅틱 디바이스의 자극 반응형 가상객체 증강 방법
|
| 6 |
6
제 5 항에 있어서, 상기 촉각자극 정보를 획득하는 단계는, 상기 햅틱 디바이스 상에 사전 프로그래밍된 로직에 기초하여, 상기 햅틱 디바이스로부터 발생하는 촉각자극 정보를 획득하는 단계를 포함하는 햅틱 디바이스의 자극 반응형 가상객체 증강 방법
|
| 7 |
7
제 5 항에 있어서, 상기 촉각자극 정보를 획득하는 단계는, 상기 외부 뷰 포인트에서의 타시점 증강현실 영상에 기초하여, 상기 햅틱 디바이스로부터 발생하는 촉각자극 정보를 획득하는 단계를 포함하는 햅틱 디바이스의 자극 반응형 가상객체 증강 방법
|
| 8 |
8
제 5 항에 있어서, 상기 촉각자극 정보를 획득하는 단계는, 상기 사용자에 대한 바이오 데이터를 측정하는 센서 시스템(Sensor Systems)에 기초하여 상기 햅틱 디바이스로부터 발생하는 촉각자극 정보를 획득하는 단계를 포함하는 햅틱 디바이스의 자극 반응형 가상객체 증강 방법
|
| 9 |
9
삭제
|
| 10 |
10
제 1 항에 있어서, 상기 햅틱모델에 대한 동기화 모델링을 수행하는 단계는, 실시간 센서 시스템을 기반으로 획득되는 상기 사용자에 대한 바이오 데이터에 기반하여 상기 동기화 모델링을 수행하는 단계를 포함하는 햅틱 디바이스의 자극 반응형 가상객체 증강 방법
|
| 11 |
11
제 10 항에 있어서, 상기 사용자에 대한 바이오 데이터에 기반하여 상기 동기화 모델링을 수행하는 단계는, 상기 바이오 데이터에 기초하여 상기 사용자에 대한 심리상태 정보를 획득하는 단계와, 상기 획득된 심리상태 정보에 매칭되는 형상으로 상기 햅틱모델을 모델링하는 단계를 포함하는 햅틱 디바이스의 자극 반응형 가상객체 증강 방법
|
| 12 |
12
제 1 항에 있어서, 상기 타시점 증강현실 영상에 증강하여 표시하는 단계는, 상기 촉각자극 정보에 기초하여 획득되는 상기 햅틱 디바이스에 의한 촉각자극이 발생한 위치를 기준으로, 상기 동기화된 햅틱모델을 상기 타시점 증강현실 영상 상에 매핑하여 증강하는 단계를 포함하는 햅틱 디바이스의 자극 반응형 가상객체 증강 방법
|
| 13 |
13
제 1 항에 있어서, 상기 햅틱모델을 획득하는 단계는, 기구축된 표준 햅틱모델을 기반으로 상기 햅틱모델을 획득하는 단계를 포함하고, 상기 표준 햅틱모델은, 소정의 카테고리 별로 표준화된 특징을 3차원 모델링 해놓은 영상정보인 햅틱 디바이스의 자극 반응형 가상객체 증강 방법
|
| 14 |
14
제 13 항에 있어서, 상기 표준 햅틱모델을 기반으로 상기 햅틱모델을 획득하는 단계는, 상기 표준 햅틱모델과, 상기 사용자의 입력으로부터 획득되는 상기 가상객체에 대한 이미지를 기반으로 딥페이크(Deepfake) 프로세스를 수행하여 상기 햅틱모델을 획득하는 단계를 포함하는 햅틱 디바이스의 자극 반응형 가상객체 증강 방법
|
| 15 |
15
제 13 항에 있어서, 상기 표준 햅틱모델을 기반으로 상기 햅틱모델을 획득하는 단계는, 상기 표준 햅틱모델에 대한 상기 사용자의 심리와 사용패턴에 대한 딥러닝을 수행한 결과에 기반하여 새로운 형태의 햅틱모델을 생성하는 단계를 포함하는 햅틱 디바이스의 자극 반응형 가상객체 증강 방법
|
| 16 |
16
제 13 항에 있어서, 상기 햅틱모델을 획득하는 단계는, 상기 표준 햅틱모델을 네트워크에 기반하여 획득하는 단계를 더 포함하는 햅틱 디바이스의 자극 반응형 가상객체 증강 방법
|
| 17 |
17
제 3 항에 있어서, 상기 캘리브레이션을 기반으로 상기 사용자, 상기 햅틱 디바이스 및 상기 햅틱모델의 위치 및 스케일 중 적어도 하나 이상을 실시간 동기화하는 단계를 더 포함하는 햅틱 디바이스의 자극 반응형 가상객체 증강 방법
|
| 18 |
18
제 3 항에 있어서, 상기 캘리브레이션을 수행하는 단계는, 상기 햅틱 디바이스에 장착된 위치센서 및 촉각센서의 정보와, 상기 타시점 증강현실 영상을 기반으로 상기 캘리브레이션을 수행하는 단계를 더 포함하는 햅틱 디바이스의 자극 반응형 가상객체 증강 방법
|
