| 1 |
1
현실 공간과 가상 공간의 공통 지점을 원점으로 하는 기준 좌표계를 기반으로 상기 현실 공간과 상기 가상 공간을 정합하는 단계;적어도 하나의 센서를 기반으로 사용자의 위치, 자세 및 시선 중 적어도 하나를 추적하여 사용자 추적 정보를 생성하는 단계;상기 적어도 하나의 센서를 기반으로 상기 현실 공간에 상응하는 현실 객체의 위치, 형태 및 변화 정보 중 적어도 하나를 추적하여 객체 추적 정보를 생성하는 단계; 및상기 현실 공간과 정합된 가상 공간에 상기 사용자 추적 정보와 상기 객체 추적 정보를 반영하고, 착용형 디스플레이를 통해 상기 사용자에게 상기 가상 공간에 상응하는 가상 콘텐츠를 제공하는 단계를 포함하는 것을 특징으로 하는 실 공간 기반의 가상 콘텐츠 제공 방법
|
| 2 |
2
청구항 1에 있어서,상기 사용자와 상기 현실 객체는 상기 사용자 추적 정보와 상기 객체 추적 정보를 기반으로 상기 가상 공간에 포함된 다른 사용자 및 가상 객체 중 적어도 하나와 상호작용하는 것을 특징으로 하는 실 공간 기반의 가상 콘텐츠 제공 방법
|
| 3 |
3
청구항 1에 있어서,상기 가상 콘텐츠 제공 방법은RGBD 카메라, 광학식 카메라 및 자이로 센서 중 적어도 한 종류에 상응하는 복수개의 센서들에 대해 캘리브레이션(calibration)을 수행하는 단계; 및상기 복수개의 센서들을 기반으로 상기 현실 공간에 상응하는 실측 공간 정보를 획득하는 단계를 더 포함하는 것을 특징으로 하는 실 공간 기반의 가상 콘텐츠 제공 방법
|
| 4 |
4
청구항 1에 있어서,상기 정합하는 단계는상기 현실 공간과 상기 가상 공간이 동일한 스케일 값에 상응하도록 스케일링을 수행하는 단계를 포함하는 것을 특징으로 하는 실 공간 기반의 가상 콘텐츠 제공 방법
|
| 5 |
5
청구항 3에 있어서,상기 사용자 추적 정보를 생성하는 단계는상기 사용자가 착용 가능한 착용형 센서를 기반으로 상기 사용자의 관절 움직임을 센싱하여 상기 자세를 추적하는 단계;상기 광학식 카메라 및 상기 RGBD 카메라 중 적어도 하나를 이용하여 사용자 영상을 획득하고, 상기 광학식 카메라 및 상기 RGBD 카메라 중 적어도 하나의 좌표계를 기반으로 상기 사용자 영상에서 상기 위치를 추적하는 단계; 및상기 RGBD 카메라 기반의 1인칭 시점 추적 방식과 상기 광학식 카메라 기반의 3인칭 시점 추적 방식을 융합하여 상기 사용자의 시선을 추적하는 단계를 포함하는 것을 특징으로 하는 실 공간 기반의 가상 콘텐츠 제공 방법
|
| 6 |
6
청구항 5에 있어서,상기 사용자 추적 정보와 상기 객체 추적 정보는 상기 기준 좌표계에 상응하게 생성되는 것을 특징으로 하는 실 공간 기반의 가상 콘텐츠 제공 방법
|
| 7 |
7
청구항 3에 있어서,상기 캘리브레이션을 수행하는 단계는내부 파라미터 및 특징 픽셀 정보를 기반으로 상기 복수개의 센서들 중 어느 두 개의 센서들 간의 변환 행렬을 산출하는 단계; 및상기 변환 행렬을 기반으로 상기 복수개의 센서들 각각에 대한 좌표계를 상기 복수개의 센서들 중 어느 하나의 기준 센서의 좌표계로 변환하는 단계를 포함하는 것을 특징으로 하는 실 공간 기반의 가상 콘텐츠 제공 방법
|
| 8 |
8
청구항 1에 있어서,상기 제공하는 단계는상기 착용형 디스플레이 및 상기 현실 객체 중 적어도 하나를 기반으로 상기 가상 콘텐츠의 상황에 따른 시각, 청각, 후각 및 촉각 중 적어도 하나에 상응하는 효과를 상기 사용자에게 제공하는 것을 특징으로 하는 실 공간 기반의 가상 콘텐츠 제공 방법
|
| 9 |
9
청구항 1에 있어서,상기 제공하는 단계는상기 적어도 하나의 센서를 기반으로 사용자 얼굴의 특징점을 추출하여 얼굴 표정을 추정하는 단계; 및상기 가상 공간에 상기 사용자에 상응하는 가상 아바타를 생성하고, 상기 가상 아바타에 상기 얼굴 표정을 적용하는 단계를 포함하는 것을 특징으로 하는 실 공간 기반의 가상 콘텐츠 제공 방법
|
| 10 |
10
청구항 2에 있어서,상기 제공하는 단계는상기 객체 추적 정보를 이용하여 상기 가상 객체와 상기 현실 객체를 정합하는 단계를 포함하는 것을 특징으로 하는 실 공간 기반의 가상 콘텐츠 제공 방법
|
| 11 |
11
현실 공간과 가상 공간의 공통 지점을 원점으로 하는 기준 좌표계를 기반으로 상기 현실 공간과 상기 가상 공간을 정합하는 처리부;적어도 하나의 센서를 기반으로 사용자의 위치, 자세 및 시선 중 적어도 하나를 추적하여 사용자 추적 정보를 생성하는 제1 생성부;상기 적어도 하나의 센서를 기반으로 상기 현실 공간에 상응하는 현실 객체의 위치, 형태 및 변화 정보 중 적어도 하나를 추적하여 객체 추적 정보를 생성하는 제2 생성부; 및상기 현실 공간과 정합된 가상 공간에 상기 사용자 추적 정보와 상기 객체 추적 정보를 반영하고, 착용형 디스플레이를 통해 상기 사용자에게 상기 가상 공간에 상응하는 가상 콘텐츠를 제공하는 제어부를 포함하는 것을 특징으로 하는 실 공간 기반의 가상 콘텐츠 제공 장치
|
| 12 |
12
청구항 11에 있어서,상기 사용자와 상기 현실 객체는 상기 사용자 추적 정보와 상기 객체 추적 정보를 기반으로 상기 가상 공간에 포함된 다른 사용자 및 가상 객체 중 적어도 하나와 상호작용하는 것을 특징으로 하는 실 공간 기반의 가상 콘텐츠 제공 장치
|
| 13 |
13
청구항 11에 있어서,상기 가상 콘텐츠 제공 장치는RGBD 카메라, 광학식 카메라 및 자이로 센서 중 적어도 한 종류에 상응하는 복수개의 센서들에 대해 캘리브레이션(calibration)을 수행하고, 상기 복수개의 센서들을 기반으로 상기 현실 공간에 상응하는 실측 공간 정보를 획득하는 입력부를 더 포함하는 것을 특징으로 하는 실 공간 기반의 가상 콘텐츠 제공 장치
|
| 14 |
14
청구항 11에 있어서,상기 처리부는상기 현실 공간과 상기 가상 공간이 동일한 스케일 값에 상응하도록 스케일링을 수행하는 것을 특징으로 하는 실 공간 기반의 가상 콘텐츠 제공 장치
|
| 15 |
15
청구항 13에 있어서,상기 제1 생성부는상기 사용자가 착용 가능한 착용형 센서를 기반으로 상기 사용자의 관절 움직임을 센싱하여 상기 자세를 추적하고, 상기 광학식 카메라 및 상기 RGBD 카메라 중 적어도 하나를 이용하여 사용자 영상을 획득하고, 상기 광학식 카메라 및 상기 RGBD 카메라 중 적어도 하나의 좌표계를 기반으로 상기 사용자 영상에서 상기 위치를 추적하고, 상기 RGBD 카메라 기반의 1인칭 시점 추적 방식과 상기 광학식 카메라 기반의 3인칭 시점 추적 방식을 융합하여 상기 사용자의 시선을 추적하는 것을 특징으로 하는 실 공간 기반의 가상 콘텐츠 제공 장치
|
| 16 |
16
청구항 15에 있어서,상기 사용자 추적 정보와 상기 객체 추적 정보는 상기 기준 좌표계에 상응하게 생성되는 것을 특징으로 하는 실 공간 기반의 가상 콘텐츠 제공 장치
|
| 17 |
17
청구항 13에 있어서,상기 입력부는내부 파라미터 및 특징 픽셀 정보를 기반으로 상기 복수개의 센서들 중 어느 두 개의 센서들 간의 변환 행렬을 산출하고, 상기 변환 행렬을 기반으로 상기 복수개의 센서들 각각에 대한 좌표계를 상기 복수개의 센서들 중 어느 하나의 기준 센서의 좌표계로 변환하는 것을 특징으로 하는 실 공간 기반의 가상 콘텐츠 제공 장치
|
| 18 |
18
청구항 11에 있어서,상기 제어부는상기 착용형 디스플레이 및 상기 현실 객체 중 적어도 하나를 기반으로 상기 가상 콘텐츠의 상황에 따른 시각, 청각, 후각 및 촉각 중 적어도 하나에 상응하는 효과를 상기 사용자에게 제공하는 것을 특징으로 하는 실 공간 기반의 가상 콘텐츠 제공 장치
|
| 19 |
19
청구항 11에 있어서,상기 제어부는상기 적어도 하나의 센서를 기반으로 사용자 얼굴의 특징점을 추출하여 얼굴 표정을 추정하고, 상기 가상 공간에 상기 사용자에 상응하는 가상 아바타를 생성하고, 상기 가상 아바타에 상기 얼굴 표정을 적용하는 것을 특징으로 하는 실 공간 기반의 가상 콘텐츠 제공 장치
|
| 20 |
20
청구항 12에 있어서,상기 제어부는상기 객체 추적 정보를 이용하여 상기 가상 객체와 상기 현실 객체를 정합하는 것을 특징으로 하는 실 공간 기반의 가상 콘텐츠 제공 장치
|
