| 1 |
1
입력된 컬러 영상에서 특징점을 추출하고, 추출된 특징점에 기반하여 관심 대상이 되는 객체를 인식하고, 인식된 객체의 3차원 자세를 추정하는 객체인식 모듈; 및입력된 깊이 영상에서 3차원 메쉬(mesh) 정보를 추출하고, 추출된 3차원 메쉬 정보의 3차원 좌표와 상기 객체인식 모듈에서 인식된 객체의 3차원 좌표를 정합하여, 3차원 공간 상에서 인식된 객체의 3차원 위치정보를 추출하고, 인식된 객체와 증강된 3차원 객체 간의 상대적인 위치 관계 정보에 기초하여, 증강된 3차원 객체와 인식된 객체 간의 충돌 여부를 검출하는 인터랙션 모듈을 포함하는 영상정보를 이용한 증강현실 기반 손 인터랙션 장치
|
| 2 |
2
제1항에 있어서, 상기 객체인식 모듈은, 연속되는 입력 컬러 영상 프레임에서 인식된 객체의 이동경로를 추적하되, 인식된 객체의 이동경로에 대한 추적이 실패하는 경우, 입력된 컬러 영상에서 새로운 특징점을 추출하고, 새롭게 추출된 특징점을 기반으로 객체 인식, 3차원 자세 추정 및 객체 추적을 재귀적으로 수행하는 것인 영상정보를 이용한 증강현실 기반 손 인터랙션 장치
|
| 3 |
3
제1항에 있어서, 상기 인터랙션 모듈은,인식된 객체에 해당하는 메쉬의 3차원 위치 좌표, 상기 메쉬의 이동방향 벡터, 상기 메쉬의 속도를 계산하고, 상기 메쉬의 3차원 위치 좌표, 상기 메쉬의 이동방향 벡터, 상기 메쉬의 속도를 이용하여 인식된 객체와 증강된 3차원 객체 간의 충돌 방향 및 위치를 계산하는 것 인 영상정보를 이용한 증강현실 기반 손 인터랙션 장치
|
| 4 |
4
제3항에 있어서, 상기 인터랙션 모듈은,시간에 따른 충돌 방향 및 위치를 추적 관찰하되, 실시간으로 추적 관찰되는 인식된 객체의 3차원 좌표, 이동방향 벡터, 속도, 상기 충돌 방향 및 위치를 이용하여 증강된 3차원 객체의 운동 상태를 결정하는 것인 영상정보를 이용한 증강현실 기반 손 인터랙션 장치
|
| 5 |
5
제4항에 있어서, 상기 운동 상태는 상기 증강된 3차원 객체의 이동 운동, 회전 운동 또는 이동과 회전이 함께 이루어지는 복합 운동 중 어느 하나인 것인 영상정보를 이용한 증강현실 기반 손 인터랙션 장치
|
| 6 |
6
제4항에 있어서, 상기 인터랙션 모듈은, 결정된 운동 상태에 해당하는 상기 증강된 객체의 동작 또는 형태의 변형을 렌더링하여 사용자에게 표시하는 것인 영상정보를 이용한 증강현실 기반 손 인터랙션 장치
|
| 7 |
7
제1항에 있어서, 상기 인터랙션 모듈은,인식된 객체와 증강된 3차원 객체 간의 상대적인 위치 관계 정보에 기초하여 카메라를 기준으로 인식된 객체와 증강된 3차원 객체의 상하 위치 관계를 확인하고, 상위에 위치하는 객체를 먼저 렌더링한 후, 상위에 위치하는 객체에 가려지는 영역을 제외한 나머지 하위에 위치하는 객체의 영역을 렌더링하는 것인 영상정보를 이용한 증강현실 기반 손 인터랙션 장치
|
| 8 |
8
제1항에 있어서, 상기 객체인식 모듈은,주변환경에 대해 카메라가 촬영한 컬러영상 정보를 입력 받는 컬러영상 입력부와,입력된 컬러영상 정보에서 전역 지역 혹은 일정 지역에 해당하는 화소를 이용하여, 영상의 특징이 될 수 있는 특징점을 추출하는 특징점 추출부와,추출된 특징점을 학습된 영상에서 추출된 특징점과 정합하여 컬러영상에서 특정 객체를 인식하는 객체 인식부와,인식된 객체와 카메라 간의 상대적인 위치 관계를 나타내는 회전 행렬(Rotation Matrix) 또는 변환 행렬(Translation Matrix)을 계산하는 자세 추정부와,연속되는 입력 영상 프레임에서 인식된 객체를 추적하는 객체 추적부를 포함하는 것인 영상정보를 이용한 증강현실 기반 손 인터랙션 장치
|
| 9 |
9
제1항에 있어서, 상기 인터랙션 모듈은,주변환경에 대해 깊이 카메라가 촬영한 깊이영상 정보를 입력 받는 깊이영상 입력부와,입력된 깊이영상을 3D 렌더링 엔진에서 사용 가능한 메쉬(mesh) 정보로 변환하는 깊이영상 메쉬 생성부와,인식된 객체의 초기 자세 정보를 이용하여 RGB 카메라와 깊이 카메라 간의 상대적인 위치 관계를 교정하여, 인식된 객체를 모델링하는 메쉬의 3차원 좌표와 인식된 객체의 3차원 좌표는 정합하는 교정부와,3차원 공간 상에서 인식된 객체와 증강된 3차원 객체 간의 상대적인 위치 관계 정보에 기초하여, 증강된 3차원 객체와 인식된 객체 간의 충돌 여부를 검출하고, 인식된 객체의 3차원 좌표, 이동방향 벡터, 속도, 상기 충돌 방향 및 위치를 이용하여 증강된 3차원 객체의 운동 상태를 결정하는 조작 처리부와,결정된 운동 상태에 해당하는 상기 증강된 객체의 동작 또는 형태의 변형을 렌더링하여 사용자에게 표시하는 조작상태 출력부를 포함하는 것인 영상정보를 이용한 증강현실 기반 손 인터랙션 장치
|
| 10 |
10
제9항에 있어서, 상기 조작상태 출력부는,인식된 객체와 증강된 3차원 객체 간의 상대적인 위치 관계 정보에 기초하여 카메라를 기준으로 인식된 객체와 증강된 3차원 객체의 상하 위치 관계를 확인하고, 상위에 위치하는 객체를 먼저 렌더링한 후, 상위에 위치하는 객체에 가려지는 영역을 제외한 나머지 하위에 위치하는 객체의 영역을 렌더링하는 것인 영상정보를 이용한 증강현실 기반 손 인터랙션 장치
|
| 11 |
11
입력된 컬러 영상에서 특징점을 추출하고, 추출된 특징점에 기반하여 관심 대상이 되는 객체를 인식하고, 인식된 객체의 3차원 자세를 추정하는 단계;입력된 깊이 영상에서 3차원 메쉬(mesh) 정보를 추출하는 단계;추출된 3차원 메쉬 정보의 3차원 좌표와 상기 객체인식 모듈에서 인식된 객체의 3차원 좌표를 정합하는 단계;3차원 공간 상에서 인식된 객체의 3차원 위치정보를 추출하고, 인식된 객체와 증강된 3차원 객체 간의 상대적인 위치 관계 정보에 기초하여, 증강된 3차원 객체와 인식된 객체 간의 충돌 여부를 검출하는 단계; 및충돌이 검출되면, 증강된 3차원 객체의 운동 상태를 결정하고, 결정된 운동 상태에 해당하는 상기 증강된 객체의 동작 또는 형태의 변형을 렌더링하는 단계를 포함하는 영상정보를 이용한 증강현실 기반 손 인터랙션 방법
|
| 12 |
12
제11항에 있어서, 상기 인식된 객체의 3차원 자세를 추정하는 단계는, 연속되는 입력 컬러 영상 프레임에서 인식된 객체의 이동경로를 추적하는 단계를 더 포함하되, 인식된 객체의 이동경로에 대한 추적이 실패하는 경우, 입력된 컬러 영상에서 새로운 특징점을 추출하고, 새롭게 추출된 특징점을 기반으로 객체 인식, 3차원 자세 추정 및 객체 추적을 재귀적으로 수행하는 것인 영상정보를 이용한 증강현실 기반 손 인터랙션 방법
|
| 13 |
13
제11항에 있어서, 상기 인식된 객체의 3차원 자세를 추정하는 단계는,인식된 객체와 카메라 간의 상대적인 위치 관계를 나타내는 회전 행렬(Rotation Matrix) 또는 변환 행렬(Translation Matrix)을 계산하는 단계를 포함하는 것인 영상정보를 이용한 증강현실 기반 손 인터랙션 방법
|
| 14 |
14
제11항에 있어서, 상기 3차원 메쉬(mesh) 정보를 추출하는 단계는,3차원 다각형 메쉬에 대한 바운딩 볼륨을 추출하는 단계와,복수의 샘플링 라인들을 이용하여 바운딩 볼륨을 3차원 그리도 형태로 분할하는 단계와,3차원 그리드의 정점들 중 3차원 다각형 메쉬와 만나는 정점들을 유효 정점으로 추출하는 단계와,3차원 다각형 메쉬의 정점들을 이용하여 각 유효 정점에 대한 깊이 정보를 계산하고, 유효 정점의 깊이 정보를 이용하여 모델링하는 단계를 포함하는 것인 영상정보를 이용한 증강현실 기반 손 인터랙션 방법
|
| 15 |
15
제11항에 있어서, 상기 충돌 여부를 검출하는 단계는,인식된 객체에 해당하는 메쉬의 3차원 위치 좌표, 상기 메쉬의 이동방향 벡터, 상기 메쉬의 속도를 계산하는 단계와,상기 메쉬의 3차원 위치 좌표, 상기 메쉬의 이동방향 벡터, 상기 메쉬의 속도를 이용하여 인식된 객체와 증강된 3차원 객체 간의 충돌 방향 및 위치를 계산하는 단계를 포함하는 것인 영상정보를 이용한 증강현실 기반 손 인터랙션 방법
|
| 16 |
16
제15항에 있어서, 상기 충돌 여부를 검출하는 단계는, 시간에 따른 충돌 방향 및 위치를 추적 관찰하되, 실시간으로 추적 관찰되는 인식된 객체의 3차원 좌표, 이동방향 벡터, 속도, 상기 충돌 방향 및 위치를 이용하여 증강된 3차원 객체의 운동 상태를 결정하는 단계를 더 포함하는 것인 영상정보를 이용한 증강현실 기반 손 인터랙션 방법
|
| 17 |
17
제11항에 있어서, 상기 렌더링하는 단계는, 상기 증강된 3차원 객체의 이동 운동, 회전 운동 또는 이동과 회전이 함께 이루어지는 복합 운동 중 어느 하나를 렌더링하는 것인 영상정보를 이용한 증강현실 기반 손 인터랙션 방법
|
| 18 |
18
제11항에 있어서, 상기 렌더링하는 단계는,인식된 객체와 증강된 3차원 객체 간의 상대적인 위치 관계 정보에 기초하여 카메라를 기준으로 인식된 객체와 증강된 3차원 객체의 상하 위치 관계를 확인하는 단계와,상위에 위치하는 객체를 먼저 렌더링한 후, 상위에 위치하는 객체에 가려지는 영역을 제외한 나머지 하위에 위치하는 객체의 영역을 렌더링하는 단계를 포함하는 것인 영상정보를 이용한 증강현실 기반 손 인터랙션 방법
|
