| 1 |
1
피사체에 대한 고해상도 영상 데이터 및 저해상도 깊이 데이터를 획득하는 데이터 수집부;획득한 저해상도 깊이 데이터를 고해상도 영상 데이터와 동일한 영상 평면 상으로 워핑(warping)하고, 저해상도 깊이 데이터를 업샘플링(upsampling)하여 생성한 고해상도 깊이 데이터를 고해상도 영상 데이터와 픽셀 단위로 결합하여 고해상도 결합 데이터를 생성하는 데이터 결합부;상기 생성된 고해상도 결합 데이터를 픽셀 단위로 분할하여 피사체에 해당하는 픽셀과 배경에 해당하는 픽셀 구분하고, 상기 피사체에 해당하는 픽셀의 깊이 값을 이용해 피사체에 해당하는 모든 픽셀을 피사체 부위별로 그룹화하는 데이터 분할부;상기 피사체에 해당하는 픽셀의 현재 프레임과 다음 프레임 사이의 대응점을 추적하는 대응점 추적부; 및수신한 피사체에 해당하는 픽셀의 깊이 정보, 피사체의 부위 정보, 대응점 정보를 이용하여 피사체의 골격 모델의 계층 구조(hierarchical structure)와 운동 연쇄(kinematic chain)를 고려하여 골격 모델 상에 있는 각 관절의 3차원 위치 및 각도를 추적하는 관절 추적부를 포함하고,상기 데이터 결합부는, 획득한 상기 고해상도 영상 데이터 및 저해상도 깊이 데이터에 포함된 내부 파라미터와 외부 파라미터를 이용하여 피사체에 해당하는 깊이 데이터를 3차원 좌표 값으로 변환하여 3차원 좌표 값을 영상 평면에 투영하고, 상기 투영된 3차원 좌표 값을 통해 픽셀의 깊이 값을 산출하고, 산출된 깊이 값이 없는 피사체에 해당하는 픽셀은 워핑 또는 보간을 통해 모든 픽셀의 깊이 값을 산출하는 깊이 값 산출부;상기 산출된 픽셀의 깊이 값을 고해상도 영상 평면상에 있는 모든 픽셀에 대응시키고, 상기 고해상도 영상 데이터의 밝기 값과 상기 픽셀 간 각각의 거리를 고려하는 결합형 양방향 필터링을 이용하여 저해상도 깊이 데이터에서 고해상도 영상 데이터와 해상도 및 투영 관계가 동일한 고해상도 깊이 데이터로 업샘플링하는 업샘플링부; 및상기 업샘플링 된 고해상도 깊이 데이터를 고해상도 영상 데이터와 결합하여 고해상도 결합 데이터를 생성하는 고해상도 결합 데이터 생성부를 더 포함하는 것을 특징으로 하는 하이브리드 카메라 기반 동작 추적 장치
|
| 2 |
2
제 1 항에 있어서 상기 데이터 수집부는,하나의 고해상도 영상 정보수집장치와 하나의 저해상도의 깊이 정보수집장치를 이용하여 고해상도 영상 데이터 및 저해상도 깊이 데이터를 획득하는 것을 특징으로 하는 하이브리드 카메라 기반 동작 추적 장치
|
| 3 |
3
삭제
|
| 4 |
4
제 1 항에 있어서 상기 깊이 값 산출부는,상기 고해상도 영상 데이터의 내부 및 외부 파라미터를 이용하여 피사체에 해당하는 깊이 데이터를 3차원 좌표 값으로 변환하는 3차원 좌표 값 변환부;상기 저해상도 깊이 데이터의 내부 파라미터 또는 외부 파라미터를 이용하여 영상 센서의 3차원 투시 투영을 적용해 깊이 데이터 픽셀의 3차원 좌표 값을 영상 센서의 영상 평면에 투영하는 영상평면 투영부; 및투영된 3차원 좌표를 영상 센서의 3차원 투시 투영 관계로부터 해당 영상 평면 픽셀의 깊이 값으로 변환하고, 피사체에 해당하는 영상 픽셀 중 깊이 값이 없는 영상 평면 픽셀의 깊이 값은 워핑 또는 보간을 통해 픽셀 깊이 값 산출하는 픽셀 깊이 값 계산부를 더 포함하는 것을 특징으로 하는 하이브리드 카메라 기반 동작 추적 장치
|
| 5 |
5
제 4 항에 있어서 상기 픽셀 깊이 값 계산부는,투영된 3차원 좌표를 영상 센서의 3차원 투시 투영 관계로부터 해당 영상 평면 픽셀의 깊이 값으로 변환하는 변환부;피사체에 해당하는 영상 픽셀 중 깊이 값이 없는 영상 평면 픽셀의 깊이 값은 워핑을 통해 깊이 값을 계산하는 워핑부; 및상기 피사체에 해당하는 영상 픽셀 중 워핑되지 않은 픽셀을 대상으로 4개 이상의 주변 픽셀의 깊이 값을 수집하여 보간(interpolation)을 통해 상기 워핑되지 않은 픽셀의 깊이 값의 근사치를 산출함으로써 깊이 값을 계산하는 보간부를 더 포함하는 것을 특징으로 하는 하이브리드 카메라 기반 동작 추적 장치
|
| 6 |
6
제 1 항에 있어서 상기 데이터 분할부는,상기 고해상도 결합 데이터를 픽셀로 분할하여 상기 분할된 픽셀을 피사체에 해당하는 픽셀과 배경에 해당하는 픽셀로 구분하고, 피사체에 해당하는 픽셀의 깊이 값을 이용해 상기 피사체의 골격 모델 상에서 관절과 관절을 연결하는 뼈대(bone)까지의 최단거리를 산출하여, 상기 산출한 최단거리를 기준으로 상기 피사체에 해당하는 모든 픽셀을 피사체 부위별로 그룹화하는 것을 특징으로 하는 하이브리드 카메라 기반 동작 추적 장치
|
| 7 |
7
제 1 항에 있어서 상기 데이터 분할부는,피사체와 배경 픽셀의 영상 값의 차이를 수치적 혹은 확률적으로 분석하는 방법 또는 피사체와 배경 픽셀의 깊이 값 차이를 수치적 혹은 확률적으로 분석하는 방법 또는 영상 값과 깊이 값의 차이를 동시에 수치적 혹은 확률적으로 분석하는 방법을 통해 상기 피사체에 해당하는 픽셀과 배경에 해당하는 픽셀을 피사체 부위별로 그룹화하는 특징으로 하는 하이브리드 카메라 기반 동작 추적 장치
|
| 8 |
8
피사체에 대한 고해상도 영상 데이터 및 저해상도 깊이 데이터를 획득하는 단계;획득한 저해상도 깊이 데이터를 고해상도 영상 데이터와 동일한 영상 평면 상으로 워핑(warping)하고, 저해상도 깊이 데이터를 업샘플링(upsampling)하여 생성한 고해상도 깊이 데이터를 고해상도 영상 데이터와 픽셀 단위로 결합하여 고해상도 결합 데이터를 생성하는 단계;상기 생성된 고해상도 결합 데이터를 픽셀 단위로 분할하여 피사체에 해당하는 픽셀과 배경에 해당하는 픽셀 구분하고, 상기 피사체에 해당하는 픽셀의 깊이 값을 이용해 피사체에 해당하는 모든 픽셀을 피사체 부위별로 그룹화하는 단계;상기 피사체에 해당하는 픽셀의 현재 프레임과 다음 프레임 사이의 대응점을 추적하는 단계; 및수신한 피사체에 해당하는 픽셀의 깊이 정보, 피사체의 부위 정보, 대응점 정보를 이용하여 피사체의 골격 모델의 계층 구조(hierarchical structure)와 운동 연쇄(kinematic chain)를 고려하여 골격 모델 상에 있는 각 관절의 3차원 위치 및 각도를 추적하는 단계를 포함하고,상기 고해상도 결합 데이터를 생성하는 단계는, 획득한 상기 고해상도 영상 데이터 및 저해상도 깊이 데이터에 포함된 내부 파라미터와 외부 파라미터를 이용하여 피사체에 해당하는 깊이 데이터를 3차원 좌표 값으로 변환하여 3차원 좌표 값을 영상 평면에 투영하고, 상기 투영된 3차원 좌표 값을 통해 픽셀의 깊이 값을 산출하고, 산출된 깊이 값이 없는 피사체에 해당하는 픽셀은 워핑 또는 보간을 통해 모든 픽셀의 깊이 값을 산출하는 단계;상기 산출된 픽셀의 깊이 값을 고해상도 영상 평면상에 있는 모든 픽셀에 대응시키고, 상기 고해상도 영상 데이터의 밝기 값과 상기 픽셀 간 각각의 거리를 고려하는 결합형 양방향 필터링을 이용하여 저해상도 깊이 데이터에서 고해상도 영상 데이터와 해상도 및 투영 관계가 동일한 고해상도 깊이 데이터로 업샘플링하는 단계; 및상기 업샘플링 된 고해상도 깊이 데이터를 고해상도 영상 데이터와 결합하여 고해상도 결합 데이터를 생성하는 단계를 더 포함하는 것을 특징으로 하는 하이브리드 카메라 기반 동작 추적 방법
|
| 9 |
9
제 8 항에 있어서 상기 데이터를 획득하는 단계는,하나의 고해상도 영상 정보수집장치와 하나의 저해상도의 깊이 정보수집장치를 이용하여 고해상도 영상 데이터 및 저해상도 깊이 데이터를 획득하는 것을 특징으로 하는 하이브리드 카메라 기반 동작 추적 방법
|
| 10 |
10
삭제
|
| 11 |
11
제 8 항에 있어서 상기 픽셀의 깊이 값을 산출하는 단계는,상기 고해상도 영상 데이터의 내부 및 외부 파라미터를 이용하여 피사체에 해당하는 깊이 데이터를 3차원 좌표 값으로 변환하는 단계;상기 저해상도 깊이 데이터의 내부 파라미터 또는 외부 파라미터를 이용하여 영상 센서의 3차원 투시 투영을 적용해 깊이 데이터 픽셀의 3차원 좌표 값을 영상 센서의 영상 평면에 투영하는 단계; 및투영된 3차원 좌표를 영상 센서의 3차원 투시 투영 관계로부터 해당 영상 평면 픽셀의 깊이 값으로 변환하고, 피사체에 해당하는 영상 픽셀 중 깊이 값이 없는 영상 평면 픽셀의 깊이 값은 워핑 또는 보간을 통해 픽셀 깊이 값 산출하는 단계를 더 포함하는 것을 특징으로 하는 하이브리드 카메라 기반 동작 추적 방법
|
| 12 |
12
제 11 항에 있어서 상기 픽셀 깊이 값 산출하는 단계는,투영된 3차원 좌표를 영상 센서의 3차원 투시 투영 관계로부터 해당 영상 평면 픽셀의 깊이 값으로 변환하는 단계;피사체에 해당하는 영상 픽셀 중 깊이 값이 없는 영상 평면 픽셀의 깊이 값은 워핑을 통해 깊이 값을 계산하는 단계; 및상기 피사체에 해당하는 영상 픽셀 중 워핑되지 않은 픽셀을 대상으로 4개 이상의 주변 픽셀의 깊이 값을 수집하여 보간(interpolation)을 통해 상기 워핑되지 않은 픽셀의 깊이 값의 근사치를 산출함으로써 깊이 값을 계산하는 단계를 더 포함하는 것을 특징으로 하는 하이브리드 카메라 기반 동작 추적 방법
|
| 13 |
13
제 8 항에 있어서 상기 피사체 부위별로 그룹화하는 단계는,상기 고해상도 결합 데이터를 픽셀로 분할하여 상기 분할된 픽셀을 피사체에 해당하는 픽셀과 배경에 해당하는 픽셀로 구분하고, 피사체에 해당하는 픽셀의 깊이 값을 이용해 상기 피사체의 골격 모델 상에서 관절과 관절을 연결하는 뼈대(bone)까지의 최단거리를 산출하여, 상기 산출한 최단거리를 기준으로 상기 피사체에 해당하는 모든 픽셀을 피사체 부위별로 그룹화하는 것을 특징으로 하는 하이브리드 카메라 기반 동작 추적 방법
|
| 14 |
14
제 8 항에 있어서 상기 피사체 부위별로 그룹화하는 단계는,피사체와 배경 픽셀의 영상 값의 차이를 수치적 혹은 확률적으로 분석하는 방법 또는 피사체와 배경 픽셀의 깊이 값 차이를 수치적 혹은 확률적으로 분석하는 방법 또는 영상 값과 깊이 값의 차이를 동시에 수치적 혹은 확률적으로 분석하는 방법을 통해 상기 피사체에 해당하는 픽셀과 배경에 해당하는 픽셀을 피사체 부위별로 그룹화하는 특징으로 하는 하이브리드 카메라 기반 동작 추적 방법
|
