| 1 |
1
도메인 전이학습을 통한 적외선 카메라 기반의 손 자세 추정 방법에 있어서, 손 움직임에 대한 깊이 이미지 및 적외선 이미지를 처리하는 단계;손 이미지 생성기(HIG)를 이용하여 상기 적외선 이미지에서 깊이 맵을 합성하며, 상기 깊이 맵 및 적외선 맵 각각에서 손 관절의 골격 위치를 추정하는 단계; 및상기 골격 위치와 손 깊이 이미지의 중심을 이용하여 3차원 손 자세를 산출하는 단계를 포함하는 손 자세 추정 방법
|
| 2 |
2
제1항에 있어서,상기 처리하는 단계는입력되는 상기 깊이 이미지에서 추정된 질량 중심(Center of Mass; CoM)을 중심으로 한 3차원 경계 박스에서 손 이미지를 분할하여 깊이 패치를 정규화하며, 상기 3차원 경계 박스를 이용하여 상기 적외선 이미지를 정규화하는, 손 자세 추정 방법
|
| 3 |
3
제1항에 있어서,상기 추정하는 단계는52차원(low dimension)의 공간에서 손의 중심으로부터 상대적인 손 관절의 골격 위치를 추정하며,상기 산출하는 단계는상기 추정하는 단계에서 추정했던 상기 52차원에 매핑된 값들을 63차원(63 dimension)으로 복원하여 카메라 좌표계로부터의 상기 손 깊이 이미지의 중심을 사용하는 것을 특징으로 하는, 손 자세 추정 방법
|
| 4 |
4
제3항에 있어서,상기 추정하는 단계는깊이 손 포즈 추정기(HPE fE1)를 이용하여 상기 깊이 맵에서 손 관절의 골격 위치를 추론하며, 적외선 손 포즈 추정기(HPE fE2)를 이용하여 상기 적외선 맵에서 손 관절의 골격 위치를 추정하는, 손 자세 추정 방법
|
| 5 |
5
제4항에 있어서,상기 산출하는 단계는상기 깊이 손 포즈 추정기(HPE fE1) 및 상기 적외선 손 포즈 추정기(HPE fE2)를 통해 추정된 상기 골격 위치와 상기 손 깊이 이미지의 중심을 이용하여 3차원의 손 자세를 산출하는, 손 자세 추정 방법
|
| 6 |
6
제1항에 있어서,적외선 카메라에서 쌍으로 구성된 상기 깊이 이미지와 상기 적외선 이미지를 포함한 데이터셋을 이용하여 손 이미지 생성기(Hand Image Generator; HIG), 손 이미지 판별기(Hand Image Discriminator; HID) 및 두 개의 손 포즈 추정기(Hand Pose Estimator; HPE)를 학습시키는 단계를 더 포함하는 손 자세 추정 방법
|
| 7 |
7
도메인 전이학습을 통한 적외선 카메라 기반의 손 자세 추정 시스템에 있어서, 손 움직임에 대한 깊이 이미지 및 적외선 이미지를 처리하는 이미지 처리부;손 이미지 생성기(HIG)를 이용하여 상기 적외선 이미지에서 깊이 맵을 합성하며, 상기 깊이 맵 및 적외선 맵 각각에서 손 관절의 골격 위치를 추정하는 골격 추정부; 및상기 골격 위치와 손 깊이 이미지의 중심을 이용하여 3차원 손 자세를 산출하는 자세 산출부를 포함하는 손 자세 추정 시스템
|
| 8 |
8
제7항에 있어서,상기 이미지 처리부는입력되는 상기 깊이 이미지에서 추정된 질량 중심(Center of Mass; CoM)을 중심으로 한 3차원 경계 박스에서 손 이미지를 분할하여 깊이 패치를 정규화하며, 상기 3차원 경계 박스를 이용하여 상기 적외선 이미지를 정규화하는, 손 자세 추정 시스템
|
| 9 |
9
제7항에 있어서,상기 골격 추정부는52차원(low dimension)의 공간에서 손의 중심으로부터 상대적인 손 관절의 골격 위치를 추정하며,상기 자세 산출부는상기 골격 추정부에서 추정했던 상기 52차원에 매핑된 값들을 63차원(63 dimension)으로 복원하여 카메라 좌표계로부터의 상기 손 깊이 이미지의 중심을 사용하는 것을 특징으로 하는, 손 자세 추정 시스템
|
| 10 |
10
제9항에 있어서,상기 골격 추정부는깊이 손 포즈 추정기(HPE fE1)를 이용하여 상기 깊이 맵에서 손 관절의 골격 위치를 추론하며, 적외선 손 포즈 추정기(HPE fE2)를 이용하여 상기 적외선 맵에서 손 관절의 골격 위치를 추정하는, 손 자세 추정 시스템
|
| 11 |
11
제10항에 있어서,상기 자세 산출부는상기 깊이 손 포즈 추정기(HPE fE1) 및 상기 적외선 손 포즈 추정기(HPE fE2)를 통해 추정된 상기 골격 위치와 상기 손 깊이 이미지의 중심을 이용하여 3차원의 손 자세를 산출하는, 손 자세 추정 시스템
|
| 12 |
12
제7항에 있어서,적외선 카메라에서 쌍으로 구성된 상기 깊이 이미지와 상기 적외선 이미지를 포함한 데이터셋을 이용하여 손 이미지 생성기(Hand Image Generator; HIG), 손 이미지 판별기(Hand Image Discriminator; HID) 및 두 개의 손 포즈 추정기(Hand Pose Estimator; HPE)를 학습시키는 학습부를 더 포함하는 손 자세 추정 시스템
|
