| 1 |
1
가상 훈련 방법으로서,훈련 장치가, 가상 훈련을 위한 데이터를 획득하며, 상기 획득된 데이터에 포함된 실제 객체의 깊이 영상과 컬러 영상 그리고 IR(infrared) 데이터를 토대로 상기 실제 객체의 3차원 위치를 획득하는 단계;상기 훈련 장치가, 상기 획득된 실제 객체의 3차원 위치와 가상 환경에 적용될 가상 객체의 위치를 매칭시키는 단계;상기 훈련 장치가, 상기 획득된 데이터에 포함된 사용자 영상에 대한 깊이 정보로부터 깊이를 추출하고, 추출된 깊이와 컬러 정보를 매칭시켜 사용자의 전체 모습에 대한 가상화를 수행하는 단계;상기 훈련 장치가, 상기 사용자에 대한 가상화에 따라 획득되는 사용자에 대한 깊이 데이터와 컬러 데이터를 가상 훈련 콘텐츠에 가시화하는 단계;상기 훈련 장치가, 상기 획득된 데이터에 포함된 관절 정보와 깊이 정보 그리고 사용자에 대한 깊이 데이터를 이용하여 상기 관절 정보에 대한 보정을 수행하고, 상기 보정된 관절 정보를 이용하여 사용자 자세를 추정하는 단계; 및상기 훈련 장치가, 상기 획득된 데이터에 포함된 깊이 정보와 IR 데이터를 이용하여 훈련 도구의 자세를 추정하는 단계를 포함하는 가상 훈련 방법
|
| 2 |
2
제1항에 있어서,상기 사용자 자세를 추정하는 단계는, 상기 사용자에 대한 가상화에 따라 획득되는 사용자에 대한 깊이 데이터로부터 선택되는 샘플 포인트들과 상기 관절 정보로부터 획득되는 관절 위치를 거리 확률 모델에 적용하여 획득되는 확률값들을 기반으로 최종 관절 위치들을 획득하고, 상기 획득된 최종 관절 위치들을 이용하여 사용자 자세를 추정하는, 가상 훈련 방법
|
| 3 |
3
제2항에 있어서,상기 사용자 자세를 추정하는 단계는, 상기 사용자에 대한 가상화에 따라 획득되는 사용자에 대한 깊이 데이터로부터 샘플 포인트들을 선택하고, 상기 샘플 포인트와 상기 관절 정보로부터 획득되는 관절 위치를 거리 확률 모델에 적용하여 확률값을 획득하는 단계; 상기 샘플 포인트별로 획득되는 확률값을 기반으로 설정 조건을 만족하는 샘플 포인트를 선택하는 단계; 및상기 설정 조건을 만족하는 샘플 포인트의 주변 포인트들의 평균값을 기반으로 최종 관절 위치를 결정하는 단계를 포함하는, 가상 훈련 방법
|
| 4 |
4
제3항에 있어서,상기 설정 조건을 만족하는 샘플 포인트를 선택하는 단계는, 이전 관절 위치와 샘플 포인트까지의 거리의 제곱을 기반으로 획득되는 확률값과 다른 관절 위치와 상기 샘플 포인트까지의 거리의 제곱을 기반으로 획득되는 확률값을 토대로, 상기 샘플 포인트에 대한 최종 확률값을 획득하는 단계; 및샘플 포인트별로 획득되는 최종 확률값들 중에서, 가장 큰 값의 최종 확률값을 가지는 샘플 포인트를 선택하는 단계를 포함하는, 가상 훈련 방법
|
| 5 |
5
제3항에 있어서,상기 최종 관절 위치를 결정하는 단계는, 상기 설정 조건을 만족하는 샘플 포인트의 주변 포인트들의 평균값을 구하고, 상기 평균값을 가지는 포인트를 관절의 초기 위치로 결정하며, 상기 초기 위치와 부모 관절 위치를 통해 계산되는 벡터를 노말 벡터로 변환하고, 상기 노말 벡터에 관절 길이를 곱한 값을 최종 관절 위치로 결정하는, 가상 훈련 방법
|
| 6 |
6
제2항에 있어서,상기 사용자 자세를 추정하는 단계는, 상기 관절 정보 중 손끝 관절과 발끝 관절의 경우, 상기 사용자에 대한 가상화에 따라 획득되는 사용자에 대한 깊이 데이터로부터 선택되는 샘플 포인트들 중에서 설정 영역에 있는 포인트들을 선택하고, 선택된 포인트들에 대해서 거리와 각도를 기반으로 하는 가중치들을 구하고, 상기 가중치들을 기반으로 상기 손끝 관절에 대한 최종 관절 위치 또는 상기 발끝 관절에 대한 최종 관절 위치를 결정하고, 상기 결정된 최종 관절 위치들을 이용하여 사용자 자세를 추정하는, 가상 훈련 방법
|
| 7 |
7
제6항에 있어서,상기 설정 영역은 팔꿈치-손목 벡터와 무릎-발목 벡터 방향에 있는 영역이며,상기 사용자 자세를 추정하는 단계는 상기 가중치들의 평균값을 상기 손끝 관절에 대한 최종 관절 위치 또는 상기 발끝 관절에 대한 최종 관절 위치로 결정하는, 가상 훈련 방법
|
| 8 |
8
제1항에 있어서,상기 훈련 도구의 자세를 추정하는 단계는, 상기 획득된 데이터에 포함된 깊이 정보와 훈련 도구에 부착된 IR 마커로부터 획득되는 IR 데이터의 중심점을 매칭시키고, 상기 매칭된 중심점을 기준으로 상기 깊이 정보로부터 추출되는 깊이 데이터를 가지는 픽셀들의 위치를 기반으로, 상기 IR 데이터에 의해 획득된 IR 마커의 위치를 결정하고, 상기 결정된 IR 마커의 위치를 토대로 상기 훈련 도구의 자세를 추정하는, 가상 훈련 방법
|
| 9 |
9
제8항에 있어서,상기 훈련 도구의 자세를 추정하는 단계는, 상기 획득된 데이터에 포함된 깊이 정보의 중심점과 훈련 도구에 부착된 IR 마커로부터 획득되는 IR 데이터의 중심점을 매칭시키는 단계;상기 매칭된 중심점을 기준으로 상기 깊이 정보로부터 위, 아래, 좌, 우 각각의 방향에 있는 깊이 데이터를 가지는 픽셀들을 추출하는 단계;상기 추출되는 픽셀들의 위치를 3차원 위치로 변환하는 단계; 상기 추출되는 픽셀들의 3차원 위치들의 평균값을 가지는 픽셀의 3차원 위치를 상기 IR 마커의 위치로 결정하는 단계; 및상기 결정된 IR 마커의 위치를 토대로 상기 훈련 도구의 자세를 추정하는 단계를 포함하는, 가상 훈련 방법
|
| 10 |
10
제9항에 있어서,상기 깊이 데이터를 가지는 픽셀들을 추출하는 단계는, 상기 깊이 정보로부터 위, 아래, 좌, 우 각각의 방향에 있는 깊이 데이터를 가지는 픽셀들을 탐색하여, 탐색되는 픽셀들의 수가 설정 개수인 경우에 탐색을 종료하는, 가상 훈련 방법
|
| 11 |
11
제1항에 있어서,상기 가상 훈련은 가상 스팀세차 훈련이고, 상기 실제 객체는 자동차이며, 상기 가상 객체는 가상의 자동차이고, 상기 훈련 도구는 걸레와 스팀 건을 포함하며, 상기 획득된 데이터는 상기 걸레에 삽입된 압력 센서로부터 획득되는 압력 데이터와 상기 스팀 건에 포함된 버튼 센서로부터 획득되는 버튼 작동 데이터를 포함하는, 가상 훈련 방법
|
| 12 |
12
제11항에 있어서,상기 훈련 도구의 자세를 추정하는 단계 이후에,상기 압력 데이터를 기반으로 상기 걸레에 가해지는 힘을 추정하고, 상기 버튼 작동 데이터를 기반으로 상기 스팀 건의 분사 시점을 확인하며, 상기 추정된 힘과 상기 분사 시점 그리고 상기 추정된 사용자 자세와 상기 추정된 훈련 도구의 자세를 기반으로 상기 가상 스팀세차 훈련에 대한 성과를 평가하는 단계를 더 포함하는 가상 훈련 방법
|
| 13 |
13
가상 훈련 장치로서,다종 센서로부터 가상 훈련을 위한 데이터를 입력받도록 구성된 인터페이스 장치; 및상기 인터페이스 장치를 통해 입력되는 상기 데이터를 기반으로 가상 훈련 콘텐츠를 제공하도록 구성된 프로세서를 포함하고,상기 프로세서는, 상기 인터페이스 장치를 통해 입력되는 데이터에 포함된 실제 객체의 깊이 영상과 컬러 영상 그리고 IR(infrared) 데이터를 토대로 상기 실제 객체의 3차원 위치를 획득하는 동작;상기 획득된 실제 객체의 3차원 위치와 가상 환경에 적용될 가상 객체의 위치를 매칭시키는 동작;상기 인터페이스 장치를 통해 입력되는 데이터에 포함된 사용자 영상에 대한 깊이 정보로부터 깊이를 추출하고, 추출된 깊이와 컬러 정보를 매칭시켜 사용자의 전체 모습에 대한 가상화를 수행하는 동작;상기 사용자에 대한 가상화에 따라 획득되는 사용자에 대한 깊이 데이터와 컬러 데이터를 가상 훈련 콘텐츠에 가시화하는 동작;상기 인터페이스 장치를 통해 입력되는 데이터에 포함된 관절 정보와 깊이 정보 그리고 사용자에 대한 깊이 데이터를 이용하여 상기 관절 정보에 대한 보정을 수행하고, 상기 보정된 관절 정보를 이용하여 사용자 자세를 추정하는 동작; 및상기 인터페이스 장치를 통해 입력되는 데이터에 포함된 깊이 정보와 IR 데이터를 이용하여 훈련 도구의 자세를 추정하는 동작을 수행하도록 구성되는, 가상 훈련 장치
|
| 14 |
14
제13항에 있어서,상기 프로세서는 상기 사용자 자세를 추정하는 동작 수행시, 상기 사용자에 대한 가상화에 따라 획득되는 사용자에 대한 깊이 데이터로부터 샘플 포인트들을 선택하고, 상기 샘플 포인트와 상기 관절 정보로부터 획득되는 관절 위치를 거리 확률 모델에 적용하여 확률값을 획득하는 동작; 상기 샘플 포인트별로 획득되는 확률값을 기반으로 설정 조건을 만족하는 샘플 포인트를 선택하는 동작; 및상기 설정 조건을 만족하는 샘플 포인트의 주변 포인트들의 평균값을 기반으로 최종 관절 위치를 결정하는 동작을 수행하도록 구성되는, 가상 훈련 장치
|
| 15 |
15
제14항에 있어서,상기 프로세서는 상기 설정 조건을 만족하는 샘플 포인트를 선택하는 동작 수행시, 이전 관절 위치와 샘플 포인트까지의 거리의 제곱을 기반으로 획득되는 확률값과 다른 관절 위치와 상기 샘플 포인트까지의 거리의 제곱을 기반으로 획득되는 확률값을 토대로, 상기 샘플 포인트에 대한 최종 확률값을 획득하는 동작; 및샘플 포인트별로 획득되는 최종 확률값들 중에서, 가장 큰 값의 최종 확률값을 가지는 샘플 포인트를 선택하는 동작을 수행하도록 구성되는, 가상 훈련 장치
|
| 16 |
16
제14항에 있어서,상기 프로세서는 상기 최종 관절 위치를 결정하는 동작 수행시, 상기 설정 조건을 만족하는 샘플 포인트의 주변 포인트들의 확률값들의 평균값을 구하고, 상기 평균값을 가지는 포인트를 관절의 초기 위치로 결정하며, 상기 초기 위치와 부모 관절 위치를 통해 계산되는 벡터를 노말 벡터로 변환하고, 상기 노말 벡터에 관절 길이를 곱한 값을 최종 관절 위치로 결정하는, 가상 훈련 장치
|
| 17 |
17
제14항에 있어서,상기 프로세서는 상기 사용자 자세를 추정하는 동작 수행시, 상기 관절 정보 중 손끝 관절과 발끝 관절의 경우, 상기 사용자에 대한 가상화에 따라 획득되는 사용자에 대한 깊이 데이터로부터 선택되는 샘플 포인트들 중에서 설정 영역에 있는 포인트들을 선택하고, 선택된 포인트들에 대해서 거리와 각도를 기반으로 하는 가중치들을 구하고, 상기 가중치들의 평균값을 상기 손끝 관절에 대한 최종 관절 위치 또는 상기 발끝 관절에 대한 최종 관절 위치를 결정하고, 상기 결정된 최종 관절 위치들을 이용하여 사용자 자세를 추정하도록 구성되는, 가상 훈련 장치
|
| 18 |
18
제13항에 있어서,상기 프로세서는 상기 훈련 도구의 자세를 추정하는 동작 수행시, 상기 획득된 데이터에 포함된 깊이 정보와 훈련 도구에 부착된 IR 마커로부터 획득되는 IR 데이터의 중심점을 매칭시키고, 상기 매칭된 중심점을 기준으로 상기 깊이 정보로부터 추출되는 깊이 데이터를 가지는 픽셀들의 위치를 기반으로, 상기 IR 데이터에 의해 획득된 IR 마커의 위치를 결정하고, 상기 결정된 IR 마커의 위치를 토대로 상기 훈련 도구의 자세를 추정하도록 구성되는, 가상 훈련 장치
|
| 19 |
19
제18항에 있어서,상기 프로세서는 상기 훈련 도구의 자세를 추정하는 동작 수행시, 상기 획득된 데이터에 포함된 깊이 정보의 중심점과 훈련 도구에 부착된 IR 마커로부터 획득되는 IR 데이터의 중심점을 매칭시키는 동작;상기 매칭된 중심점을 기준으로 상기 깊이 정보로부터 위, 아래, 좌, 우 각각의 방향에 있는 깊이 데이터를 가지는 픽셀들을 추출하는 동작;상기 추출되는 픽셀들의 위치를 3차원 위치로 변환하는 동작; 상기 추출되는 픽셀들의 3차원 위치들의 평균값을 가지는 픽셀의 3차원 위치를 상기 IR 마커의 위치로 결정하는 동작; 및상기 결정된 IR 마커의 위치를 토대로 상기 훈련 도구의 자세를 추정하는 동작을 수행하도록 구성되는, 가상 훈련 장치
|
| 20 |
20
제13항에 있어서,상기 가상 훈련은 가상 스팀세차 훈련이고, 상기 실제 객체는 자동차이며, 상기 가상 객체는 가상의 자동차이고, 상기 훈련 도구는 걸레와 스팀 건을 포함하며, 상기 획득된 데이터는 상기 걸레에 삽입된 압력 센서로부터 획득되는 압력 데이터와 상기 스팀 건에 포함된 버튼 센서로부터 획득되는 버튼 작동 데이터를 포함하며, 상기 프로세서는 상기 훈련 도구의 자세를 추정하는 동작 이후에, 추가적으로상기 압력 데이터를 기반으로 상기 걸레에 가해지는 힘을 추정하고, 상기 버튼 작동 데이터를 기반으로 상기 스팀 건의 분사 시점을 확인하며, 상기 추정된 힘과 상기 분사 시점 그리고 상기 추정된 사용자 자세와 상기 추정된 훈련 도구의 자세를 기반으로 상기 가상 스팀세차 훈련에 대한 성과를 평가하는 동작을 수행하도록 구성되는, 가상 훈련 장치
|
