| 1 |
1
헤드셋 및 학습 장치를 포함하는 당구 학습 시스템에서 수행되는 증강 현실을 이용한 당구 학습 방법으로서,(a) 사용자가 착용한 헤드셋에 설치된 카메라에서 촬영된 촬영 영상 및 헤드셋에 설치된 센서 모듈에서 측정된 헤드셋 포즈 정보와 헤드셋 추적 정보를 학습 장치가 수신하는 단계;(b) 상기 학습 장치가 상기 촬영 영상, 상기 헤드셋 포즈 정보 및 상기 헤드셋 추적 정보를 이용하여 당구대의 절대 좌표 및 당구공의 절대 좌표를 생성하는 단계;(c) 상기 학습 장치가, 물리 시뮬레이션을 수행하여 수구가 적구와 충돌하여 득점할 수 있는 다양한 경로들을 계산하여 득점 예상 경로들을 탐색하고, 예상 경로 정보를 생성하는 단계; 및(d) 상기 학습 장치가, 예상 경로 정보에 대응되는 영상 데이터를 생성하여 상기 헤드셋으로 전송하고, 상기 헤드셋은 수신된 영상 데이터에 따라서, 투명 디스플레이를 통해서 관찰되는 실제 사물에 중첩하여 득정 예상 경로들을 사용자에게 그래픽으로 표시하는 단계를 포함하는 것을 특징으로 하는 증강 현실을 이용한 당구 학습 방법
|
| 2 |
2
제 1 항에 있어서, 상기 (b) 단계는(b1) 상기 학습 장치가 촬영 영상에 포함된 당구대의 꼭지점의 좌표를 생성하는 단계;(b2) 상기 생성된 꼭지점의 개수가 4개인 경우에, 상기 학습 장치가 카메라에 대한 당구대의 상대 좌표를 생성하고, 상기 헤드셋 추적 정보를 이용하여 상기 당구대의 상대 좌표를 상기 헤드셋이 구동된 지점을 원점으로 하는 절대 좌표로 변환하여 당구대의 절대 좌표를 생성하는 단계; 및 (b3) 상기 학습 장치가 템플릿 매칭을 통해서 촬영 영상에 포함된 당구공의 절대 좌표를 생성하는 단계;를 포함하는 것을 특징으로 하는 증강 현실을 이용한 당구 학습 방법
|
| 3 |
3
제 2 항에 있어서, 상기 (b1) 단계에서 상기 학습 장치는 촬영 영상을 HSV 색공간 이미지로 변환하여 명도 성분을 제거한 후, 색상 및 포화값이 일정한 화소들을 True로 설정하여 촬영 영상을 이진화하여 객체들의 경계선을 검출하며, 가장 바깥에 위치하는 external contour를 검출함으로써, 당구대의 경계선을 검출하고, 당구대의 꼭지점 좌표를 생성하는 것을 특징으로 하는 증강 현실을 이용한 당구 학습 방법
|
| 4 |
4
제 2 항에 있어서, 상기 (b2) 단계는상기 학습 장치가 당구대 3차원 공간 모델과 카메라 파라미터를 PNP(Perspective N-Point) 알고리즘에 적용하여, 촬영 영상에서 카메라에 대한 당구대의 상대 좌표를 생성하는 것을 특징으로 하는 증강 현실을 이용한 당구 학습 방법
|
| 5 |
5
제 2 항에 있어서, 상기 (b3) 단계는상기 학습 장치가, 당구대의 3차원 공간 모델, 헤드셋 추적 정보 및 카메라 파라미터를 이용하여, 당구공에 대한 가변 템플릿을 생성하고, 템플릿 매칭을 통해서 촬영 영상에 포함된 당구공의 상대 좌표를 생성하며, 당구공의 상대 좌표를 절대 좌표로 변환하여 당구공의 절대 좌표를 생성하는 것을 특징으로 하는 증강 현실을 이용한 당구 학습 방법
|
| 6 |
6
제 5 항에 있어서, 상기 (b3) 단계는촬영 영상의 경계선 이미지에서 당구공 중점 후보들을 생성하고, 카메라의 원점에서 출발하는 광선을 당구공 중점 후보들로 투사하였을 때 광선이 당구공의 중점 평면과 충돌하는 지점을 당구공의 3D 중점 후보들로 획득하는 단계;당구공의 3D 중점 후보들에서의 당구공을 렌더링한 후 이를 가변 템플릿으로 설정하는 단계;가변 템플릿과 촬영 영상의 각 점의 색상을 비교하여 도출된 오차의 합을 바탕으로 적합도를 계산한 뒤, 각 점에 대한 적합도 맵을 생성하고, 적합도가 가장 높은 픽셀을 촬영 영상에서의 당구공의 중점으로 설정하는 단계; 및카메라에서 촬영 영상에서의 당구공의 중점으로 광선을 조사하였을 때, 당구대 평면에 충돌하는 지점을 당구공의 3차원 좌표(당구공의 상대 좌표)로서 생성하고, 당구공의 상대 좌표를 절대 좌표로 변환하여 당구공의 절대 좌표를 생성하는 단계를 포함하는 것을 특징으로 하는 증강 현실을 이용한 당구 학습 방법
|
| 7 |
7
제 2 항에 있어서, 상기 (b) 단계는 (b4) 상기 생성된 꼭지점의 개수가 4개가 아닌 경우에, 당구대의 3차원 공간 모델, 헤드셋 추적 정보 및 카메라 파라미터를 이용하여, 촬영 영상에서 당구대에 설치된 마커를 인식하고, 인식된 마커들을 당구대 3차원 공간 모델의 마커들과 매칭시킴으로써 당구대의 상대 좌표 및 절대 좌표를 생성하고, 이전 프레임들에서 생성된 당구대의 상대 좌표 및 절대 좌표를 보정하는 단계를 더 포함하는 것을 특징으로 하는 증강 현실을 이용한 당구 학습 방법
|
| 8 |
8
제 7 항에 있어서, 상기 (b4) 단계는 촬영 영상의 경계선 이미지에서 마커가 존재할 수 있는 영역을 검출하고, 직전에 생성된 당구대의 절대 포즈(좌표)와 현재의 헤드셋 포즈 정보 및 추적 정보를 이용하여, 현재 당구대의 절대 포즈(좌표)를 추정하고, 이에 따라서 마커에 대한 가변 템플릿을 생성하고, 가변 템플릿 매칭으로 촬영 영상 중 마커가 존재할 수 있는 영역에서 마커 좌표를 탐색하며, 당구대의 3차원 공간 모델에서의 각 마커의 위치와 촬영 영상에서 인식된 마커의 위치를 매칭하여, 현재 당구대의 상대 포즈와 절대 포즈를 생성하고, 이전 프레임들에서 생성된 당구대의 상대 포즈 및 절대 포즈를 보정하는 것을 특징으로 하는 증강 현실을 이용한 당구 학습 방법
|
| 9 |
9
카메라, 투명 디스플레이 및 센서 모듈을 포함하는 헤드셋; 및 학습 장치를 포함하고,상기 헤드셋은, 상기 카메라를 통해서 사용자의 시선 방향을 촬영한 촬영 영상, 센서 모듈에서 측정한 헤드셋 포즈 정보 및 카메라의 위치 원점으로부터의 위치 이동 및 방향에 관한 헤드셋 추적 정보를 상기 학습 장치로 전송하고, 상기 학습 장치로부터 득점 예상 경로 정보에 대응되는 영상 데이터를 수신하여 상기 투명 디스플레이를 통해서 관찰되는 실제 사물에 중첩하여 득점 예상 경로들을 상기 투명 디스플레이를 통해서 사용자에게 그래픽으로 표시하며, 상기 학습 장치는, 상기 촬영 영상, 상기 헤드셋 포즈 정보 및 상기 헤드셋 추적 정보를 이용하여 당구대의 절대 좌표 및 당구공의 절대 좌표를 생성하고, 물리 시뮬레이션을 수행하여 수구가 적구와 충돌하여 득점할 수 있는 다양한 경로들을 계산하여 득점 예상 경로들을 탐색하고, 상기 득점 예상 경로 정보를 생성하며, 상기 득점 예상 경로 정보에 대응되는 상기 영상 데이터를 상기 헤드셋으로 전송하는 것을 특징으로 하는 증강 현실을 이용한 당구 학습 시스템
|
| 10 |
10
제 9 항에 있어서, 상기 학습 장치는촬영 영상에 포함된 당구대의 꼭지점의 좌표를 생성하고, 상기 생성된 꼭지점의 개수가 4개인 경우에, 카메라에 대한 당구대의 상대 좌표를 생성하고, 상기 헤드셋 추적 정보를 이용하여 상기 당구대의 상대 좌표를 상기 헤드셋이 구동된 지점을 원점으로 하는 절대 좌표로 변환하여 당구대의 절대 좌표를 생성하며, 템플릿 매칭을 통해서 촬영 영상에 포함된 당구공의 절대 좌표를 생성하는 것을 특징으로 하는 증강 현실을 이용한 당구 학습 시스템
|
| 11 |
11
제 10 항에 있어서, 상기 학습 장치는상기 학습 장치는 촬영 영상을 HSV 색공간 이미지로 변환하여 명도 성분을 제거한 후, 색상 및 포화값이 일정한 화소들을 True로 설정하여 촬영 영상을 이진화하여 객체들의 경계선을 검출하며, 가장 바깥에 위치하는 external contour를 검출함으로써, 당구대의 경계선을 검출하고, 당구대의 꼭지점 좌표를 생성하는 것을 특징으로 하는 증강 현실을 이용한 당구 학습 시스템
|
| 12 |
12
제 10 항에 있어서, 상기 학습 장치는당구대 3차원 공간 모델과 카메라 파라미터를 PNP(Perspective N-Point) 알고리즘에 적용하여, 촬영 영상에서 카메라에 대한 당구대의 상대 좌표를 생성하는 것을 특징으로 하는 증강 현실을 이용한 당구 학습 시스템
|
| 13 |
13
제 10 항에 있어서, 상기 학습 장치는당구대의 3차원 공간 모델, 헤드셋 추적 정보 및 카메라 파라미터를 이용하여, 당구공에 대한 가변 템플릿을 생성하고, 템플릿 매칭을 통해서 촬영 영상에 포함된 당구공의 상대 좌표를 생성하며, 당구공의 상대 좌표를 절대 좌표로 변환하여 당구공의 절대 좌표를 생성하는 것을 특징으로 하는 증강 현실을 이용한 당구 학습 시스템
|
| 14 |
14
제 10 항에 있어서, 상기 학습 장치는상기 생성된 꼭지점의 개수가 4개가 아닌 경우에, 당구대의 3차원 공간 모델, 헤드셋 추적 정보 및 카메라 파라미터를 이용하여, 촬영 영상에서 당구대에 설치된 마커를 인식하고, 인식된 마커들을 당구대 3차원 공간 모델의 마커들과 매칭시킴으로써 당구대의 상대 좌표 및 절대 좌표를 생성하고, 이전 프레임들에서 생성된 당구대의 상대 좌표 및 절대 좌표를 보정하는 것을 특징으로 하는 증강 현실을 이용한 당구 학습 시스템
|
