| 1 |
1
프로젝터를 통해 투사되는 이미지에 포함된 특정 지점의 이미지 좌표와 깊이 카메라를 이용하여 획득한 상기 특정 지점의 3차원 좌표를 이용하여 깊이 카메라 좌표계의 3차원 위치 정보와 프로젝터 좌표계의 3차원 위치 정보 간 상관 관계를 나타내는 캘리브레이션 변환 계수를 산출하는 단계;상기 캘리브레이션 변환 계수를 이용하여 상기 깊이 카메라로부터 획득한 깊이 영상의 3차원 좌표를 정규화된 이미지 좌표로 변환하는 단계;상기 정규화된 이미지 좌표가 이미지 크기 범위에 포함되면, 해당 좌표를 투사 예측 영역으로 설정하는 단계;상기 투사 예측 영역의 외곽 픽셀을 검출하는 단계;상기 외곽 픽셀의 깊이 카메라 좌표계 3차원 좌표를 계산하는 단계;상기 캘리브레이션 변환 계수를 이용하여 도출한 깊이-프로젝터 좌표계 변환 행렬을 이용하여 상기 외곽 픽셀의 깊이 카메라 좌표계 3차원 좌표를 프로젝터 좌표계 3차원 좌표로 변환하는 단계;프로젝터 좌표계의 3차원 위치 정보를 사용자 위치를 기준으로 하는 사용자 좌표계의 3차원 위치 정보로 변환하는 프로젝터-사용자 좌표계 변환 행렬을 이용하여 상기 외곽 픽셀의 프로젝터 좌표계 3차원 좌표를 사용자 좌표계 3차원 좌표로 변환하는 단계;상기 외곽 픽셀의 사용자 좌표계 3차원 좌표를 사용자 위치에 따라 투사하여 2차원의 사용자 시점 보정 영역을 검출하는 단계;상기 투사 영상에 대응되는 희소 투사 깊이 영상의 깊이값에 따라 생성된 보간 투사 깊이 영상 및 상기 사용자 시점 보정 영역을 이용하여 보정 영역을 지정한 후 상기 보정 영역의 위치에 상기 투사 영상의 픽셀을 맵핑하여 상기 사용자 시점 보정 영역에 속하는 픽셀을 보정하는 단계를 포함하는 실시간 프로젝터 영상 보정 방법
|
| 2 |
2
제1항에 있어서, 상기 사용자 시점 보정 영역에 속하는 픽셀을 보정하는 단계는상기 투사 영상에 대응되는 희소 투사 깊이 영상에서 깊이값이 존재하지 않는 픽셀의 깊이값을 계산하고, 계산된 깊이값을 반영하여 보간 투사 깊이 영상을 생성하는 단계;상기 프로젝터의 시야각(field of view)을 이용하여 보간 투사 깊이 영상의 프로젝터 좌표계 3차원 좌표를 산출하는 단계;상기 보간 투사 깊이 영상의 프로젝터 좌표계 3차원 좌표를 사용자 좌표계 3차원 좌표로 변환하는 단계; 상기 보간 투사 깊이 영상의 사용자 좌표계 3차원 좌표가 상기 사용자 시점 보정 영역에 속하면 해당 픽셀을 보정하는 단계를 포함하는 실시간 프로젝터 영상 보정 방법
|
| 3 |
3
제2항에 있어서,상기 보간 투사 깊이 영상을 생성하는 단계는상기 희소 투사 깊이 영상의 제1 픽셀이 유효 픽셀인지 판단하는 a 단계;상기 제1 픽셀이 유효 픽셀이 아니고 상기 제1 픽셀에 대한 가우시안 마스크 적용 범위 내에 유효 픽셀이 존재하면, 상기 제1 픽셀에 기 설정된 가우시안 마스크를 적용하여 상기 제1 픽셀의 깊이값을 산출하는 b 단계;상기 제1 픽셀이 유효 픽셀이거나, 상기 제1 픽셀에 대한 가우시안 마스크 적용 범위 내에 유효 픽셀이 존재하지 않으면 상기 제1 픽셀에 상기 가우시안 마스크를 적용하지 않는 c 단계;상기 희소 투사 깊이 영상의 픽셀 전부가 유효 픽셀이 될 때까지 상기 희소 투사 깊이 영상의 각 픽셀에 대해 상기 a 내지 c 단계를 반복 수행하는 단계를 포함하며,상기 제1 픽셀에 가우시안 마스크를 적용하는 단계는상기 가우시안 마스크 적용 범위 내에 존재하는 모든 제1 유효 픽셀에 대하여 상기 제1 유효 픽셀의 깊이값과 상기 제1 유효 픽셀에 대응되는 가우시안 마스크의 가중치를 이용한 가중 평균을 산출하는 단계;상기 가중 평균을 상기 제1 픽셀의 깊이값으로 설정하는 단계를 포함하는 실시간 프로젝터 영상 보정 방법
|
| 4 |
4
제2항에 있어서상기 보간 투사 깊이 영상의 사용자 좌표계 3차원 좌표가 상기 사용자 시점 보정 영역에 속하면 해당 픽셀을 보정하는 단계는상기 보간 투사 깊이 영상의 (x, y) 위치에서의 비교 시야각이 상기 사용자 시점 보정 영역의 시야각보다 작거나 같으면, 상기 (x, y) 위치를 보정 영역으로 지정하는 단계;상기 보정 영역의 (x, y) 위치에 상기 투사 영상의 픽셀 (xc, yc)을 맵핑하는 단계를 포함하는 실시간 프로젝터 영상 보정 방법
|
| 5 |
5
제4항에 있어서, 상기 투사 영상의 픽셀 (xc, yc)은 하기 식( = 투사 영상의 높이, = 보간 투사 깊이 영상의 (x, y) 위치에서의 x축 비교 시야각, 보간 투사 깊이 영상의 (x, y) 위치에서의 y축 비교 시야각, 사용자 시점 보정 영역의 x축 시야각, 사용자 시점 보정 영역의 y축 시야각)에 의해 산출되는 것을 특징으로 하는 실시간 프로젝터 영상 보정 방법
|
| 6 |
6
프로젝터를 통해 투사되는 투사 영상에 포함된 특정 지점의 좌표와 깊이 카메라를 이용하여 획득한 상기 특정 지점의 3차원 좌표를 이용하여 깊이 카메라 좌표계의 3차원 위치 정보와 프로젝터 좌표계의 3차원 위치 정보 간 상관 관계를 나타내는 캘리브레이션 변환 계수를 산출하는 캘리브레이션부;상기 캘리브레이션 변환 계수를 이용하여 상기 깊이 카메라로부터 획득한 깊이 영상의 3차원 좌표를 정규화된 이미지 좌표로 변환하고, 상기 정규화된 이미지 좌표가 투사 영상 크기 범위에 포함되면 해당 좌표를 투사 예측 영역으로 설정하는 투사 영역 예측부;상기 투사 예측 영역을 이용하여 사용자의 위치를 기준으로 사용자 시점의 보정 영역을 예측하는 보정 영역 예측부;상기 투사 영상에 대응되는 희소 투사 깊이 영상의 깊이값에 따라 생성된 보간 투사 깊이 영상 및 상기 사용자 시점 보정 영역을 이용하여 보정 영역을 지정한 후 상기 보정 영역의 위치에 상기 투사 영상의 픽셀을 맵핑하여 상기 사용자 시점 보정 영역에 속하는 픽셀을 보정하는 영상 보정부를 포함하며,상기 보정 영역 예측부는상기 투사 예측 영역의 외곽 픽셀을 검출하는 외곽 픽셀 검출부;상기 외곽 픽셀의 깊이 카메라 좌표계 3차원 좌표를 계산하고, 상기 캘리브레이션 변환 계수를 이용하여 도출한 깊이-프로젝터 좌표계 변환 행렬을 이용하여 상기 외곽 픽셀의 깊이 카메라 좌표계 3차원 좌표를 프로젝터 좌표계 3차원 좌표로 변환하는 제1 좌표계 변환부;프로젝터 좌표계의 3차원 위치 정보를 사용자 위치를 기준으로 하는 사용자 좌표계의 3차원 위치 정보로 변환하는 프로젝터-사용자 좌표계 변환 매트릭스를 이용하여 상기 외곽 픽셀의 프로젝터 좌표계 3차원 좌표를 사용자 좌표계 3차원 좌표로 변환하는 제2 좌표계 변환부;상기 외곽 픽셀의 사용자 좌표계 3차원 좌표를 사용자 위치에 따라 투사하여 2차원의 사용자 시점 보정 영역을 검출하는 보정 영역 검출부를 포함하는 실시간 프로젝터 영상 보정 장치
|
| 7 |
7
제6항에 있어서, 상기 영상 보정부는상기 투사 영상에 대응되는 희소 투사 깊이 영상에서 깊이값이 존재하지 않는 픽셀의 깊이값을 계산하고 계산된 깊이값을 반영하여 보간 투사 깊이 영상을 생성하는 보간 투사 깊이 영상 생성부;상기 프로젝터의 시야각(field of view)을 이용하여 보간 투사 깊이 영상의 프로젝터 좌표계 3차원 좌표를 산출하고, 상기 보간 투사 깊이 영상의 프로젝터 좌표계 3차원 좌표를 사용자 좌표계 3차원 좌표로 변환하며, 상기 보간 투사 깊이 영상의 사용자 좌표계 3차원 좌표가 상기 사용자 시점 보정 영역에 속하면 해당 픽셀을 보정하는 보정부를 포함하는 실시간 프로젝터 영상 보정 장치
|
| 8 |
8
제7항에 있어서,상기 영상 보정부는상기 보간 투사 깊이 영상의 사용자 좌표계 3차원 좌표가 상기 사용자 시점 투사 보정 영역에 속하면 해당 픽셀을 보정함에 있어서, 상기 보간 투사 깊이 영상의 (x, y) 위치에서의 비교 시야각이 상기 사용자 시점 투사 보정 영역의 시야각보다 작거나 같으면, 상기 (x, y) 위치를 보정 영역으로 지정하고, 상기 보정 영역의 (x, y) 위치에 상기 투사 영상의 픽셀 (xc,yc)을 맵핑하는 것을 특징으로 하는 실시간 프로젝터 영상 보정 장치
|
| 9 |
9
제8항에 있어서, 상기 투사 영상의 픽셀 (xc, yc)은 하기 식( = 투사 영상의 높이, = 보간 투사 깊이 영상의 (x, y) 위치에서의 x축 비교 시야각, 보간 투사 깊이 영상의 (x, y) 위치에서의 y축 비교 시야각, 사용자 시점 투사 보정 영역의 x축 시야각, 사용자 시점 투사 보정 영역의 y축 시야각)에 의해 산출되는 것을 특징으로 하는 실시간 프로젝터 영상 보정 장치
|
