| 1 |
1
적어도 하나 이상의 비행체;상기 적어도 하나 이상의 비행체에 분리 가능하도록 설치된 스크린;상기 스크린에 영상을 투사하는 프로젝터;상기 스크린에 대한 깊이 영상을 획득하는 깊이 카메라; 및상기 깊이 영상을 이용하여 상기 스크린에 투사되는 투사 영상에 발생하는 왜곡을 실시간으로 보정하고, 상기 보정된 투사 영상을 상기 프로젝터에 제공하는 영상 보정 장치를 포함하고,상기 영상 보정 장치는상기 프로젝터를 통해 투사되는 투사 영상에 포함된 특정 지점의 좌표와 상기 깊이 카메라를 이용하여 획득한 상기 특정 지점의 3차원 좌표를 이용하여 깊이 카메라 좌표계의 3차원 위치 정보와 프로젝터 좌표계의 3차원 위치 정보 간 상관 관계를 나타내는 캘리브레이션 변환 계수를 산출하는 캘리브레이션부;상기 캘리브레이션 변환 계수를 이용하여 상기 깊이 카메라로부터 획득한 깊이 영상의 3차원 좌표를 정규화된 이미지 좌표로 변환하고, 상기 정규화된 이미지 좌표가 투사 영상 크기 범위에 포함되면 해당 좌표를 투사 예측 영역으로 설정하는 투사 영역 예측부;상기 투사 예측 영역을 이용하여 사용자의 위치를 기준으로 사용자 시점의 보정 영역을 예측하는 보정 영역 예측부; 및상기 프로젝터가 투사하는 투사 영상에서 상기 사용자 시점 보정 영역에 속하는 픽셀을 보정하는 영상 보정부를 포함하는 디스플레이 시스템
|
| 2 |
2
삭제
|
| 3 |
3
제1항에 있어서,상기 보정 영역 예측부는상기 투사 예측 영역의 외곽 픽셀을 검출하는 외곽 픽셀 검출부;상기 외곽 픽셀의 깊이 카메라 좌표계 3차원 좌표를 계산하고, 상기 캘리브레이션 변환 계수를 이용하여 도출한 깊이-프로젝터 좌표계 변환 행렬을 이용하여 상기 외곽 픽셀의 깊이 카메라 좌표계 3차원 좌표를 프로젝터 좌표계 3차원 좌표로 변환하는 제1 좌표계 변환부;프로젝터 좌표계의 3차원 위치 정보를 사용자 위치를 기준으로 하는 사용자 좌표계의 3차원 위치 정보로 변환하는 프로젝터-사용자 좌표계 변환 매트릭스를 이용하여 상기 외곽 픽셀의 프로젝터 좌표계 3차원 좌표를 사용자 좌표계 3차원 좌표로 변환하는 제2 좌표계 변환부; 및상기 외곽 픽셀의 사용자 좌표계 3차원 좌표를 사용자 위치에 따라 투사하여 2차원의 사용자 시점 보정 영역을 검출하는 보정 영역 검출부를 포함하는 디스플레이 시스템
|
| 4 |
4
제3항에 있어서,상기 영상 보정부는상기 투사 영상에 대응되는 희소 투사 깊이 영상에서 깊이값이 존재하지 않 는 픽셀의 깊이값을 계산하고 계산된 깊이값을 반영하여 보간 투사 깊이 영상을 생 성하는 보간 투사 깊이 영상 생성부;상기 프로젝터의 시야각(field of view)을 이용하여 보간 투사 깊이 영상의 프로젝터 좌표계 3차원 좌표를 산출하고, 상기 보간 투사 깊이 영상의 프로젝터 좌 표계 3차원 좌표를 사용자 좌표계 3차원 좌표로 변환하며, 상기 보간 투사 깊이 영 상의 사용자 좌표계 3차원 좌표가 상기 사용자 시점 보정 영역에 속하면 해당 픽셀 을 보정하는 보정부를 포함하는 디스플레이 시스템
|
| 5 |
5
제4항에 있어서,상기 보정부는상기 보간 투사 깊이 영상의 사용자 좌표계 3차원 좌표가 상기 사용자 시점 투사 보정 영역에 속하면 해당 픽셀을 보정함에 있어서,상기 보간 투사 깊이 영상의 (x, y) 위치에서의 비교 시야각이 상기 사용자 시점 투사 보정 영역의 시야각보다 작거나 같으면, 상기 (x, y) 위치를 보정 영역 으로 지정하고, 상기 보정 영역의 (x, y) 위치에 상기 투사 영상의 픽셀 (xc,yc)을 맵핑하는 것을 특징으로 하는 디스플레이 시스템
|
| 6 |
6
제1항에 있어서,상기 스크린은 상기 적어도 하나 이상의 비행체에 의해 공중에 뜰 수 있도록 가벼운 소재로 형성되는 디스플레이 시스템
|
| 7 |
7
제1항에 있어서,상기 적어도 하나 이상의 비행체의 동작을 제어할 수 있는 컨트롤러를 더 포함하는 디스플레이 시스템
|
| 8 |
8
제7항에 있어서,상기 컨트롤러는 상기 적어도 하나 이상의 비행체에 상기 스크린이 설치되면 상기 적어도 하나 이상의 비행체의 동작을 동시에 제어하는 디스플레이 시스템
|
| 9 |
9
각각 적어도 하나 이상의 비행체를 포함하는 제1 비행체 그룹 및 제2 비행체 그룹;상기 제1 비행체 그룹에 분리 가능하도록 설치된 스크린;상기 제2 비행체 그룹에 분리 가능하도록 설치되고, 상기 스크린에 영상을 투사하는 프로젝터;상기 제2 비행체 그룹에 분리 가능하도록 설치되고, 상기 스크린에 대한 깊이 영상을 획득하는 깊이 카메라; 및상기 깊이 영상을 이용하여 상기 스크린에 투사되는 투사 영상에 발생하는 왜곡을 실시간으로 보정하고, 상기 보정된 투사 영상을 상기 프로젝터에 제공하는 영상 보정 장치를 포함하고,상기 영상 보정 장치는상기 프로젝터를 통해 투사되는 투사 영상에 포함된 특정 지점의 좌표와 상기 깊이 카메라를 이용하여 획득한 상기 특정 지점의 3차원 좌표를 이용하여 깊이 카메라 좌표계의 3차원 위치 정보와 프로젝터 좌표계의 3차원 위치 정보 간 상관 관계를 나타내는 캘리브레이션 변환 계수를 산출하는 캘리브레이션부;상기 캘리브레이션 변환 계수를 이용하여 상기 깊이 카메라로부터 획득한 깊이 영상의 3차원 좌표를 정규화된 이미지 좌표로 변환하고, 상기 정규화된 이미지 좌표가 투사 영상 크기 범위에 포함되면 해당 좌표를 투사 예측 영역으로 설정하는 투사 영역 예측부;상기 투사 예측 영역을 이용하여 사용자의 위치를 기준으로 사용자 시점의 보정 영역을 예측하는 보정 영역 예측부; 및상기 프로젝터가 투사하는 투사 영상에서 상기 사용자 시점 보정 영역에 속하는 픽셀을 보정하는 영상 보정부를 포함하는 디스플레이 시스템
|
| 10 |
10
디스플레이 시스템에 의해 수행되는 디스플레이 방법으로서,적어도 하나 이상의 비행체를 제어하여 스크린이 비행체에 설치되도록 하는 단계;상기 스크린이 설치된 비행체를 제어하여 프로젝터에서 투사되는 영상이 상기 스크린을 벗어나지 않는 위치에 이동시키는 단계;상기 프로젝터가 상기 스크린에 영상을 투사하는 단계;깊이 카메라가 상기 스크린에 대한 깊이 영상을 획득하는 단계;영상 보정 장치가 상기 획득한 깊이 영상을 이용하여 상기 스크린에 투사되는 투사 영상에 발생하는 왜곡을 실시간으로 보정하는 단계; 및상기 영상 보정 장치가 보정된 영상을 상기 프로젝터에 전송하고, 상기 프로젝터가 상기 보정된 영상을 상기 스크린에 투사하는 단계를 포함하고,상기 보정하는 단계는상기 프로젝터를 통해 투사되는 이미지에 포함된 특정 지점의 이미지 좌표와 상기 깊이 카메라를 이용하여 획득한 상기 특정 지점의 3차원 좌표를 이용하여 깊이 카메라 좌표계의 3차원 위치 정보와 프로젝터 좌표계의 3차원 위치 정보 간 상관 관계를 나타내는 캘리브레이션 변환 계수를 산출하는 단계;상기 캘리브레이션 변환 계수를 이용하여 상기 깊이 카메라로부터 획득한 깊 이 영상의 3차원 좌표를 정규화된 이미지 좌표로 변환하는 단계;상기 정규화된 이미지 좌표가 이미지 크기 범위에 포함되면, 해당 좌표를 투 사 예측 영역으로 설정하는 단계;상기 투사 예측 영역의 외곽 픽셀을 검출하는 단계;상기 외곽 픽셀의 깊이 카메라 좌표계 3차원 좌표를 계산하는 단계;상기 캘리브레이션 변환 계수를 이용하여 도출한 깊이-프로젝터 좌표계 변환 행렬을 이용하여 상기 외곽 픽셀의 깊이 카메라 좌표계 3차원 좌표를 프로젝터 좌 표계 3차원 좌표로 변환하는 단계;프로젝터 좌표계의 3차원 위치 정보를 사용자 위치를 기준으로 하는 사용자 좌표계의 3차원 위치 정보로 변환하는 프로젝터-사용자 좌표계 변환 행렬을 이용하 여 상기 외곽 픽셀의 프로젝터 좌표계 3차원 좌표를 사용자 좌표계 3차원 좌표로 변환하는 단계;상기 외곽 픽셀의 사용자 좌표계 3차원 좌표를 사용자 위치에 따라 투사하여 2차원의 사용자 시점 보정 영역을 검출하는 단계; 및상기 프로젝터가 투사하는 투사 영상에서 상기 사용자 시점 보정 영역에 속 하는 픽셀을 보정하는 단계를 포함하는 디스플레이 방법
|
| 11 |
11
삭제
|
| 12 |
12
제10항에 있어서,상기 사용자 시점 보정 영역에 속하는 픽셀을 보정하는 단계는상기 투사 영상에 대응되는 희소 투사 깊이 영상에서 깊이값이 존재하지 않 는 픽셀의 깊이값을 계산하고, 계산된 깊이값을 반영하여 보간 투사 깊이 영상을 생성하는 단계;상기 프로젝터의 시야각(field of view)을 이용하여 보간 투사 깊이 영상의 프로젝터 좌표계 3차원 좌표를 산출하는 단계;상기 보간 투사 깊이 영상의 프로젝터 좌표계 3차원 좌표를 사용자 좌표계 3차원 좌표로 변환하는 단계; 및상기 보간 투사 깊이 영상의 사용자 좌표계 3차원 좌표가 상기 사용자 시점 보정 영역에 속하면 해당 픽셀을 보정하는 단계를 포함하는 디스플레이 방법
|
| 13 |
13
제12항에 있어서,상기 보간 투사 깊이 영상을 생성하는 단계는상기 희소 투사 깊이 영상의 제1 픽셀이 유효 픽셀인지 판단하는 a 단계;상기 제1 픽셀이 유효 픽셀이 아니고 상기 제1 픽셀에 대한 가우시안 마스크 적용 범위 내에 유효 픽셀이 존재하면, 상기 제1 픽셀에 기 설정된 가우시안 마스크를 적용하여 상기 제1 픽셀의 깊이값을 산출하는 b 단계;상기 제1 픽셀이 유효 픽셀이거나, 상기 제1 픽셀에 대한 가우시안 마스크 적용 범위 내에 유효 픽셀이 존재하지 않으면 상기 제1 픽셀에 상기 가우시안 마스 크를 적용하지 않는 c 단계; 및상기 희소 투사 깊이 영상의 픽셀 전부가 유효 픽셀이 될 때까지 상기 희소 투사 깊이 영상의 각 픽셀에 대해 상기 a 내지 c 단계를 반복 수행하는 단계를 포 함하며,상기 제1 픽셀에 가우시안 마스크를 적용하는 단계는상기 가우시안 마스크 적용 범위 내에 존재하는 모든 제1 유효 픽셀에 대하 여 상기 제1 유효 픽셀의 깊이값과 상기 제1 유효 픽셀에 대응되는 가우시안 마스 크의 가중치를 이용한 가중 평균을 산출하는 단계; 및상기 가중 평균을 상기 제1 픽셀의 깊이값으로 설정하는 단계를 포함하는 디스플레이 방법
|
| 14 |
14
제13항에 있어서,상기 보간 투사 깊이 영상의 사용자 좌표계 3차원 좌표가 상기 사용자 시점 투사 보정 영역에 속하면 해당 픽셀을 보정하는 단계는상기 보간 투사 깊이 영상의 (x, y) 위치에서의 비교 시야각이 상기 사용자 시점 투사 보정 영역의 시야각보다 작거나 같으면, 상기 (x, y) 위치를 보정 영역 으로 지정하는 단계; 및상기 보정 영역의 (x, y) 위치에 상기 투사 영상의 픽셀 (xc, yc)을 맵핑하는 단계를 포함하는 디스플레이 방법
|
