| 1 |
1
특정객체 또는 특정장소로 이루어진 촬영대상물의 상단방향을 중심으로 반구형상으로 설치된 복수개의 카메라를 통해 촬영대상물을 상,하,좌,우의 다시점 영상(Multiview)으로 촬영해서 촬영대상물을 중점을 둔 인워드(Inward)방식의 다시점 영상을 획득하는 반구형 다시점 영상획득모듈(10)과,반구형 다시점 영상획득모듈로부터 촬영된 다시점 영상을 객체와 배경으로 분할시킨 후, 분할시킨 객체를 3D 모델링시키고, 분할시킨 배경을 파노라마 배경으로 모델링시켜, 클라이언트가 보기 원하는 시점 및 클라이언트가 보기 원하는 객체에 관한 명령신호에 따라 3D모델링객체와 파노라마 배경을 하이브리드식으로 결합하여 1:1 맞춤형 자유시점영상을 생성시켜 클라이언트의 디스플레이부로 송출시키는 하이브리드형 자유시점영상제어모듈(20)로 이루어지고;,상기 반구형 다시점 영상획득모듈(10)은촬영객체가 포함이 되도록 촬영객체의 상단방향으로 층상구조의 반구형상으로 설치되어, 복수개의 카메라가 외압에 의해 흔들리지 않도록 지지하는 반구형 프레임(11)과, 촬영객체를 중심으로 반구형 프레임에 격자점을 이루며 복수개로 설치되어, 촬영객체를 다시점 영상(Multiview)으로 촬영하는 카메라부(12)와,카메라를 통해 촬영대상물을 다시점 영상(Multiview)으로 촬영해서 촬영대상물을 중점을 둔 인워드(Inward)방식의 다시점 영상으로 획득한 후, 하이브리드형 자유시점영상제어모듈로 전송시키는 다시점 영상획득제어부(13)로 구성되는 실감형 자유시점 영상 제공 장치에 있어서, 상기 하이브리드형 자유시점영상제어모듈(20)은반구형 다시점 영상획득모듈로부터 촬영된 다시점 영상을 입력받아 다시점 영상의 왜곡을 보정시키는 왜곡보정부(21)와,왜곡보정부를 통해 왜곡보정된 다시점영상에서 움직이는 객체와 배경을 분할시켜 객체만을 추출시키고, 각 뷰(View)당 추출된 객체들의 크기를 서로 동일한 크기로 설정시킨 후, 추출된 객체들의 3D정보를 추출해서 3D 객체를 생성시키는 3D 객체모델링제어부(22)와,왜곡보정부를 통해 왜곡보정된 다시점영상에서 움직이는 객체와 배경을 분할시켜 배경만을 추출시키고, 각 뷰(View)당 추출된 배경들의 특징점을 추출한 후, 영상 재정렬과 정합, 색상보정을 통해 파노라마 영상을 생성시키는 파노라마 영상모델링제어부(23)와,클라이언트가 보기 원하는 시점 및 클라이언트가 보기 원하는 객체에 관한 명령신호를 수신받는 명령신호수신부(24)와,3D 객체모델링제어부를 통해 생성된 3D 객체와, 파노라마 영상모델링제어부를 통해 생성된 파노라마 영상이 서로 매칭되어 정합이 되도록 영상 특징점을 검출시키는 영상특징점(Maker point) 검출부(25)와,파노라마 영상모델링제어부를 통해 생성된 파노라마 영상에다가 동적인 배경영역(Dynamic Region)을 믹싱시키는 동적배경영역믹싱부(26)와,파노라마 영상모델링제어부를 통해 생성된 파노라마 영상에다가 정적인 배경영역(Static Region)을 믹싱시키는 정적배경영역믹싱부(27)와,명령신호수신부를 통해 수신받은 클라이언트가 보기 원하는 시점 및 클라이언트가 보기 원하는 객체의 명령신호에 따라 3D모델링객체와 파노라마 배경을 하이브리드식으로 결합하여 1:1 맞춤형 자유시점영상을 생성시킨 후, 클라이언트의 디스플레이부로 송출시키는 하이브리드 자유시점영상제어부(28)와,하이브리드 자유시점영상제어부 일측에 연결되어, 클라이언트의 손과 몸의 제스처를 인식하여, 3D모델링객체와 파노라마 배경이 하이브리드식으로 결합된 1:1 맞춤형 자유시점영상의 위치이동 및 회전을 제어시키는 제스처모션제어부(29)와,하이브리드 자유시점영상제어부 일측에 연결되어, 영상특징점 검출부를 통해 3D객체와 정합이 된 파노라마 영상에다가 증강현실을 이용한 3D 증강현실객체를 합성하여 캐릭터객체를 생성시키는 캐릭터객체생성부(29a)가 포함되어 구성되는 것을 특징으로 하는 실감형 자유시점 영상 제공 장치
|
| 5 |
5
반구형 다시점 영상획득모듈(10)을 통해 촬영대상물을 상,하,좌,우의 다시점 영상(Multiview)으로 촬영해서 촬영대상물을 중점을 둔 인워드(Inward)방식의 다시점 영상을 획득하는 단계(S10)와,왜곡보정부(21)를 통해 반구형 다시점 영상획득모듈로부터 촬영된 다시점 영상을 입력받아 다시점 영상의 왜곡을 보정시키는 단계(S20)와,3D 객체모델링제어부(22)에서 왜곡보정부를 통해 왜곡보정된 다시점영상에서 움직이는 객체와 배경을 분할시켜 객체만을 추출시키고, 각 뷰(View)당 추출된 객체들의 크기를 서로 동일한 크기로 설정시킨 후, 추출된 객체들의 3D정보를 추출해서 3D 객체를 생성시키는 단계(S30)와,파노라마 영상모델링제어부(23)에서 왜곡보정부를 통해 왜곡보정된 다시점영상에서 움직이는 객체와 배경을 분할시켜 배경만을 추출시키고, 각 뷰(View)당 추출된 배경들의 특징점을 추출한 후, 영상 재정렬과 정합, 색상보정을 통해 파노라마 영상을 생성시키는 단계(S40)와,명령신호수신부(24)에서 클라이언트가 보기 원하는 시점 및 클라이언트가 보기 원하는 객체에 관한 명령신호를 수신받아, 하이브리드 자유시점영상제어부로 전달시키는 단계(S50)와,영상특징점(Maker point) 검출부(25)에서 3D 객체모델링제어부를 통해 생성된 3D 객체와, 파노라마 영상모델링제어부를 통해 생성된 파노라마 영상이 서로 매칭되어 정합이 되도록 영상 특징점을 검출시키는 단계(S60)와,동적배경영역믹싱부(26)에서 파노라마 영상모델링제어부를 통해 생성된 파노라마 영상에다가 동적인 배경영역(Dynamic Region)을 믹싱시키는 단계(S70)와,정적배경영역믹싱부(27)에서 파노라마 영상모델링제어부를 통해 생성된 파노라마 영상에다가 정적인 배경영역(Static Region)을 믹싱시키는 단계(S80)와,하이브리드 자유시점영상제어부(28)에서 명령신호수신부를 통해 수신받은 클라이언트가 보기 원하는 시점 및 클라이언트가 보기 원하는 객체의 명령신호에 따라 3D모델링객체와 파노라마 배경을 하이브리드식으로 결합하여 1:1 맞춤형 자유시점영상을 생성시킨 후, 클라이언트의 디스플레이부로 송출시키는 단계(S90)로 이루어지는 것을 특징으로 하는 실감형 자유시점 영상 제공 방법
|
