| 1 |
1
다수의 카메라를 포함하는 영상획득부로부터 360도 영역을 촬영한 다수의 영상, 디바이스 정보 및 캡쳐 정보를 획득하는 단계;상기 다수의 영상을 스티칭하여 하나의 360도 VR 영상을 생성하는 단계;상기 360도 VR 영상을 선택된 도법(projection) 기반의 360도 VR 영상으로 변환하는 단계;상기 선택된 도법 기반의 360도 VR 영상 내에서 관심 객체를 인식하여 객체 인식 정보를 획득하는 단계;센서부로부터 상기 관심 객체에 대응하는 실제 객체의 상태를 센싱하여 센싱정보를 획득하는 단계;상기 디바이스 정보, 상기 캡쳐 정보, 상기 객체 인식 정보 및 상기 센싱정보를 기반으로 메타데이터를 생성하는 단계; 및상기 선택된 도법 기반의 360도 VR 영상과 상기 메타데이터를 맵핑하여 혼합현실 콘텐츠를 생성하고, 상기 혼합현실 콘텐츠를 전자 장치에 제공하는 단계;를 포함하는 혼합현실 콘텐츠를 제공하는 방법
|
| 2 |
2
제1항에서, 상기 메타데이터를 생성하는 단계는,상기 디바이스 정보로부터 추출된 카메라의 제조사명, 상기 360도 영역을 촬영한 카메라의 대수, 카메라 리그(Rig) 정보 및 카메라의 일련번호를 포함하는 디바이스 식별자 테이블을 생성하는 단계;상기 캡쳐 정보로부터 추출된 상기 카메라의 GPS 정보, 영상의 방위 정보, 촬영 시간 및 영상의 파일명을 포함하는 캡쳐 식별자 테이블을 생성하는 단계;상기 객체 인식 정보로부터 추출된 상기 관심 객체의 객체명, 상기 선택된 도법의 형식, 상기 선택된 도법 기반의 360도 VR 영상 내에서 상기 관심 객체의 위치 및 크기를 포함하는 객체 식별자 테이블을 생성하는 단계;상기 센싱 정보로부터 추출된 실제 객체의 GPS 정보 및 상태 정보를 포함하는 센싱 정보 식별자 테이블을 생성하는 단계; 및상기 디바이스 식별자 테이블, 상기 캡쳐 식별자 테이블, 상기 객체 식별자 테이블 및 상기 센싱 정보 식별자 테이블을 포함하도록 구성된 상기 메타데이터를 생성하는 단계;를 포함하는 혼합현실 콘텐츠를 제공하는 방법
|
| 3 |
3
제2항에서, 상기 카메라 리그 정보는,상기 다수의 카메라의 배열 형태를 나타내는 정보임을 특징으로 하는 혼합현실 콘텐츠를 제공하는 방법
|
| 4 |
4
제2항에서, 상기 센싱 정보 식별자 테이블은 상기 실제 객체의 객체명을 더 포함하고,상기 실제 객체의 객체명은 상기 관심 객체의 객체명으로부터 인식됨을 특징으로 혼합현실 콘텐츠를 제공하는 방법
|
| 5 |
5
제2항에서, 상기 센싱 정보 식별자 테이블을 생성하는 단계는,상기 실제 객체의 GPS 정보, 상기 카메라의 GPS 정보 및 상기 영상의 방위 정보를 기반으로, 상기 실제 객체와 상기 관심 객체가 서로 동일한 객체인지 판단하는 단계;상기 실제 객체와 상기 관심 객체가 서로 동일한 객체인 경우, 상기 관심 객체의 객체명을 상기 실제 객체의 객체명으로 생성하는 단계;상기 실제 객체의 객체명을 포함하도록 상기 센싱 정보 식별자 테이블을 구성하는 단계를 포함함을 특징으로 하는 혼합현실 콘텐츠를 제공하는 방법
|
| 6 |
6
제1항에서, 상기 객체 인식 정보를 획득하는 단계는,상기 360도 VR 영상으로부터 추출된 특징벡터 기반의 영상 인식 방법 또는 심층 학습(deep learning) 기반의 영상 인식 방법을 이용하여 상기 관심 객체를 인식하는 것인 혼합현실 콘텐츠를 제공하는 방법
|
| 7 |
7
제1항에서, 상기 객체 인식 정보를 획득하는 단계는,데이터베이스에 저장된 다수의 객체 영상을 특정 도법에 따라 변형하는 단계;상기 변형된 다수의 객체 영상을 감독자 학습 기반으로 심층망 모델에 적용하여, 상기 심층망 모델의 파라미터를 학습하는 단계; 및상기 파라미터에 기초하여 상기 360도 VR 영상 내의 관심 객체를 인식하는 단계를 포함하는 것인 혼합현실 콘텐츠를 제공하는 방법
|
| 8 |
8
제1항에서, 상기 제공하는 단계 이후, 상기 전자 장치에서 상기 선택된 도법 기반의 360도 VR 영상에 상기 메타데이터에 대응하는 텍스트를 오버레이하는 단계를 더 포함하고,상기 선택된 도법 기반의 360도 VR 영상에 상기 텍스트를 오버레이하는 단계는 선택적으로 수행되는 것인 혼합현실 콘텐츠를 제공하는 방법
|
| 9 |
9
다수의 카메라를 포함하고, 상기 다수의 카메라로부터 360도 영역을 촬영한 다수의 영상, 상기 다수의 카메라의 디바이스 정보 및 상기 다수의 영상을 촬영하는 과정에서 생성되는 캡쳐 정보를 출력하는 영상 획득부;상기 다수의 영상을 스티칭하여 하나의 360도 VR 영상을 생성하는 스티칭부;상기 360도 VR 영상을 선택된 도법(projection) 기반의 360도 VR 영상으로 변환하는 영상 변환부;상기 선택된 도법 기반의 360도 VR 영상 내에서 관심 객체를 인식한 객체 인식 정보를 출력하는 객체 인식부;상기 관심 객체에 대응하는 실제 객체의 상태를 센싱하여 센싱정보를 출력하는 센서부; 및상기 디바이스 정보, 상기 캡쳐 정보, 상기 객체 인식 정보 및 상기 센싱정보를 기반으로 메타데이터를 생성하고, 상기 선택된 도법 기반의 360도 VR 영상과 상기 메타데이터를 맵핑하여 혼합현실 콘텐츠를 생성하여, 상기 혼합현실 콘텐츠를 디스플레이하는 전자 장치에 제공하는 혼합현실 관리서버;를 포함하는 혼합현실 콘텐츠를 제공하는 장치
|
| 10 |
10
제9항에서, 상기 혼합현실 관리서버는,상기 디바이스 정보로부터 추출된 카메라의 제조사명, 상기 360도 영역을 촬영한 카메라의 대수, 카메라 리그(Rig) 정보 및 카메라의 일련번호를 포함하는 디바이스 식별자 테이블;상기 캡쳐 정보로부터 추출된 상기 카메라의 GPS 정보, 영상의 방위 정보, 촬영 시간 및 영상의 파일명을 포함하는 캡쳐 식별자 테이블;상기 객체 인식 정보로부터 추출된 상기 관심 객체의 객체명, 상기 선택된 도법의 형식, 상기 선택된 도법 기반의 360도 VR 영상 내에서 상기 관심 객체의 위치 및 크기를 포함하는 객체 식별자 테이블; 및상기 센싱 정보로부터 추출된 실제 객체의 GPS 정보 및 상태 정보를 포함하는 센싱 정보 식별자 테이블;을 포함하도록 상기 메타데이터를 생성함을 특징으로 하는 혼합현실 콘텐츠를 제공하는 장치
|
| 11 |
11
제10항에서, 상기 센싱 정보 식별자 테이블은,상기 관심 객체의 객체명으로부터 인식된 상기 실제 객체의 객체명을 더 포함함을 특징으로 하는 혼합현실 콘텐츠를 제공하는 장치
|
| 12 |
12
제10항에서, 상기 혼합현실 관리서버는,상기 실제 객체의 GPS 정보, 상기 카메라의 GPS 정보 및 상기 영상의 방위 정보를 기반으로, 상기 실제 객체와 상기 관심 객체가 서로 동일한 객체인지 판단하여, 상기 실제 객체와 상기 관심 객체가 서로 동일한 객체인 경우, 상기 관심 객체의 객체명을 상기 실제 객체의 객체명으로 생성하고, 생성된 상기 실제 객체의 객체명을 포함하도록 상기 센싱 정보 식별자 테이블을 구성함을 특징으로 하는 혼합현실 콘텐츠를 제공하는 장치
|
| 13 |
13
제9항에서, 상기 객체 인식부는,상기 360도 VR 영상으로부터 추출된 특징벡터 기반의 영상 인식 방법 또는 심층 학습(deep learning) 기반의 영상 인식 방법을 이용하여 상기 관심 객체를 인식함을 특징으로 하는 혼합현실 콘텐츠를 제공하는 장치
|
| 14 |
14
제9항에서, 상기 객체 인식부는,데이터베이스에 저장된 다수의 객체 영상을 특정 도법에 따라 변형하고, 상기 변형된 다수의 객체 영상을 감독자 학습 기반으로 심층망 모델에 적용하여, 상기 심층망 모델의 파라미터를 학습하고, 상기 파라미터에 기초하여 상기 360도 VR 영상 내의 관심 객체를 인식하는 것인 혼합현실 콘텐츠를 제공하는 장치
|
