| 1 |
1
360 영상의 소정 시간 간격 프레임마다 객체를 추출하는 단계;추출된 객체의 프레임에서의 구면 좌표를 산출하는 단계; 및 산출된 소정 시간 간격 프레임 별 객체의 구면 좌표를 메타데이터로 기록하는 단계를 포함하는, 360 영상의 메타데이터 생성 방법
|
| 2 |
2
제1 항에 있어서, 객체를 추출하는 단계는, 심층 학습 기반 객체 식별 알고리즘으로 검출된 객체 중, 그 검출 신뢰도가 소정 임계치 이상인 것을 선정하는, 360 영상의 메타데이터 생성 방법
|
| 3 |
3
제1 항에 있어서, 360 영상의 소정 시간 간격 프레임마다 사용자에 의해 지정된 뷰 포인트를 획득하는 단계;획득된 뷰 포인트의 프레임에서의 구면 좌표를 산출하는 단계; 및산출된 소정 시간 간격 프레임 별 뷰 포인트의 구면 좌표를 메타데이터로 기록하는 단계를 더 포함하는, 360 영상의 메타데이터 생성 방법
|
| 4 |
4
제1 항에 있어서, 사용자에 의해 지정된 뷰 포인트를 획득하는 단계는, 360 영상의 소유자 또는 360 영상의 시청자가 소유한 영상 재생 장치로부터 획득되는, 360 영상의 메타데이터 생성 방법
|
| 5 |
5
제4 항에 있어서, 사용자에 의해 지정된 뷰 포인트를 획득하는 단계는, 360 영상이 재생되는 영상 재생 장치의 디스플레이 화면의 중심 위치를 뷰 포인트로 획득하는, 360 영상의 메타데이터 생성 방법
|
| 6 |
6
제3 항에 있어서, 뷰 포인트의 구면 좌표는, 복수의 사용자들 각각에 상응하도록 소정 시간 간격 프레임 별로 복수 개이고, 복수 개의 뷰 포인트의 구면 좌표들로부터 프레임에서의 군집 좌표를 산출하는 단계; 산출된 소정 시간 간격 프레임 별 군집 좌표를 메타데이터로 기록하는 단계를 더 포함하는, 360 영상의 메타데이터 생성 방법
|
| 7 |
7
제6 항에 있어서, 군집 좌표를 산출하는 단계는, 복수의 뷰 포인트의 구면 좌표들을 거리를 기반으로 복수의 군집들로 분류하는 단계;군집별로 각각에 포함된 뷰 포인트의 구면 좌표들의 중심 좌표를 제1 군집 좌표로 산출하는 단계;산출된 제1 군집 좌표들 중 소정 거리 이내의 제1 군집 좌표들을 통합하는 단계; 및통합된 제1 군집 좌표들 간의 중심 좌표를 제2 군집 좌표로 산출하는 단계를 포함하는, 360 영상의 메타데이터 생성 방법
|
| 8 |
8
제1 항에 있어서, 소정 시간 간격 프레임 별 객체의 구면 좌표로 생성된 메타데이터를 기반으로 장면을 정의하는 단계;정의된 장면에 포함된 객체의 구면 좌표 평균으로 장면 단위 중심 좌표를 산출하는 단계; 및산출된 소정 시간 간격 프레임 별 장면 단위 중심 좌표를 메타데이터로 생성하는 단계를 포함하는, 360 영상의 메타데이터 생성 방법
|
| 9 |
9
제1 항에 있어서, 장면을 정의하는 단계는,미리 정의된 룰베이스 또는 심층 학습 기반의 장면 식별 모델을 이용하여 프레임별 장면 정보를 획득하는, 360 영상의 메타데이터 생성 방법
|
| 10 |
10
사용자로부터 입력된 질의문에 상응하는 검색 레벨을 선정하는 단계;선정된 검색 레벨에 상응하는 360 영상들 별 메타데이터를 기반으로 질의문에 대한 360 영상 검색을 수행하는 단계; 및검색된 360 영상에 대한 결과 정보를 제공하는 단계를 포함하되, 360 영상들 별 메타데이터는,각 360 영상의 소정 시간 간격 프레임 별 객체의 구면 좌표 및 장면 단위 중심 좌표를 포함하고, 검색 레벨은, 객체 레벨 및 장면 레벨을 포함하는, 메타데이터 기반 360 영상 검색 방법
|
| 11 |
11
제10 항에 있어서, 질의문에 대한 형태소 분석을 포함하는 전처리를 수행하는 단계를 더 포함하는, 메타데이터 기반 360 영상 검색 방법
|
| 12 |
12
제12 항에 있어서, 검색된 360 영상이 복수 개일 경우, 복수 개의 360 영상들에 대한 순위를 산출하는 단계를 더 포함하는, 메타데이터 기반 360 영상 검색 방법
|
| 13 |
13
제12 항에 있어서, 360 영상들 별 메타데이터는,소정 시간 간격 프레임 별 군집 좌표를 더 포함하되, 검색 레벨이 객체 레벨로 선정된 경우, 순위를 산출하는 단계는, 복수의 360 영상들 각각에서 질의문에 상응하는 객체의 출현 시간 및 객체의 구면 좌표와 군집 좌표간 거리 중 적어도 하나를 기반으로 적합도를 수치화하는 단계; 및 수치화된 적합도를 기반으로 복수 개의 360 영상들에 대한 순위를 산출하는 단계를 포함하는, 메타데이터 기반 360 영상 검색 방법
|
| 14 |
14
제12 항에 있어서, 360 영상들 별 메타데이터는,소정 시간 간격 프레임 별 군집 좌표를 더 포함하되, 검색 레벨이 장면 레벨로 선정된 경우, 순위를 산출하는 단계는, 복수의 360 영상들 각각에서 질의문에 상응하는 장면의 지속 시간 및 장면의 중심 좌표와 군집 좌표간 거리 중 적어도 하나를 기반으로 적합도를 수치화하는 단계; 및 수치화된 적합도를 기반으로 복수 개의 360 영상들에 대한 순위를 산출하는 단계를 포함하는, 메타데이터 기반 360 영상 검색 방법
|
| 15 |
15
제10 항에 있어서, 결과 정보를 제공하는 단계는, 360 영상의 식별자, 객체 또는 장면의 식별자 및 시작 시간을 결과 정보로 제공하는, 메타데이터 기반 360 영상 검색 방법
|
| 16 |
16
적어도 하나의 프로그램이 기록된 메모리; 사용자로부터의 입력 신호를 수신하는 사용자 인터페이스 입력부;영상 또는 음성을 출력하는 사용자 인터페이스 출력부; 유/무선 통신 네트워크에 연결되는 네트워크 인터페이스; 및프로그램을 실행하는 프로세서를 포함하며,프로그램은,사용자로부터 입력된 질의문에 상응하는 360 영상의 식별자 및 시작 시간을 포함하는 360 영상 검색 결과를 네트워크 인터페이스를 통해 획득하고, 식별자에 상응하는 360 영상을 네트워크 인터페이스를 통해 수신하여 사용자 인터페이스 출력부를 통해 시작 시간부터 재생시키는, 영상 재생 장치
|
| 17 |
17
제16 항에 있어서, 프로그램은, 네트워크 인터페이스를 통해 360 영상의 식별자에 상응하는 메타데이터를 획득하고, 360 영상을 메타데이터를 기반으로 프레임 별 중심을 이동시키면서 재생시키는, 영상 재생 장치
|
| 18 |
18
제16 항에 있어서, 프로그램은, 뷰 포인트 선택 메뉴를 디스플레이하고, 사용자로부터 뷰 포인트 선택 메뉴에서 선택된 항목에 상응하는 메타데이터를 추출하고, 360 영상을 추출된 메타데이터를 기반으로 중심이 이동하도록 재생시키되, 메타데이터는, 소정 시간 간격 프레임 각각에 대한 객체의 구면 좌표, 사용자에 의해 지정된 뷰 포인트의 구면 좌표 및 군집 좌표를 포함하고, 뷰 포인트 선택 메뉴의 항목은,적어도 하나의 객체, 적어도 하나의 사용자 정의 뷰 포인트 및 인기 뷰 포인트 중 적어도 하나를 포함하는, 영상 재생 장치
|
| 19 |
19
제16항에 있어서, 프로그램은, 뷰 이동 방식 선택 메뉴를 디스플레이하고, 사용자로부터 선택된 뷰 이동 방식에 따라 360 영상의 중심이 이동하도록 재생시키되, 뷰 이동 방식의 종류는, 중심 좌표의 이동 속도를 기반으로 하는, 영상 재생 장치
|
| 20 |
20
제16항에 있어서, 메타데이터는, 소정 시간 간격 프레임 각각에 대한 객체의 구면 좌표 및 군집 좌표를 포함하되, 프로그램은, 군집좌표를 중심으로 광고를 디스플레이하거나, 관심 객체와 연관된 광고를 디스플레이하는, 영상 재생 장치
|
