| 1 |
1
실감 미디어를 저작하는 장치로서, 영상에 이미 실감효과가 추가된 기존 실감 미디어를 이용하여 학습된 실감효과 분류기를 이용하여, 실감 미디어로 변환하고자 하는 영상 콘텐츠의 원본 영상의 실감효과 유형을 판별하는 실감효과 분류부;상기 실감효과 분류부의 실감효과 유형 판별 결과를 토대로 상기 원본 영상의 실감효과 구간을 검출하는 실감효과 구간 검출부; 및상기 검출된 실감효과 구간의 메타데이터를 생성하는 실감 미디어 생성부를 포함하는, 실감 미디어 저작 장치
|
| 2 |
2
제1항에 있어서,상기 실감효과 분류부는 상기 학습된 실감효과 분류기를 이용하여 상기 원본 영상이 임의 실감효과 유형에 해당되는 정도를 예측하는 예측값을 획득하는, 실감 미디어 저작 장치
|
| 3 |
3
제2항에 있어서,상기 실감효과 분류부는 상기 원본 영상에 대하여 각 실감효과 유형별로 예측된 예측값들 중에서, 가장 높은 예측값을 가지는 실감효과 유형을 상기 원본 영상의 실감효과 유형으로 판별하는, 실감 미디어 저작 장치
|
| 4 |
4
제1항 내지 제3항 중 어느 한 항에 있어서,상기 원본 영상을 복수의 영상 조각으로 분할하는 영상 분할부를 더 포함하고, 상기 실감효과 분류부는 각 영상 조각을 임의 실감효과 유형으로 분류하는, 실감 미디어 저작 장치
|
| 5 |
5
제4항에 있어서,상기 영상 분할부는, 상기 원본 영상을 영상 프레임간의 시각적 특징 정보의 유사도를 기반으로, 시각적으로 유사한 복수의 연속된 프레임으로 이루어진 샷으로 분할하고, 상기 영상 콘텐츠의 자막 정보를 토대로 대화 장면 사이에 위치하는 연속된 샷들로 이루어지는 비대화 장면을 획득하며, 상기 비대화 장면을 복수의 영상 조각으로 분할하는, 실감 미디어 저작 장치
|
| 6 |
6
제5항에 있어서,상기 영상 분할부는, 상기 샷의 시간 구간에 대응하는 자막 정보의 자막 재현 시간을 이용하여 두 개의 연속하는 샷에 포함되는 자막들의 재현 시간 간격이 미리 설정한 임계값 보다 짧을 경우, 상기 연속하는 샷을 연속된 대화 장면에 해당되는 샷으로 판별하고, 판별된 대화 장면 사이에 위치하는 연속된 샷들로 이루어지는 비대화 장면을 획득하는, 실감 미디어 저작 장치
|
| 7 |
7
제5항에 있어서,상기 영상 분할부는 상기 비대화 장면에 해당되는 복수의 샷을 슬라이딩 윈도우 방식으로 분할하여 상기 복수의 영상 조각을 획득하는, 실감 미디어 저작 장치
|
| 8 |
8
제4항에 있어서,상기 실감효과 구간 검출부는, 상기 각 영상 조각에 대한 실감효과 유형 분류 결과를 토대로, 동일한 실감효과 유형을 갖는 영상 조각들을 정합하여 해당 실감효과 유형의 최대 영상 구간을 검출하며, 상기 검출된 최대 영상 구간은 비대화 장면에 속하는 복수의 샷으로 이루어지는, 실감 미디어 저작 장치
|
| 9 |
9
제8항에 있어서,상기 실감효과 구간 검출부는, 실감효과 유형의 최소 분류 예측 수치값, 검출 구간의 최소 크기, 이종 실감효과 유형의 중첩 여부를 고려하여 상기 최대 영상 구간을 판별하는, 실감 미디어 저작 장치
|
| 10 |
10
제8항에 있어서,상기 검출된 실감효과 구간의 메타데이터는, 실감효과 유형, 실감효과 시작시간, 실감효과 종료시간을 포함하는, 실감 미디어 저작 장치
|
| 11 |
11
제1항에 있어서,영상에 이미 실감효과가 추가된 기존 실감 미디어를 이용하여 입력 영상을 실감효과 유형으로 분류해 주는 실감효과 분류기를 학습하여 상기 학습된 실감효과 분류기를 제공하는 실감 미디어 학습 처리부를 더 포함하는, 실감 미디어 저작 장치
|
| 12 |
12
제11항에 있어서,상기 실감 미디어 학습 처리부는, 기계학습 알고리즘을 토대로, 디지털 영상과 영상에 추가된 실감효과 정보인 실감효과 레이블로 구성된 훈련 데이터를 이용하여 실감효과 분류기를 학습시켜, 상기 학습된 실감효과 분류기를 획득하는 실감효과 분류기 학습부를 포함하는, 실감 미디어 저작 장치
|
| 13 |
13
제12항에 있어서,상기 훈련 데이터의 실감효과 레이블은 실감효과 유형, 실감효과 시작시간, 실감효과 종료시간을 포함하며, 실감효과 유형에 따라 실감효과 강도, 실감효과 방향, 실감효과 주기 중 적어도 하나를 더 포함하는, 실감 미디어 저작 장치
|
| 14 |
14
제13항에 있어서,상기 훈련 데이터의 상기 디지털 영상은 상기 실감효과 레이블의 실감효과 시작시간과 실감효과 종료시간에 맞춰 분할된 복수의 영상 조각으로 구성되는, 실감 미디어 저작 장치
|
| 15 |
15
실감 미디어 저작 장치가 실감 미디어를 저작하는 방법으로서, 실감 미디어로 변환하고자 하는 원본 영상을 실감효과 분류를 위한 복수의 영상 조각으로 분할하는 단계; 영상에 이미 실감효과가 추가된 기존 실감 미디어를 이용하여 학습된 실감효과 분류기를 이용하여, 상기 영상 조각별로 실감효과 유형을 판별하는 단계;상기 영상 조각별 실감효과 분류 결과를 토대로 실감효과 구간을 검출하는 단계; 및상기 검출된 실감효과 구간의 메타데이터를 생성하는 단계를 포함하는, 실감 미디어 저작 방법
|
| 16 |
16
제15항에 있어서,상기 분할하는 단계는, 상기 원본 영상을 영상 프레임간의 시각적 특징 정보의 유사도를 기반으로, 시각적으로 유사한 복수의 연속된 프레임으로 이루어진 샷으로 분할하는 단계; 상기 원본 영상의 자막 정보를 토대로 대화 장면 사이에 위치하는 연속된 샷들로 이루어지는 비대화 장면을 획득하는 단계; 및상기 비대화 장면을 복수의 영상 조각으로 분할하는 단계를 포함하는, 실감 미디어 저작 방법
|
| 17 |
17
제15항에 있어서,상기 실감효과 유형을 판별하는 단계;상기 학습된 실감효과 분류기를 이용하여 상기 영상 조각이 임의 실감효과 유형에 해당되는 정도를 예측하는 예측값을 획득하는 단계; 및상기 영상 조각에 대하여 각 실감효과 유형별로 예측된 예측값들 중에서, 가장 높은 예측값을 가지는 실감효과 유형을 상기 영상 조각의 실감효과 유형으로 판별하는 단계를 더 포함하는, 실감 미디어 저작 방법
|
| 18 |
18
제15항에 있어서,상기 실감효과 구간을 검출하는 단계는, 각 영상 조각에 대한 실감효과 유형 분류 결과를 토대로, 동일한 실감효과 유형을 갖는 영상 조각들을 정합하여 해당 실감효과 유형의 최대 영상 구간을 검출하는 단계를 포함하며, 상기 메타데이터를 생성하는 단계는, 상기 최대 영상 구간의 실감효과 유형, 실감효과 시작시간, 실감효과 종료시간을 포함하는 메타 데이터를 생성하는, 실감 미디어 저작 방법
|
| 19 |
19
제18항에 있어서,상기 최대 영상 구간을 검출하는 단계는, 상기 영상 조각을 토대로 검출되는 구간들 중에서, 설정된 검출 구간의 최소 크기 보다 짧은 구간, 실감효과 유형의 예측값이 최소 분류 예측 수치값보다 작은 구간, 그리고, 다른 실감효과 유형의 구간과 중첩되는 구간은, 구간 검출 결과에서 제외시키는, 실감 미디어 저작 방법
|
| 20 |
20
제15항에 있어서,상기 실감효과 구간을 검출하는 단계는, 복수의 연속하는 영상 조각들에 대한 실감효과 유형 분류 결과를 토대로, 실감효과의 시작시간과 종료시간을 결정하는 실감효과 구간을 검출하는 단계를 포함하며, 상기 메타데이터를 생성하는 단계는, 상기 실감효과 구간의 실감효과 유형, 실감효과 시작시간, 실감효과 종료시간을 포함하는 메타 데이터를 생성하는, 실감 미디어 저작 방법
|
