| 1 |
1
딥러닝 기반의 4D 영화 이펙트 자동 생성장치에 있어서, 엠피이지 프로그램 스트림(MPEG Program Stream)에 포함된 비디오 정보와 오디오 정보를 분류하고, 분류된 오디오 정보 및 비디오 정보를 각각 입력받는 입력부, 상기 입력된 비디오 정보에 포함된 현재 프레임을 기 구축된 딥러닝 모델에 입력하여 주요 객체를 추출하고, 추출한 객체의 움직임을 추정하여 스케일링 이미지를 생성하고, 생성된 스케일링 이미지를 통해 모션 의차 효과를 도출하는 움직임 추정부, 상기 입력된 오디오 정보에 윈도잉 기술을 적용하여 일정한 간격으로 데이터를 생성한 다음, 생성된 데이터를 VGG기반의 네트워크에 입력하여 파형을 분류하는 오디오 분류부, 상기 움직임 추정 모듈을 통해 생성된 플로우 맵과 오디오 분류 모듈을 통해 분류된 오디오 신호를 이용하여 각각 모션 효과와 추가 효과를 획득할 수 있는 4D 영화 이펙트 자동 생성 모델을 생성하는 모델생성부, 그리고 4D 영화 이펙트 자동 생성 모델을 이용하여 4D 영화 이펙트를 자동으로 생성하는 효과 추출부를 포함하며;상기 모델생성부는, 앞뒤(mb), 왼쪽(l), 오른쪽 (r), 위아래(ud) 및 효과 없음(n)으로 구성되는 모션 호과와, 진동(v), 워터젯(wa), 윈드 젯(wi) 및 효과 없음(n)으로 구성되는 추가 효과를 각각 one-hot encoding에 입력하여 데이터셋을 생성하는 4D 영화 이펙트 자동 생성장치
|
| 2 |
2
제1항에 있어서, 상기 움직임 추정부는, CNN (Convolutional Neural Network)의 피라미드 형 구조에서 수정된 U 자형 구조에 스케일링 이미지를 입력하여 주요 객체를 추출하고, 연속적인 비디오 프레임을 이용하여 상기 추출된 객체에 대한 방향 패턴을 추정하는 4D 영화 이펙트 자동 생성장치
|
| 3 |
3
제2항에 있어서,상기 움직임 추정부는, 상기 추출된 객체의 움직임을 추정하기 위하여 이전 프레임 및 현재 프레임을 이용하여 플로우 맵을 생성하고, 생성된 플로우 맵에 스케일링 계수를 적용하여 생성되는 4D 영화 이펙트 자동 생성장치
|
| 4 |
4
제3항에 있어서,상기 스케일링 계수는, 0 보다 크고 1 보다 작은 값을 갖는 4D 영화 이펙트 자동 생성장치
|
| 5 |
5
제3항에 있어서,상기 움직임 추정부는, 색상을 사용하여 객체의 모션 벡터를 시각화한 플로우 맵을 출력하며, 상기 플로우 맵의 색상으로 객체의 모션 방향을 추출할 수 있는 4D 영화 이펙트 자동 생성장치
|
| 6 |
6
제1항에 있어서,상기 오디오 분류부는,입력 오디오를 일정한 간격으로 프레이밍 된 후 해당 섹션의 윈도우 크기를 결정하고 신호를 처리한 다음, 짧은 섹션으로 분할 된 오디오 신호의 경우 푸리에 변환(Short-Time Fourier Transform, STFT)을 적용하는 4D 영화 이펙트 자동 생성장치
|
| 7 |
7
제6항에 있어서,상기 오디오 분류부는,상기 푸리에 변환 다음에, 인간의 청각 신호 수신 모양과 유사한 비선형 성을 갖는 로그 진폭인 Mel-spectrogram을 이용하여 시각화된 오디오 신호를 분류하는 4D 영화 이펙트 자동 생성장치
|
| 8 |
8
삭제
|
| 9 |
9
제1항에 있어서,상기 모델생성부는, 효과가 한 프레임이상 지속될 경우, 하나의 효과가 여러 프레임에 걸쳐 발생된다는 것을 전제하에 데이터를 증감시키며, 프레임에 포함된 모션 효과와 추가효과를 하나의 쌍으로 형성하여 4D 영화 이펙트 자동 생성 모델을 학습시키는 4D 영화 이펙트 자동 생성장치
|
