| 1 |
1
동영상 프레임 내 적어도 하나 이상의 객체의 움직임을 예측하여 예측 동영상 프레임을 생성하는 동영상 예측 장치로서,상기 객체의 시간에 따른 움직임을 분석하여 상기 객체의 움직임의 유형을 판단하는 객체 움직임 분석부;상기 판단된 움직임의 유형에 따라 시간에 따른 움직임을 학습하고 객체 움직임을 예측하는 객체 움직임 예측부; 및기설정된 손실함수를 적용하여 상기 예측된 객체 움직임과 실제 객체 움직임 사이의 차이를 판단하는 손실함수 적용부를 포함하는, 동영상 예측 장치
|
| 2 |
2
제 1 항에 있어서,상기 객체 움직임 분석부는,시간에 따른 움직임의 통계적 확률분포가 일정한 통계적 정상성을 갖는 제 1 유형 또는 시간에 따른 움직임의 통계적 확률분포가 불규칙한 통계적 비정상성을 갖는 제 2 유형으로 상기 객체의 움직임의 유형을 판단하는, 동영상 예측 장치
|
| 3 |
3
제 2 항에 있어서,상기 객체 움직임 예측부는,상기 제 1 유형의 객체에 대해서는, 이전 시간의 움직임의 통계적 확률분포와 현재 시간의 통계적 확률분포에 기초하여 다음 시간의 확률분포를 예측함으로써 상기 제 1 유형의 객체의 움직임을 예측하고,상기 제 2 유형의 객체에 대해서는, 이전 시간에 다음 프레임을 예측한 값과 현재 시간에 다음 프레임을 예측한 값 간의 차분 값을 기초로 상기 제 2 유형의 객체의 움직임의 통계적 확률분포의 특징값을 산출하고, 상기 산출된 특징값을 학습하여 다음 시간의 통계적 확률분포를 예측함으로써 상기 제 2 유형의 객체의 움직임을 예측하는, 동영상 예측 장치
|
| 4 |
4
제 3 항에 있어서,상기 객체 움직임 분석부는 복수의 ST-LSTM(Spatio-Temporal LSTM) 셀들을 포함하는 단일의 ST-LSTM 계층으로 구성되며,상기 각각의 ST-LSTM 셀은 시간에 따른 동영상 프레임의 변화를 통계적 정상성과 통계적 비정상성으로 해석한 값을 나타내는 셀 상태 값과, 동영상에 대한 시공간적 정보를 분석한 값을 저장하는 이중 메모리 구조로 구성되는, 동영상 예측 장치
|
| 5 |
5
제 4 항에 있어서,상기 객체 움직임 예측부는,복수의 MIM(Memory In Memory) 블록들을 포함하는 복수의 MIM 블록 계층으로 구성되며,상기 각각의 MIM 블록은 ST-LSTM 셀로 구성되되, 상기 ST-LSTM 셀의 망각 게이트를 상기 제 1 유형의 객체의 움직임을 예측하기 위한 제 1 망각 게이트와 상기 제 2 유형의 객체의 움직임을 예측하기 위한 제 2 망각 게이트로 분리하여 구성하고, 상기 제 2 망각 게이트의 출력값이 상기 제 1 망각 게이트로 입력되도록 계단식 연산으로 구성하는, 동영상 예측 장치
|
| 6 |
6
제 1 항에 있어서,상기 손실함수 적용부는,예측된 동영상 프레임과 실제 동영상 프레임 간의 옵티컬 플로우(Optical Flow) 차이를 계산하고 이를 스칼라 형태의 손실로 변환한 옵티컬 플로우 손실과,MSE(Mean Square Error) 손실함수를 적용하여 계산한 MSE 손실을 가중치를 두고 합산하여 상기 예측된 객체 움직임과 실제 객체 움직임 사이의 차이를 판단하는, 동영상 예측 장치
|
| 7 |
7
동영상 프레임 내 적어도 하나 이상의 객체의 움직임을 예측하여 예측 동영상 프레임을 생성하는 동영상 예측 장치에서의 동영상 예측 방법으로서,객체 움직임 분석부에서 상기 객체의 시간에 따른 움직임을 분석하여 상기 객체의 움직임의 유형을 판단하는 단계;객체 움직임 예측부에서 상기 판단된 움직임의 유형에 따라 시간에 따른 움직임을 학습하고 객체 움직임을 예측하는 단계; 및손실함수 적용부에서 기설정된 손실함수를 적용하여 상기 예측된 객체 움직임과 실제 객체 움직임 사이의 차이를 판단하는 단계를 포함하는, 동영상 예측 방법
|
| 8 |
8
제 7 항에 있어서,상기 객체의 움직임의 유형은,시간에 따른 움직임의 통계적 확률분포가 일정한 통계적 정상성을 갖는 제 1 유형 또는 시간에 따른 움직임의 통계적 확률분포가 불규칙한 통계적 비정상성을 갖는 제 2 유형을 포함하는, 동영상 예측 방법
|
| 9 |
9
제 8 항에 있어서,상기 객체 움직임을 예측하는 단계는,상기 제 1 유형의 객체에 대해서는, 이전 시간의 움직임의 통계적 확률분포와 현재 시간의 통계적 확률분포에 기초하여 다음 시간의 확률분포를 예측함으로써 상기 제 1 유형의 객체의 움직임을 예측하고,상기 제 2 유형의 객체에 대해서는, 이전 시간에 다음 프레임을 예측한 값과 현재 시간에 다음 프레임을 예측한 값 간의 차분 값을 기초로 제 2 유형의 객체의 움직임의 통계적 확률분포의 특징값을 산출하고, 상기 산출된 특징값을 학습하여 다음 시간의 통계적 확률분포를 예측함으로써 상기 제 2 유형의 객체의 움직임을 예측하는 것인, 동영상 예측 방법
|
| 10 |
10
제 7 항에 있어서,상기 예측된 객체 움직임과 실제 객체 움직임 사이의 차이를 판단하는 단계는,예측된 동영상 프레임과 실제 동영상 프레임 간의 옵티컬 플로우(Optical Flow) 차이를 계산하고 이를 스칼라 형태의 손실로 변환한 옵티컬 플로우 손실과,MSE(Mean Square Error) 손실함수를 적용하여 계산한 MSE 손실을 가중치를 두고 합산하여 상기 예측된 객체 움직임과 실제 객체 움직임 사이의 차이를 판단하는, 동영상 예측 방법
|
| 11 |
11
제 7 항 내지 제 10 항 중 어느 한 항에 기재된, 동영상 예측 방법을 실행하도록 구성된, 컴퓨터로 판독가능한 기록매체에 저장된 프로그램
|
