| 1 |
1
영상 프레임으로부터 적어도 하나의 특성을 추출 및 학습하는 레벨 인코더;상기 적어도 하나의 특성을 기반으로 학습하거나 또는 상기 적어도 하나의 특성에 대응하는 예측된 특성 데이터를 전달하는 특성 학습부; 및상기 예측된 특성 데이터를 기반으로 예측 영상 프레임을 획득 및 학습하는 레벨 디코더;를 포함하는 영상 프레임 예측 장치
|
| 2 |
2
제1항에 있어서,상기 레벨 인코더는, 제1 레벨 인코더 내지 제N 레벨 인코더를 포함하되, 상기 제1 레벨 인코더 내지 제N 레벨 인코더 각각은 상기 영상 프레임으로부터 서로 상이한 레벨의 특성을 각각 추출하고, 상기 N은 2 이상의 자연수를 포함하는 영상 프레임 예측 장치
|
| 3 |
3
제2항에 있어서,상기 특성 학습부는, 상기 제1 레벨 인코더 내지 상기 제N 레벨 인코더 각각에 대응하는 제1 특성 학습부 내지 제N 특성 학습부를 포함하고, 상기 제1 특성 학습부 내지 제N 특성 학습부 각각은 상기 서로 상이한 레벨의 특성 각각을 수신하고 상기 서로 상이한 레벨의 특성 각각에 대응하는 예측된 특성 데이터를 각각 획득하고 전달하는 영상 프레임 예측 장치
|
| 4 |
4
제3항에 있어서,상기 레벨 디코더는, 상기 제1 레벨 인코더 내지 상기 제N 레벨 인코더 각각에 대응하거나 또는 상기 제1 특성 학습부 내지 제N 특성 학습부 각각에 대응하는 제1 레벨 디코더 내지 제N 레벨 디코더를 포함하되, 상기 제1 레벨 디코더 내지 제N 레벨 디코더는 각각의 상기 예측된 특성 데이터를 각각 수신하고, 상기 예측된 특성 데이터를 이용하여 예측 영상 프레임을 생성하는 영상 프레임 예측 장치
|
| 5 |
5
제1항에 있어서,상기 레벨 인코더는 제1 내지 제(T-1) 영상 프레임을 각각 입력 받고, 상기 제1 내지 제(T-1) 영상 프레임 각자로부터 적어도 하나의 특성을 추출하되, 상기 T는 2 이상의 자연수를 포함하고,상기 특성 학습부는 상기 제1 내지 제(T-1) 영상 프레임 각자로부터 추출된 적어도 하나의 특성을 기반으로 훈련되는 영상 프레임 예측 장치
|
| 6 |
6
제1항에 있어서,상기 레벨 인코더는 제T 영상 프레임을 입력 받고, 상기 레벨 디코더는 상기 제T 영상 프레임에 대응하여 제(T+1) 예측 영상 프레임을 획득하는 영상 프레임 예측 장치
|
| 7 |
7
제6항에 있어서,상기 레벨 인코더는 상기 제(T+1) 예측 영상 프레임을 입력 받고,상기 레벨 디코더는 상기 제(T+1) 예측 영상 프레임에 대응하여 제(T+2) 예측 영상 프레임을 획득하는 영상 프레임 예측 장치
|
| 8 |
8
제1항에 있어서,상기 레벨 인코더 및 상기 레벨 디코더 중 적어도 하나는 콘볼루션 신경망(CNN, Convolutional Neural Network), 심층 신경망(DNN, Deep Neural Network), 순환 신경망(RNN, Recurrent Neural Network) 및 심층 신뢰 신경망(DBN, Deep Belief Network) 중 적어도 하나를 기반으로 하는 영상 프레임 예측 장치
|
| 9 |
9
제1항에 있어서,상기 특성 학습부는, 장단기 메모리(LSTM: Long short term memory)를 기반으로 하는 영상 프레임 예측 장치
|
| 10 |
10
영상 프레임으로부터 적어도 하나의 특성을 추출하는 단계;상기 적어도 하나의 특성을 기반으로 훈련되거나 상기 적어도 하나의 특성에 대응하는 예측된 특성 데이터를 획득하는 단계; 및상기 예측된 특성 데이터를 기반으로 예측 영상 프레임을 획득하는 단계;를 포함하는 영상 프레임 예측 방법
|
| 11 |
11
제10항에 있어서,상기 영상 프레임으로부터 적어도 하나의 특성을 추출하는 단계는,제1 레벨 인코더 내지 제N 레벨 인코더가 상기 영상 프레임으로부터 서로 상이한 레벨의 특성을 각각 추출하되, 상기 N은 2 이상의 자연수를 포함하는 단계;를 포함하는 영상 프레임 예측 방법
|
| 12 |
12
제11항에 있어서,상기 적어도 하나의 특성에 대응하는 예측된 특성 데이터를 획득하는 단계는,상기 제1 레벨 인코더 내지 상기 제N 레벨 인코더에 대응하는 제1 특성 학습부 내지 제N 특성 학습부가 각각의 상기 서로 상이한 레벨의 특성을 각각 수신하는 단계; 및상기 제1 특성 학습부 내지 제N 특성 학습부가 상기 서로 상이한 레벨의 특성 각각에 대응하는 예측된 특성 데이터를 각각 획득하는 단계 및 다음 프레임 처리과정으로 전달하는 구조;를 포함하는 영상 프레임 예측 방법
|
| 13 |
13
제12항에 있어서,상기 예측된 특성 데이터를 기반으로 예측 영상 프레임을 획득하는 단계는,제1 레벨 디코더 내지 제N 레벨 디코더가 각각의 상기 예측된 특성 데이터를 각각 수신하는 단계; 및상기 제1 레벨 디코더 내지 제N 레벨 디코더가 상기 예측된 특성 데이터를 이용하여 예측 영상 프레임을 생성하는 단계를 포함하되,상기 제1 레벨 디코더 내지 제N 레벨 디코더는 상기 제1 레벨 인코더 내지 상기 제N 레벨 인코더 각각에 대응하거나 또는 상기 제1 특성 학습부 내지 제N 특성 학습부 각각에 대응하는 영상 프레임 예측 방법
|
| 14 |
14
제10항에 있어서,상기 영상 프레임으로부터 적어도 하나의 특성을 추출하는 단계는,제1 내지 제(T-1) 영상 프레임을 각각 입력 받고, 상기 제1 내지 제(T-1) 영상 프레임 각자로부터 적어도 하나의 특성을 추출하되, 상기 T는 2 이상의 자연수를 포함하는 단계;를 포함하고,상기 적어도 하나의 특성을 기반으로 훈련되는 단계는, 상기 제1 내지 제(T-1) 영상 프레임 각자로부터 추출된 적어도 하나의 특성을 기반으로 훈련되는 단계;를 포함하는 영상 프레임 예측 방법
|
| 15 |
15
제10항에 있어서,상기 영상 프레임으로부터 적어도 하나의 특성을 추출하는 단계는, 제T 영상 프레임을 입력 받고, 상기 제T 영상 프레임으로부터 적어도 하나의 특성을 추출하는 단계;를 포함하고,상기 예측된 특성 데이터를 기반으로 예측 영상 프레임을 획득하는 단계는,상기 예측된 특성 데이터를 기반으로 상기 제T 영상 프레임에 대응하여 제(T+1) 예측 영상 프레임을 획득하는 단계;를 포함하는 영상 프레임 예측 방법
|
| 16 |
16
제15항에 있어서,상기 제(T+1) 예측 영상 프레임을 입력 받고, 상기 제(T+1) 예측 영상 프레임에 대응하여 제(T+2) 예측 영상 프레임을 획득하는 단계;를 더 포함하는 영상 프레임 예측 방법
|
