| 1 |
1
현재 프레임과 이전 프레임을 이용하여 제1 움직임 벡터를 추정하고, 상기 현재 프레임 및 상기 이전 프레임 중에서 어느 하나에 연속하는 프레임을 더 이용하여 제2 움직임 벡터를 추정하는 추정기; 및상기 제1 움직임 벡터 및 상기 제2 움직임 벡터 중에서 어느 하나의 움직임 벡터를 이용하여 상기 현재 프레임과 상기 이전 프레임 간의 중간 프레임을 생성하는 생성기를 포함하고,상기 제1 움직임 벡터와 상기 제2 움직임 벡터는 프레임의 블록 단위 마다 추정되고,상기 생성기는 프레임 내 객체의 움직임이 선형(linear) 또는 비선형(nonlinear)인지 여부에 따라 상기 제1 움직임 벡터 및 상기 제2 움직임 벡터 중에서 어느 하나의 움직임 벡터를 선택하는 보간 장치
|
| 2 |
2
제1항에 있어서,상기 추정기는,상기 이전 프레임 및 상기 현재 프레임을 이용하여 상기 현재 프레임을 기준으로 하는 정방향 움직임 추정을 통해 제1 정방향 움직임 벡터를 추정하고,상기 현재 프레임 및 상기 이전 프레임을 이용하여 상기 이전 프레임을 기준으로 하는 역방향 움직임 추정을 통해 제1 역방향 움직임 벡터를 추정하며,상기 제1 정방향 움직임 벡터 및 상기 제1 역방향 움직임 벡터 중에서 어느 하나의 움직임 벡터를 이용하여 상기 제1 움직임 벡터를 추정하는보간 장치
|
| 3 |
3
제2항에 있어서,상기 추정기는,상기 제1 정방향 움직임 벡터 및 상기 제1 역방향 움직임 벡터의 SAD(Sum of absolute difference)값을 계산하고,상기 제1 정방향 움직임 벡터의 SAD(Sum of absolute difference)값 및 상기 제1 역방향 움직임 벡터의 SAD값 중에서 더 작은 SAD값을 가지는 움직임 벡터를 이용하여 상기 제1 움직임 벡터를 추정하는보간 장치
|
| 4 |
4
제3항에 있어서,상기 추정기는,상기 제1 정방향 움직임 벡터의 SAD값 및 상기 제1 역방향 움직임 벡터의 SAD값 중에서 더 작은 SAD값을 가지는 움직임 벡터를 이용하여 상기 현재 프레임과 상기 이전 프레임 간의 중간 프레임을 기준으로 하는 양방향 움직임 추정 방법을 통해 제1 움직임 벡터를 추정하는보간 장치
|
| 5 |
5
제1항에 있어서,상기 추정기는,상기 현재 프레임, 상기 이전 프레임 및 상기 이전 프레임의 이전 프레임을 이용하여 상기 이전 프레임을 기준으로 하는 정방향 움직임 추정을 통해 제2 정방향 움직임 벡터를 추정하고,상기 현재 프레임, 상기 이전 프레임 및 상기 현재 프레임의 이후 프레임을 이용하여 상기 이후 프레임을 기준으로 하는 역방향 움직임 추정을 통해 제2 역방향 움직임 벡터를 추정하며,상기 제2 정방향 움직임 벡터 및 상기 제2 역방향 움직임 벡터 중에서 어느 하나의 움직임 벡터를 선택하여 상기 제2 움직임 벡터를 추정하는보간 장치
|
| 6 |
6
제5항에 있어서,상기 추정기는,상기 제2 정방향 움직임 벡터 및 상기 제2 역방향 움직임 벡터의 SAD(Sum of absolute difference)값을 계산하고,상기 제2 정방향 움직임 벡터의 SAD(Sum of absolute difference)값 및 상기 제2 역방향 움직임 벡터의 SAD값 중에서 더 작은 SAD값을 가지는 움직임 벡터를 이용하여 상기 제2 움직임 벡터를 추정하는보간 장치
|
| 7 |
7
제1항에 있어서,상기 생성기는,상기 제1 움직임 벡터 및 상기 제2 움직임 벡터 중에서 어느 하나의 움직임 벡터를 프레임의 블록 단위 마다 선택하여 MVF(motion vector field)를 출력하는 선택기;상기 MVF에서 오류를 제거하여 수정된 MVF를 출력하는 필터; 및상기 수정된 MVF에 기초한 중간 프레임 및 상기 수정된 MVF를 이용하여 상기 현재 프레임과 상기 이전 프레임 간의 중간 프레임을 생성하는 수정기를 포함하는 보간 장치
|
| 8 |
8
제7항에 있어서,상기 선택기는,프레임 내 객체의 움직임이 비선형(nonlinear)일 경우, 상기 제1 움직임 벡터를 선택하고,프레임 내 객체의 움직임이 선형(linear)일 경우, 상기 제2 움직임 벡터를 선택하는보간 장치
|
| 9 |
9
제7항에 있어서,상기 수정기는,상기 수정된 MVF에 기초한 중간 프레임의 왜곡 영역을 검출하고, 상기 왜곡 영역에 대응하는 상기 수정된 MVF의 움직임 벡터를 수정하여 재수정된 MVF를 생성하고, 상기 재수정된 MVF를 이용하여 상기 현재 프레임과 상기 이전 프레임 간의 중간 프레임을 생성하는보간 장치
|
| 10 |
10
제7항에 있어서,상기 수정기는,CNN(convolutional neural network)을 통해 왜곡 영역을 검출하는보간 장치
|
| 11 |
11
현재 프레임과 이전 프레임을 이용하여 제1 움직임 벡터를 추정하는 단계;상기 현재 프레임 및 상기 이전 프레임 중에서 어느 하나에 연속하는 프레임을 더 이용하여 제2 움직임 벡터를 추정하는 단계; 및상기 제1 움직임 벡터 및 상기 제2 움직임 벡터 중에서 어느 하나의 움직임 벡터를 이용하여 상기 현재 프레임과 상기 이전 프레임 간의 중간 프레임을 생성하는 단계를 포함하고,상기 제1 움직임 벡터와 상기 제2 움직임 벡터는 프레임의 블록 단위 마다 추정되고,상기 생성하는 단계는,프레임 내 객체의 움직임이 선형(linear) 또는 비선형(nonlinear)인지 여부에 따라 상기 제1 움직임 벡터 및 상기 제2 움직임 벡터 중에서 어느 하나의 움직임 벡터를 선택하는 단계를 포함하는 보간 방법
|
| 12 |
12
제11항에 있어서,상기 제1 움직임 벡터를 추정하는 단계는,상기 이전 프레임 및 상기 현재 프레임을 이용하여 상기 현재 프레임을 기준으로 하는 정방향 움직임 추정을 통해 제1 정방향 움직임 벡터를 추정하는 단계;상기 현재 프레임 및 상기 이전 프레임을 이용하여 상기 이전 프레임을 기준으로 하는 역방향 움직임 추정을 통해 제1 역방향 움직임 벡터를 추정하는 단계; 및상기 제1 정방향 움직임 벡터 및 상기 제1 역방향 움직임 벡터 중에서 어느 하나의 움직임 벡터를 이용하여 상기 제1 움직임 벡터를 추정하는 단계를 포함하는 보간 방법
|
| 13 |
13
제12항에 있어서,상기 어느 하나의 움직임 벡터를 이용하여 상기 제1 움직임 벡터를 추정하는 단계는,상기 제1 정방향 움직임 벡터 및 상기 제1 역방향 움직임 벡터의 SAD(Sum of absolute difference)값을 계산하는 단계; 및상기 제1 정방향 움직임 벡터의 SAD(Sum of absolute difference)값 및 상기 제1 역방향 움직임 벡터의 SAD값 중에서 더 작은 SAD값을 가지는 움직임 벡터를 이용하여 상기 제1 움직임 벡터를 추정하는 단계를 포함하는 보간 방법
|
| 14 |
14
제13항에 있어서,상기 더 작은 SAD값을 가지는 움직임 벡터를 이용하여 상기 제1 움직임 벡터를 추정하는 단계는,상기 제1 정방향 움직임 벡터의 SAD값 및 상기 제1 역방향 움직임 벡터의 SAD값 중에서 더 작은 SAD값을 가지는 움직임 벡터를 이용하여 상기 현재 프레임과 상기 이전 프레임 간의 중간 프레임을 기준으로 하는 양방향 움직임 추정 방법을 통해 제1 움직임 벡터를 추정하는 단계를 포함하는 보간 방법
|
| 15 |
15
제11항에 있어서,상기 제2 움직임 벡터를 추정하는 단계는,상기 현재 프레임, 상기 이전 프레임 및 상기 이전 프레임의 이전 프레임을 이용하여 상기 이전 프레임을 기준으로 하는 정방향 움직임 추정을 통해 제2 정방향 움직임 벡터를 추정하는 단계;상기 현재 프레임, 상기 이전 프레임 및 상기 현재 프레임의 이후 프레임을 이용하여 상기 이후 프레임을 기준으로 하는 역방향 움직임 추정을 통해 제2 역방향 움직임 벡터를 추정하는 단계; 및상기 제2 정방향 움직임 벡터 및 상기 제2 역방향 움직임 벡터 중에서 어느 하나의 움직임 벡터를 선택하여 상기 제2 움직임 벡터를 추정하는 단계를 포함하는 보간 방법
|
| 16 |
16
제15항에 있어서,상기 어느 하나의 움직임 벡터를 선택하여 상기 제2 움직임 벡터를 추정하는 단계는,상기 제2 정방향 움직임 벡터 및 상기 제2 역방향 움직임 벡터의 SAD(Sum of absolute difference)값을 계산하는 단계; 및상기 제2 정방향 움직임 벡터의 SAD(Sum of absolute difference)값 및 상기 제2 역방향 움직임 벡터의 SAD값 중에서 더 작은 SAD값을 가지는 움직임 벡터를 이용하여 상기 제2 움직임 벡터를 추정하는 단계를 포함하는 보간 방법
|
| 17 |
17
제11항에 있어서,상기 생성하는 단계는,상기 제1 움직임 벡터 및 상기 제2 움직임 벡터 중에서 어느 하나의 움직임 벡터를 프레임의 블록 단위 마다 선택하여 MVF(motion vector field)를 출력하는 단계;필터가 상기 MVF에서 오류를 제거하여 수정된 MVF를 출력하는 단계; 및상기 수정된 MVF에 기초한 중간 프레임 및 상기 수정된 MVF를 이용하여 상기 현재 프레임과 상기 이전 프레임 간의 중간 프레임을 생성하는 단계;를 포함하는 보간 방법
|
| 18 |
18
제17항에 있어서,상기 출력하는 단계는,프레임 내 객체의 움직임이 비선형일 경우, 상기 제1 움직임 벡터를 선택하는 단계;프레임 내 객체의 움직임이 선형(nonlinear)일 경우, 상기 제2 움직임 벡터를 선택하는 단계를 포함하는 보간 방법
|
| 19 |
19
제17항에 있어서,상기 생성하는 단계는,상기 수정된 MVF에 기초한 중간 프레임을 생성하는 단계;상기 수정된 MVF에 기초한 중간 프레임의 왜곡 영역을 검출하는 단계;상기 왜곡 영역에 대응하는 상기 수정된 MVF의 움직임 벡터를 수정하여 재수정된 MVF를 생성하는 단계; 및상기 재수정된 MVF를 이용하여 상기 현재 프레임과 상기 이전 프레임 간의 중간 프레임을 생성하는 단계를 포함하는 보간 방법
|
| 20 |
20
제19항에 있어서,상기 검출하는 단계는,CNN(convolutional neural network)을 이용하여 상기 수정된 MVF에 기초한 중간 프레임의 왜곡 영역을 검출하는 단계를 포함하는 보간 방법
|
