| 1 |
1
컴퓨터 장치에서 컴퓨터 프로그램을 실행하여 수행되는 방법으로서,이웃하는 제1 및 제2 원본 프레임을 보간하여 상기 제1 및 제2 원본 프레임의 중간 프레임을 합성하는 단계; 및상기 '제1 및 제2 원본 프레임의 중간 프레임을 합성하는 단계'를 연속적인 원본 비디오 프레임들에 대하여 순차적으로 수행하는 단계를 포함하여 비디오 프레임들을 안정화시키는 것을 특징으로 하는 비디오 안정화 방법
|
| 2 |
2
제1항에 있어서, 상기 중간 프레임(fint)을 합성하는 단계는,상기 제1 및 제2 원본 프레임 간의 양방향 광학 흐름을 추정하는 단계; 추정된 광학 흐름에 기초하여 상기 제1 및 제2 원본 프레임을 서로를 향해 서로 간의 중간 위치로(halfway) 워핑(warping)하여 제1 및 제2 워핑 프레임을 생성하는 단계; 및 상기 제1 및 제2 워핑 프레임을 합성곱 신경망을 통해 학습하여 상기 제1 및 제2 원본 프레임의 중간 프레임을 추정하여 생성하는 단계를 포함하는 것을 특징으로 하는 비디오 안정화 방법
|
| 3 |
3
제2항에 있어서, 상기 양방향 광학 흐름은 광학흐름 추정용 합성곱 신경망(CNN) 모델인 PWC-Net 모듈을 이용하여 추정되는 것을 특징으로 하는 비디오 안정화 방법
|
| 4 |
4
제2항에 있어서, 상기 중간 프레임은 합성곱 신경망 회로인 U-Net 모듈을 이용하여 추정되는 것을 특징으로 하는 비디오 안정화 방법
|
| 5 |
5
제4항에 있어서, 상기 U-net 모듈은 다른 스케일의 상기 제1 및 제2 워핑 프레임을 서로 결합하는 방법을 학습하여 글로벌 저해상도 영상 정보로 국부적 고해상도 영상 정보를 예측하는 것을 통해 미세한 세부 정보(fine details)가 보존된 상기 중간 프레임을 추정하는 것을 특징으로 하는 비디오 안정화 방법
|
| 6 |
6
제1항에 있어서, 영상 흐려짐 누적을 방지하기 위해, 상기 중간 프레임에 대응하는 제3 원본 프레임을 프레임 보간이 반복될 때 마다(every iteration) 사용하여 상기 중간 프레임에 포함된 미세한 세부 오류를 보정하여 최종 중간 프레임을 생성하는 단계를 더 포함하는 것을 특징으로 하는 비디오 안정화 방법
|
| 7 |
7
제6항에 있어서, 상기 최종 중간 프레임을 생성하는 단계는, 상기 중간 프레임을 참조 프레임으로 사용하여 상기 제1 및 제2 원본 프레임 사이의 상기 제3 원본 프레임을 상기 중간 프레임 쪽으로 워핑하는 단계; 워핑된 상기 제3 원본 프레임을 상기 중간 프레임과 함께 ResNet 모듈에 공급하는 단계; 및 상기 ResNet 모듈에서, 상기 워핑된 제3 원본 프레임을 사용하여 상기 중간 프레임에 포함된 미세한 세부 오류를 보정하여 최종 보간(중간) 프레임을 생성하는 단계를 포함하는 것을 특징으로 하는 비디오 안정화 방법
|
| 8 |
8
제6항에 있어서, 상기 '최종 중간 프레임을 생성하는 단계'를 통해 생성되는 연속적인 비디오 프레임에 대하여, 상기 '중간 프레임을 합성하는 단계'와 상기 '순차적으로 수행하는 단계'를 적어도 1회 이상 반복 수행하는 심층 반복적 프레임 보간에 기반하여 비디오 프레임들의 시각적 안정성을 강화시키는 단계를 더 포함하는 것을 특징으로 하는 비디오 안정화 방법
|
| 9 |
9
제6항에 있어서, 상기 프레임 보간 시 보간에 사용할 프레임들을 조정하는 건너뛰기 매개변수(skip parameter)를 도입하여 그 건너뛰기 매개변수의 값을 원하는 값으로 설정함으로써 프레임 안정성을 조절하는 단계를 더 포함하는 것을 특징으로 하는 비디오 안정화 방법
|
| 10 |
10
제6항에 있어서, 상기 제3 원본 프레임의 공간 변환 버전인 의사-실측 프레임(pseudo-ground truth frame)을 정의하고, 상기 제3 원본 프레임에 선행 및 후행하는 상기 제1 및 제2 원본 프레임을 상기 의사 실측 프레임 쪽으로 워핑하여(warping) 상기 의사 실측 프레임(fs)을 재구성하는 단계를 통해 프레임 보간 모델을 훈련시키는 단계를 더 포함하는 것을 특징으로 하는 비디오 안정화 방법
|
| 11 |
11
제10항에 있어서, 상기 제3 원본 프레임의 공간 변환은 임의의 방향으로 임의의 스케일로 수행될 수 있으며, 상기 임의의 스케일은 프레임 폭의 1/8 이내의 값인 것을 특징으로 하는 비디오 안정화 방법
|
| 12 |
12
제1항 내지 제11항 중 어느 한 항에 기재된 비디오 안정화 방법을 수행하기 위하여 컴퓨터 판독 가능한 기록 매체에 저장된 컴퓨터 실행가능 프로그램
|
| 13 |
13
제1항 내지 제11항 중 어느 한 항에 기재된 비디오 안정화 방법을 수행하기 위한 컴퓨터 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체
|
