| 1 |
1
(a) 영상 처리 장치가 제 1 화면 규격을 갖는 동영상을 입력받는 단계;(b) 상기 영상 처리 장치가 상기 제 1 화면 규격을 기준으로 상기 제 1 화면 규격과 다르게 정의된 제 2 화면 규격과의 차이에 해당하는 영상 영역을 미확보 영역으로 설정하는 단계;(c) 상기 영상 처리 장치가 입력된 상기 제 1 화면 규격의 동영상에 포함된 프레임(frame)별로 각각 유사 프레임을 검출하여 유사 프레임 그룹으로 설정하는 단계;(d) 상기 영상 처리 장치가 입력된 상기 제 1 화면 규격의 동영상에 포함된 각각의 프레임에 대하여 상기 유사 프레임 그룹을 참조하여 상기 미확보 영역에 대한 영상을 생성하는 단계; 및(e) 상기 영상 처리 장치가 상기 제 1 화면 규격의 동영상에 포함된 원본 영상과 상기 미확보 영역에 대해 생성된 영상으로부터 상기 제 2 화면 규격을 갖는 동영상을 출력하는 단계;를 포함하는, 영상 처리 방법
|
| 2 |
2
제 1 항에 있어서,상기 (b) 단계는,상기 제 2 화면 규격을 목표로 하여 화면비(aspect ratio), 해상도(resolution), 및 화각(angle of view) 중 적어도 하나를 포함하는 화면 규격의 차이로 인해 상기 제 1 화면 규격이 보유하지 못하고 있는 영상 영역을 미확보 영역으로 설정하는, 영상 처리 방법
|
| 3 |
3
제 1 항에 있어서,상기 (c) 단계는,특징 매칭(feature matching), 템플릿 매칭(template matching), 및 히스토그램(histogram) 비교 중 적어도 하나를 이용하여 2개의 인접 프레임들을 비교하여 유사도 값을 산출하는, 영상 처리 방법
|
| 4 |
4
제 1 항에 있어서,상기 (c) 단계는,(c1) 상기 제 1 화면 규격의 동영상에 포함된 하나의 기준 프레임에 대하여 상기 기준 프레임에 시간적으로 선행하거나 후행하는 인접 프레임들과의 유사도를 각각 산출하는 단계;(c2) 상기 인접 프레임들로부터 산출된 유사도가 임계치 이상인 경우, 임계치 이상의 인접 프레임을 새로운 기준 프레임으로 설정하여 다시 인접 프레임들과의 유사도를 각각 산출하고 새롭게 산출된 유사도가 상기 임계치 이상인지를 검사하는 과정을 연쇄적으로 반복함으로써 유사도가 임계치 이상인 프레임만을 최초의 기준 프레임에 대한 유사 프레임 그룹으로 설정하는 단계; 및(c3) 상기 제 1 화면 규격의 동영상에 포함된 모든 프레임에 대하여 상기 (c1) 단계 및 상기 (c2) 단계를 수행하여 프레임별로 유사 프레임 그룹을 도출하는 단계;를 포함하는, 영상 처리 방법
|
| 5 |
5
제 4 항에 있어서,상기 (c) 단계는,2개의 인접 프레임들 간의 유사도 값을 해당 프레임의 식별자 쌍(pair)에 매칭시켜 룩업 테이블(look-up table)에 저장하되,새롭게 2개의 인접 프레임들 간의 유사도를 산출하는 경우 먼저 상기 룩업 테이블을 조회하여 미리 저장된 유사도 값이 존재하는 경우 저장된 해당 유사도 값을 독출하여 사용하고, 미리 저장된 유사도 값이 존재하지 않는 경우에만 유사도를 산출하여 상기 룩업 테이블에 저장하는, 영상 처리 방법
|
| 6 |
6
제 1 항에 있어서,상기 (c) 단계는,(c4) 상기 제 1 화면 규격의 동영상에 포함된 모든 프레임에 대하여 순차적으로 인접 프레임들 간의 유사도를 각각 산출하는 단계; 및(c5) 산출된 유사도가 임계치 이상인 값이 시계열적으로 연속하는 프레임 구간에 대하여 각각의 구간별로 유사도가 임계치 이상인 프레임만을 포함하는 유사 프레임 그룹으로 설정하는 단계;를 포함하는, 영상 처리 방법
|
| 7 |
7
제 1 항에 있어서,상기 (d) 단계는,(d1) 입력된 상기 제 1 화면 규격의 동영상에 포함된 현재 프레임에 대하여 상기 유사 프레임 그룹 내에 포함된 유사 프레임과 현재 프레임 간의 기하학적 관계를 이용하여 상기 현재 프레임을 확장하는 단계; 및(d2) 입력된 상기 제 1 화면 규격의 동영상에 포함된 모든 프레임에 대하여 상기 (d1) 단계의 프레임 확장을 수행하여 상기 미확보 영역에 대한 영상을 생성하는 단계;를 포함하는, 영상 처리 방법
|
| 8 |
8
제 7 항에 있어서,상기 (d1) 단계는,상기 유사 프레임 및 상기 현재 프레임 각각으로부터 특징점(keypoint)을 추출하고 추출된 특징점을 기준으로 양자의 영상을 매칭함으로써 상기 현재 프레임을 확장하는, 영상 처리 방법
|
| 9 |
9
제 7 항에 있어서,(d3) 상기 (d1) 단계의 프레임 확장을 통해 상기 미확보 영역에 대한 영상이 생성되지 않은 경우 GAN(Generative Adversarial Network) 또는 오토인코더(Autoencoder)를 이용하여 상기 미확보 영역에 대한 영상을 보충하는 단계;를 더 포함하는, 영상 처리 방법
|
| 10 |
10
제 1 항에 있어서,상기 (e) 단계는,(e1) 상기 제 1 화면 규격의 동영상에 포함된 모든 프레임에 대하여 각각 원본 영상과 상기 미확보 영역에 대해 생성된 영상을 결합하여 상기 제 2 화면 규격을 갖는 영상으로 변환하는 단계;를 포함하는, 영상 처리 방법
|
| 11 |
11
제 10 항에 있어서,(e2) 상기 미확보 영역에 대해 생성된 영상과 상기 원본 영상 간의 품질 차이가 수용 한계치 이상인 경우 열등한 영상의 해상도(resolution) 또는 비트 레이트(bir rate)를 상기 유사 프레임으로부터 보충하는 단계;를 더 포함하는, 영상 처리 방법
|
| 12 |
12
제 10 항에 있어서,(e3) 상기 미확보 영역에 대해 생성된 영상과 상기 제 1 화면 규격의 동영상에 포함된 원본 영상의 경계를 스무딩(smoothing)하는 단계;를 더 포함하는, 영상 처리 방법
|
| 13 |
13
제 1 항 내지 제 12 항 중에 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체
|
| 14 |
14
제 1 화면 규격을 갖는 동영상을 입력받는 입력부;입력된 상기 제 1 화면 규격을 갖는 동영상을 상기 제 1 화면 규격과 다르게 정의된 제 2 화면 규격의 동영상으로 변환하는 프로그램을 저장하는 메모리; 및상기 메모리에 저장된 프로그램을 실행하는 프로세서;를 포함하고,상기 메모리에 저장된 프로그램은,상기 제 1 화면 규격을 기준으로 상기 제 1 화면 규격과 다르게 정의된 제 2 화면 규격과의 차이에 해당하는 영상 영역을 미확보 영역으로 설정하고, 입력된 상기 제 1 화면 규격의 동영상에 포함된 프레임(frame)별로 각각 유사 프레임을 검출하여 유사 프레임 그룹으로 설정하고, 입력된 상기 제 1 화면 규격의 동영상에 포함된 각각의 프레임에 대하여 상기 유사 프레임 그룹을 참조하여 상기 미확보 영역에 대한 영상을 생성하며, 상기 제 1 화면 규격의 동영상에 포함된 원본 영상과 상기 미확보 영역에 대해 생성된 영상으로부터 상기 제 2 화면 규격을 갖는 동영상을 출력하는 명령을 포함하는, 영상 처리 장치
|
| 15 |
15
제 14 항에 있어서,상기 메모리에 저장된 프로그램은,상기 제 2 화면 규격을 목표로 하여 화면비(aspect ratio), 해상도(resolution), 및 화각(angle of view) 중 적어도 하나를 포함하는 화면 규격의 차이로 인해 상기 제 1 화면 규격이 보유하지 못하고 있는 영상 영역을 미확보 영역으로 설정하는, 영상 처리 장치
|
| 16 |
16
제 14 항에 있어서,상기 메모리에 저장된 프로그램은,상기 제 1 화면 규격의 동영상에 포함된 하나의 기준 프레임에 대하여 상기 기준 프레임에 시간적으로 선행하거나 후행하는 인접 프레임들과의 유사도를 각각 산출하고,상기 인접 프레임들로부터 산출된 유사도가 임계치 이상인 경우, 임계치 이상의 인접 프레임을 새로운 기준 프레임으로 설정하여 다시 인접 프레임들과의 유사도를 각각 산출하고 새롭게 산출된 유사도가 상기 임계치 이상인지를 검사하는 과정을 연쇄적으로 반복함으로써 유사도가 임계치 이상인 프레임만을 최초의 기준 프레임에 대한 유사 프레임 그룹으로 설정하며,상기 제 1 화면 규격의 동영상에 포함된 모든 프레임에 대하여 상기 유사도를 각각 산출하는 과정 및 상기 유사 프레임 그룹으로 설정하는 과정을 수행하여 프레임별로 유사 프레임 그룹을 도출하는, 영상 처리 장치
|
| 17 |
17
제 14 항에 있어서,상기 메모리에 저장된 프로그램은,상기 제 1 화면 규격의 동영상에 포함된 모든 프레임에 대하여 순차적으로 인접 프레임들 간의 유사도를 각각 산출하고,산출된 유사도가 임계치 이상인 값이 시계열적으로 연속하는 프레임 구간에 대하여 각각의 구간별로 유사도가 임계치 이상인 프레임만을 포함하는 유사 프레임 그룹으로 설정하는, 영상 처리 장치
|
| 18 |
18
제 14 항에 있어서,상기 메모리에 저장된 프로그램은,입력된 상기 제 1 화면 규격의 동영상에 포함된 현재 프레임에 대하여 상기 유사 프레임 그룹 내에 포함된 유사 프레임과 현재 프레임 간의 기하학적 관계를 이용하여 상기 유사 프레임 및 상기 현재 프레임 각각으로부터 특징점(keypoint)을 추출하고 추출된 특징점을 기준으로 양자의 영상을 매칭함으로써 상기 현재 프레임을 확장하고,입력된 상기 제 1 화면 규격의 동영상에 포함된 모든 프레임에 대하여 상기 현재 프레임을 확장하는 과정을 수행하여 상기 미확보 영역에 대한 영상을 생성하는, 영상 처리 장치
|
| 19 |
19
제 18 항에 있어서,상기 메모리에 저장된 프로그램은,상기 현재 프레임을 확장하는 과정을 통해 상기 미확보 영역에 대한 영상이 생성되지 않은 경우 GAN(Generative Adversarial Network) 또는 오토인코더(Autoencoder)를 이용하여 상기 미확보 영역에 대한 영상을 보충하는, 영상 처리 장치
|
| 20 |
20
제 14 항에 있어서,상기 메모리에 저장된 프로그램은,상기 제 1 화면 규격의 동영상에 포함된 모든 프레임에 대하여 각각 원본 영상과 상기 미확보 영역에 대해 생성된 영상을 결합하여 상기 제 2 화면 규격을 갖는 영상으로 변환하는, 영상 처리 장치
|
