| 1 |
1
시계열적으로 연속하는 동종의 두 영상 프레임 사이에 삽입되는 보간 영상 프레임을 생성하는 프레임율 변환 방법에 있어서,(a) 상기 두 영상 프레임의 영상 종류, 시간적 시점 및 공간적 시점 중 적어도 하나가 상이한 비동일 영상에 관한 비동일 영상 정보를 획득하는 단계; 및(b) 상기 비동일 영상 정보를 이용하여 상기 보간 영상 프레임을 생성하는 단계를 포함하되,상기 비동일 영상 정보는 상기 비동일 영상 및 상기 비동일 영상과 관련한 부가 정보 중 적어도 하나를 포함하고,상기 비동일 영상 정보는 상기 두 영상 프레임과 시간적 시점이 상이하고 영상 종류가 동종에 해당하는 제1 동종 영상을 상기 비동일 영상으로서 포함하며,상기 (b) 단계는,상기 제1 동종 영상이 상기 두 영상 프레임과 공간적 시점이 상이한 경우, 서로 상이한 공간적 시점 간의 정보를 이용한 영상 워핑에 의해 상기 제1 동종 영상을 상기 두 영상 프레임의 공간적 시점과 동일한 공간적 시점의 영상에 상응하는 형태로 변환하여 상기 비동일 영상 정보로서 이용하되, 상기 영상 워핑 시에 발생하는 홀의 유/무를 특징 맵으로 생성하고 상기 생성된 특징 맵을 채널로 구성하여 신경망의 입력으로 제공함으로써, 제1 동종 영상과 특징 맵을 입력으로 포함하여 학습된 신경망을 기반으로 하여 상기 보간 영상 프레임을 생성하고,상기 비동일 영상 정보가 상기 두 영상 프레임 각각과 공간적 시점이 상이하되 시점 간 정보인 부가정보를 포함하고 있지 않으며 영상 종류가 동종에 해당하는 제2 동종 영상을 상기 비동일 영상으로서 포함하는 경우, 시점 간 정보 예측 신경망을 통하여 상기 제2 동종 영상과 상기 두 영상 프레임 사이의 제1 시점 간 정보를 예측한 후 예측된 상기 제1 시점 간 정보를 이용하여 상기 제2 동종 영상을 상기 두 영상 프레임의 공간적 시점과 동일한 공간적 시점의 영상에 상응하는 형태로 변환하여 시점 변환된 상기 제2 동종 영상을 고려해 상기 보간 영상 프레임을 생성하고,상기 비동일 영상 정보가 상기 두 영상 프레임 각각과 공간적 시점 및 시간적 시점이 상이하고 영상 종류가 이종에 해당하는 이종 영상을 상기 비동일 영상으로서 포함하는 경우, 상기 제2 동종 영상을 기반으로 구축된 상기 시점 간 정보 예측 신경망에 상기 이종 영상을 입력하여 상기 이종 영상과 상기 두 영상 프레임 사이의 제2 시점 간 정보를 획득하고, 상기 제2 시점 간 정보를 고려하여 상기 보간 영상 프레임을 생성하며,상기 시점 간 정보 예측 신경망은, 상기 두 영상 프레임 중 적어도 하나와의 제1 시점 간 정보가 기알려진 제2 동종 영상 및 상기 두 영상 프레임을 입력으로 하고 기알려진 제1 시점 간 정보를 출력으로 하여 학습된 신경망인 것인, 프레임율 변환 방법
|
| 2 |
2
제1항에 있어서,상기 비동일 영상 정보는 상기 두 영상 프레임 각각과 시간적 시점 및 공간적 시점이 동일하고 영상 종류가 이종에 해당하는 2개의 제1 깊이 영상을 상기 비동일 영상으로서 포함하는 것인, 프레임율 변환 방법
|
| 3 |
3
제2항에 있어서,상기 (b) 단계는, 상기 2개의 제1 깊이 영상을 이용하여 상기 두 영상 프레임에 포함된 개체의 모션 정보를 획득하고, 상기 모션 정보를 고려하여 상기 보간 영상 프레임을 생성하는 것인, 프레임율 변환 방법
|
| 4 |
4
제2항에 있어서,상기 비동일 영상 정보는 상기 두 영상 프레임 각각과 공간적 시점이 동일하고 시간적 시점이 상이하며 영상 종류가 이종에 해당하는 이종 영상을 포함하는 것인, 프레임율 변환 방법
|
| 5 |
5
제4항에 있어서,상기 이종 영상은 제2 깊이 영상이고,상기 (b) 단계는, 상기 2개의 제1 깊이 영상과 상기 제2 깊이 영상을 이용하여 상기 두 영상 프레임에 포함된 개체의 모션 정보를 획득하고, 상기 모션 정보를 고려하여 상기 보간 영상 프레임을 생성하는 것인, 프레임율 변환 방법
|
| 6 |
6
제4항에 있어서,상기 이종 영상은 NIR 영상이고,상기 (b) 단계는, 상기 두 영상 프레임 중 시계열적으로 가까운 영상 프레임과 상기 NIR 영상과의 연관성을 계산하여, 상기 NIR 영상에 대응하는 시간적 시점에서 상기 두 영상 프레임과 동종인 영상 프레임을 획득하고, 상기 동종인 영상 프레임을 고려하여 상기 보간 영상 프레임을 생성하는 것인, 프레임율 변환 방법
|
| 7 |
7
삭제
|
| 8 |
8
삭제
|
| 9 |
9
삭제
|
| 10 |
10
삭제
|
| 11 |
11
제1항에 있어서,상기 비동일 영상 정보는 상기 두 영상 프레임과 시간적 시점이 상이하고 영상 종류가 동종에 해당하는 제1 동종 영상 및 상기 두 영상 프레임 중 적어도 하나 사이의 디스패리티를 상기 부가 정보로서 포함하는 것인, 프레임율 변환 방법
|
| 12 |
12
삭제
|
| 13 |
13
삭제
|
| 14 |
14
시계열적으로 연속하는 동종의 두 영상 프레임 사이에 삽입되는 보간 영상 프레임을 생성하는 프레임율 변환 장치에 있어서,상기 두 영상 프레임의 영상 종류, 시간적 시점 및 공간적 시점 중 적어도 하나가 상이한 비동일 영상에 관한 비동일 영상 정보를 획득하는 획득부; 및상기 비동일 영상 정보를 이용하여 상기 보간 영상 프레임을 생성하는 생성부를 포함하되,상기 비동일 영상 정보는 상기 비동일 영상 및 상기 비동일 영상과 관련한 부가 정보 중 적어도 하나를 포함하고,상기 비동일 영상 정보는 상기 두 영상 프레임과 시간적 시점이 상이하고 영상 종류가 동종에 해당하는 제1 동종 영상을 상기 비동일 영상으로서 포함하며,상기 생성부는,상기 제1 동종 영상이 상기 두 영상 프레임과 공간적 시점이 상이한 경우, 서로 상이한 공간적 시점 간의 정보를 이용한 영상 워핑에 의해 상기 제1 동종 영상을 상기 두 영상 프레임의 공간적 시점과 동일한 공간적 시점의 영상에 상응하는 형태로 변환하여 상기 비동일 영상 정보로서 이용하되, 상기 영상 워핑 시에 발생하는 홀의 유/무를 특징 맵으로 생성하고 상기 생성된 특징 맵을 채널로 구성하여 신경망의 입력으로 제공함으로써, 제1 동종 영상과 특징 맵을 입력으로 포함하여 학습된 신경망을 기반으로 하여 상기 보간 영상 프레임을 생성하고,상기 비동일 영상 정보가 상기 두 영상 프레임 각각과 공간적 시점이 상이하되 시점 간 정보인 부가정보를 포함하고 있지 않으며 영상 종류가 동종에 해당하는 제2 동종 영상을 상기 비동일 영상으로서 포함하는 경우, 시점 간 정보 예측 신경망을 통하여 상기 제2 동종 영상과 상기 두 영상 프레임 사이의 제1 시점 간 정보를 예측한 후 예측된 상기 제1 시점 간 정보를 이용하여 상기 제2 동종 영상을 상기 두 영상 프레임의 공간적 시점과 동일한 공간적 시점의 영상에 상응하는 형태로 변환하여 시점 변환된 상기 제2 동종 영상을 고려해 상기 보간 영상 프레임을 생성하고,상기 비동일 영상 정보가 상기 두 영상 프레임 각각과 공간적 시점 및 시간적 시점이 상이하고 영상 종류가 이종에 해당하는 이종 영상을 상기 비동일 영상으로서 포함하는 경우, 상기 제2 동종 영상을 기반으로 구축된 상기 시점 간 정보 예측 신경망에 상기 이종 영상을 입력하여 상기 이종 영상과 상기 두 영상 프레임 사이의 제2 시점 간 정보를 획득하고, 상기 제2 시점 간 정보를 고려하여 상기 보간 영상 프레임을 생성하며,상기 시점 간 정보 예측 신경망은, 상기 두 영상 프레임 중 적어도 하나와의 제1 시점 간 정보가 기알려진 제2 동종 영상 및 상기 두 영상 프레임을 입력으로 하고 기알려진 제1 시점 간 정보를 출력으로 하여 학습된 신경망인 것인, 프레임율 변환 장치
|
| 15 |
15
제14항에 있어서,상기 비동일 영상 정보는 상기 두 영상 프레임 각각과 시간적 시점 및 공간적 시점이 동일하고 영상 종류가 이종에 해당하는 2개의 제1 깊이 영상을 상기 비동일 영상으로서 포함하는 것인, 프레임율 변환 장치
|
| 16 |
16
제15항에 있어서,상기 생성부는, 상기 2개의 제1 깊이 영상을 이용하여 상기 두 영상 프레임에 포함된 개체의 모션 정보를 획득하고, 상기 모션 정보를 고려하여 상기 보간 영상 프레임을 생성하는 것인, 프레임율 변환 장치
|
| 17 |
17
제15항에 있어서,상기 비동일 영상 정보는 상기 두 영상 프레임 각각과 공간적 시점이 동일하고 시간적 시점이 상이하며 영상 종류가 이종에 해당하는 이종 영상을 포함하는 것인, 프레임율 변환 장치
|
| 18 |
18
제17항에 있어서,상기 이종 영상은 제2 깊이 영상이고,상기 생성부는, 상기 2개의 제1 깊이 영상과 상기 제2 깊이 영상을 이용하여 상기 두 영상 프레임에 포함된 개체의 모션 정보를 획득하고, 상기 모션 정보를 고려하여 상기 보간 영상 프레임을 생성하는 것인, 프레임율 변환 장치
|
| 19 |
19
제17항에 있어서,상기 이종 영상은 NIR 영상이고,상기 생성부는, 상기 두 영상 프레임 중 시계열적으로 가까운 영상 프레임과 상기 NIR 영상과의 연관성을 계산하여, 상기 NIR 영상에 대응하는 시간적 시점에서 상기 두 영상 프레임과 동종인 영상 프레임을 획득하고, 상기 동종인 영상 프레임을 고려하여 상기 보간 영상 프레임을 생성하는 것인, 프레임율 변환 장치
|
| 20 |
20
삭제
|
| 21 |
21
삭제
|
| 22 |
22
삭제
|
| 23 |
23
삭제
|
| 24 |
24
제14항에 있어서,상기 비동일 영상 정보는 상기 두 영상 프레임과 시간적 시점이 상이하고 영상 종류가 동종에 해당하는 제1 동종 영상 및 상기 두 영상 프레임 중 적어도 하나 사이의 디스패리티를 상기 부가 정보로서 포함하는 것인, 프레임율 변환 장치
|
| 25 |
25
삭제
|
| 26 |
26
삭제
|
| 27 |
27
제1항 내지 제6항 및 제11항 중 어느 한 항의 방법을 컴퓨터에서 실행하기 위한 프로그램을 기록한 컴퓨터에서 판독 가능한 기록매체
|
