| 1 |
1
영상처리장치가 다시점을 제공하는 복수의 360도 영상 중 저해상도인 타깃 영상 및 고해상도인 참조 영상을 입력받는 단계;상기 영상처리장치가 상기 타깃 영상 및 상기 참조 영상을 디스패리티 추정 모델에 입력하여 상기 타깃 영상과 상기 참조 영상의 디스패리티 정보를 출력하는 단계;상기 영상처리장치가 상기 디스패리티 정보를 기준으로 상기 참조 영상을 정렬하는 단계; 및상기 영상처리장치가 상기 타깃 영상 및 상기 정렬된 참조 영상을 잔차 블록으로 구성된 재구성 계층에 입력하여 상기 타깃 영상에 대한 고해상도 영상을 출력하는 단계를 포함하되,상기 타깃 영상과 상기 참조 영상은 ERP(Equirectangular projection) 기반하여 360도 영상으로 모델링된 영상인 ERP 기반 다시점 360도 영상의 초해상화 방법
|
| 2 |
2
제1항에 있어서,상기 타깃 영상 및 상기 참조 영상은 합성 360도 영상이고,상기 영상처리장치가 실사 360도 영상인 타깃 영상 및 참조 영상 각각을 전이 계층에 입력하여 합성 360도 영상인 상기 타깃 영상 및 상기 참조 영상으로 변환하는 단계를 더 포함하는 ERP 기반 다시점 360도 영상의 초해상화 방법
|
| 3 |
3
제1항에 있어서,상기 고해상도 영상은 합성 360도 영상이고,상기 영상처리장치가 상기 고해상도 영상을 전이 계층에 입력하여 실사 360도 영상으로 변환하는 단계를 더 포함하는 ERP 기반 다시점 360도 영상의 초해상화 방법
|
| 4 |
4
제1항에 있어서,상기 디스패리티 추정 모델은 상기 타깃 영상과 상기 참조 영상 각각에 대하여 복수의 계층 구조로 특징값을 추출하고, 동일한 계층에서 추출한 상기 타깃 영상의 특징과 상기 참조 영상의 특징에 대한 매칭 정보를 플로우 추정기에 입력하여 상기 디스패리티 정보를 출력하는 ERP 기반 다시점 360도 영상의 초해상화 방법
|
| 5 |
5
제1항에 있어서,상기 디스패리티 추정 모델은 상기 타깃 영상과 상기 참조 영상 각각에 대하여 아래 수식과 같이 컨볼루션 연산을 수행하여 ERP 왜곡을 반영한 특징을 추출하는 ERP 기반 다시점 360도 영상의 초해상화 방법
|
| 6 |
6
제1항에 있어서,상기 영상처리장치가 상기 타깃 영상, 상기 정렬된 참조 영상 및 상기 디스패리티 정보를 마스크 생성 모델에 입력하여 마스크를 생성하는 단계를 더 포함하고,상기 영상처리장치가 상기 정렬된 참조 영상과 상기 마스크를 곱한 값 및 상기 참조 영상을 상기 재구성 계층에 입력하여 상기 고해상도 영상을 출력하는 ERP 기반 다시점 360도 영상의 초해상화 방법
|
| 7 |
7
다시점을 제공하는 복수의 360도 영상 중 저해상도인 타깃 영상 및 고해상도인 참조 영상을 입력받는 입력장치;ERP(Equirectangular projection) 영상 간 왜곡을 고려하여 360도 영상을 초해상화하는 신경망 모델을 저장하는 저장장치; 및상기 타깃 영상 및 상기 참조 영상을 상기 신경망 모델에 입력하여 상기 타깃 영상과 상기 참조 영상의 디스패리티 정보를 생성하고, 상기 타깃 영상 및 상기 디스패리티 정보를 기준으로 정렬된 상기 참조 영상을 이용하여 상기 타깃 영상에 대한 고해상도 영상을 생성하는 연산장치를 포함하되,상기 타깃 영상과 상기 참조 영상은 ERP 기반하여 360도 영상으로 모델링된 영상인 ERP 기반 360도 영상을 초해상화하는 영상처리장치
|
| 8 |
8
제7항에 있어서,상기 타깃 영상 및 상기 참조 영상은 합성 360도 영상이고,상기 신경망 모델은 입력단의 전이 계층을 포함하고,상기 연산장치는 실사 360도 영상인 타깃 영상 및 참조 영상을 각각 상기 입력단의 전이 계층에 입력하여 합성 360도 영상인 상기 타깃 영상 및 상기 참조 영상을 생성하는 ERP 기반 360도 영상을 초해상화하는 영상처리장치
|
| 9 |
9
제7항에 있어서,상기 고해상도 영상은 합성 360도 영상이고,상기 신경망 모델은 출력단의 전이 계층을 포함하고,상기 연산장치는 상기 고해상도 영상을 상기 출력단의 전이 계층에 입력하여 실사 360도 영상으로 변환하는 ERP 기반 360도 영상을 초해상화하는 영상처리장치
|
| 10 |
10
제7항에 있어서,상기 신경망 모델은 디스패리티 추정 계층을 포함하고,상기 연산장치는 상기 타깃 영상과 상기 참조 영상을 상기 디스패리티 추정 계층에 입력하여 복수의 계층 구조로 특징값을 추출하고, 동일한 계층에서 추출한 상기 타깃 영상의 특징과 상기 참조 영상의 특징에 대한 매칭 정보에서 플로우를 추정하여 상기 디스패리티 정보를 생성하는 ERP 기반 360도 영상을 초해상화하는 영상처리장치
|
| 11 |
11
제7항에 있어서,상기 신경망 모델은 디스패리티 추정 계층을 포함하고,상기 디스패리티 추정 계층은 상기 타깃 영상과 상기 참조 영상 각각에 대하여 아래 수식과 같이 컨볼루션 연산을 수행하여 ERP 왜곡을 반영한 특징을 추출하는 ERP 기반 360도 영상을 초해상화하는 영상처리장치
|
| 12 |
12
제7항에 있어서,상기 신경망 모델은 상기 타깃 영상, 상기 정렬된 참조 영상 및 상기 디스패리티 정보를 입력하여 마스크를 생성하는 마스크 생성 계층 및 상기 정렬된 참조 영상을 이용하여 상기 타깃 영상의 고해상도 영상을 출력하는 재구성 계층을 포함하고,상기 연산장치는 상기 정렬된 참조 영상과 상기 마스크를 곱한 값 및 상기 참조 영상을 상기 재구성 계층에 입력하여 상기 고해상도 영상을 출력하는 ERP 기반 360도 영상을 초해상화하는 영상처리장치
|
