| 1 |
1
360도 영상 중 설정 크기의 뷰포트 단위로 분할된 영상에서 카메라 렌즈의 곡률에 따라 사전에 계산된 다중-호모그래피를 저장하는 다중 호모그래피 모듈; 뷰포트를 설정하는 뷰포트 설정 모듈; 상기 뷰포트 설정 모듈에 의해 설정된 뷰포트와 상기 다중 호모그래피 모듈에 저장된 호모그래피를 바탕으로 뷰포트에 대한 2차원 와핑을 수행하는 뷰포트 2차원 와핑 모듈; 상기 뷰포트 2차원 와핑 모듈에 의해 출력된 뷰포트를 딥러닝을 활용하여 영상 화질 개선을 위한 수퍼 레졸루션을 수행하는 수퍼 레졸루션 모듈; 360도 영상을 출력하는 360도 영상 출력 모듈; 및뷰포트 단위 출력과 360도 영상 전체 출력 중에서 사용자가 원하는 출력 형태에 따라 상기 수퍼 레졸루션 모듈의 결과 영상을 출력하거나 상기 360도 영상 출력 모듈을 통해 360도 영상을 출력하도록 하는 출력 모드 모듈을 포함하는 360도 영상 화질 개선 장치
|
| 2 |
2
제 1 항에 있어서, 상기 뷰포트 설정 모듈은 사용자의 제어명령에 따라 사전에 정의된 뷰포트 영역과 사용자에 의해 정의된 뷰포트 영역 중 어느 하나를 뷰포트로 설정하는 것을 특징으로 하는 360도 영상 화질 개선 장치
|
| 3 |
3
제 2 항에 있어서, 상기 사전에 정의된 뷰포트 영역의 뷰포트는 360도 영상을 기 설정된 설정 크기 단위로 분할한 영상이고, 상기 다중 호모그래피 모듈에 저장된 호모그래피와 일대일로 대응되는 것을 특징으로 하는 360도 영상 화질 개선 장치
|
| 4 |
4
제 3 항에 있어서, 상기 뷰포트 2차원 와핑 모듈은 상기 다중 호모그래피 모듈에 저장된 호모그래피를 바탕으로 상기 사전에 정의된 뷰포트 영역으로 설정된 뷰포트를 2차원 변환하는 것을 특징으로 하는 360도 영상 화질 개선 장치
|
| 5 |
5
제 2 항에 있어서, 상기 사용자에 의해 정의된 뷰포트 영역의 뷰포트는사용자에 의해 선택된 360도 영상의 변환점을 토대로 선택되고, 상기 변환점은 뷰포트 공간과 출력 공간에서 4개 이상의 지점을 동일한 순서쌍으로 선택되는 것을 특징으로 하는 360도 영상 화질 개선 장치
|
| 6 |
6
제 5 항에 있어서, 상기 뷰포트 설정 모듈은 상기 사용자에 의해 정의된 뷰포트 영역이 뷰포트로 선택되면 상기 변환점을 바탕으로 호모그래피를 추정하는 것을 특징으로 하는 360도 영상 화질 개선 장치
|
| 7 |
7
제 6 항에 있어서, 상기 뷰포트 2차원 와핑 모듈은 상기 추정된 호모그래피를 바탕으로 상기 사용자에 의해 정의된 뷰포트 영역으로 정의된 뷰포트를 2차원 변환하는 것을 특징으로 하는 360도 영상 화질 개선 장치
|
| 8 |
8
제 1 항에 있어서, 상기 수퍼 레졸루션 모듈은 실제 영상과 예측 영상의 구조적 차이값으로 정의되는 손실 함수를 바탕으로 학습을 수행하는 것을 특징으로 하는 360도 영상 화질 개선 장치
|
| 9 |
9
제 8 항에 있어서, 상기 구조적 차이값은, 실제 영상의 구조값과 예측 영상의 구조값의 차이의 절댓값인 것을 특징으로 하는 360도 영상 화질 개선 장치
|
| 10 |
10
제 1 항에 있어서, 상기 360도 영상 출력 모듈은 상기 출력 모드 모듈에 의해 360도 영상 전체 출력이 선택되면 호모그래피의 역행렬을 활용하여 사전 정의 뷰포트 영상들을 360 영상 형태로 변환하는 2차원 역변환 모듈; 및 상기 2차원 역변환 모듈에서 출력된 영상을 사전 정의된 영역에 해당하는 2차원 와핑, 딥러닝 기반 수퍼 레졸루션 및 2차원 역변환을 수행한 후, 사전 정의된 영역의 순서에 따라 합성하여 360도 영상을 생성하는 출력하는 패치 통합 모듈을 포함하는 것을 특징으로 하는 360도 영상 화질 개선 장치
|
| 11 |
11
뷰포트 설정 모듈이 뷰포트를 설정하는 단계; 뷰포트 2차원 와핑 모듈이 상기 뷰포트 설정 모듈에 의해 설정된 뷰포트와 다중 호모그래피 모듈에 저장된 호모그래피를 바탕으로 뷰포트에 대한 2차원 와핑을 수행하는 단계;수퍼 레졸루션 모듈이 상기 뷰포트 2차원 와핑 모듈에 의해 출력된 뷰포트를 딥러닝을 활용하여 영상 화질 개선을 위한 수퍼 레졸루션을 수행하는 단계; 및출력 모드 모듈이 뷰포트 단위 출력과 360도 영상 전체 출력 중에서 사용자가 원하는 출력 형태에 따라 수퍼 레졸루션 모듈로부터 출력된 뷰포트 영상과 360 영상 출력 모듈이 360도 영상 중 어느 하나를 출력하는 단계를 포함하는 360도 영상 화질 개선 방법
|
| 12 |
12
제 11 항에 있어서, 상기 뷰포트를 설정하는 단계는, 사용자의 제어명령에 따라 사전에 정의된 뷰포트 영역과 사용자에 의해 정의된 뷰포트 영역 중 어느 하나를 뷰포트로 설정하는 것을 특징으로 하는 360도 영상 화질 개선 방법
|
| 13 |
13
제 12 항에 있어서, 상기 사전에 정의된 뷰포트 영역의 뷰포트는 360도 영상을 기 설정된 설정 크기 단위로 분할한 영상이고, 상기 다중 호모그래피 모듈에 저장된 호모그래피와 일대일로 대응되는 것을 특징으로 하는 360도 영상 화질 개선 방법
|
| 14 |
14
제 13 항에 있어서, 상기 뷰포트에 대한 2차원 와핑을 수행하는 단계는, 상기 다중 호모그래피 모듈에 저장된 호모그래피를 바탕으로 상기 사전에 정의된 뷰포트 영역으로 설정된 뷰포트를 2차원 변환하는 것을 특징으로 하는 360도 영상 화질 개선 방법
|
| 15 |
15
제 12 항에 있어서, 상기 사용자에 의해 정의된 뷰포트 영역의 뷰포트는사용자에 의해 선택된 360도 영상의 변환점을 토대로 선택되고, 상기 변환점은 뷰포트 공간과 출력 공간에서 4개 이상의 지점을 동일한 순서쌍으로 선택되는 것을 특징으로 하는 360도 영상 화질 개선 방법
|
| 16 |
16
제 15 항에 있어서, 상기 뷰포트를 설정하는 단계에서, 상기 뷰포트 설정 모듈은 상기 사용자에 의해 정의된 뷰포트 영역이 뷰포트로 선택되면 상기 변환점을 바탕으로 호모그래피를 추정하는 것을 특징으로 하는 360도 영상 화질 개선 방법
|
| 17 |
17
제 16 항에 있어서, 상기 뷰포트에 대한 2차원 와핑을 수행하는 단계는, 상기 추정된 호모그래피를 바탕으로 상기 사용자에 의해 정의된 뷰포트 영역으로 정의된 뷰포트를 2차원 변환하는 것을 특징으로 하는 360도 영상 화질 개선 방법
|
| 18 |
18
제 11 항에 있어서, 상기 수퍼 레졸루션을 수행하는 단계는, 실제 영상과 예측 영상의 구조적 차이값으로 정의되는 손실 함수를 바탕으로 학습을 수행하는 것을 특징으로 하는 360도 영상 화질 개선 방법
|
| 19 |
19
제 18 항에 있어서, 상기 구조적 차이값은, 실제 영상의 구조값과 예측 영상의 구조값의 차이의 절댓값인 것을 특징으로 하는 360도 영상 화질 개선 방법
|
| 20 |
20
제 11 항에 있어서, 상기 수퍼 레졸루션 모듈로부터 출력된 뷰포트 영상과 360 영상 출력 모듈이 360도 영상 중 어느 하나를 출력하는 단계에서, 360도 영상 전체 출력이 선택되면 상기 360도 영상 출력 모듈은 호모그래피의 역행렬을 활용하여 사전 정의 뷰포트 영상들을 360 영상 형태로 변환하고, 사전 정의된 영역에 해당하는 2차원 와핑, 딥러닝 기반 수퍼 레졸루션 및 2차원 역변환을 수행한 후, 사전 정의된 영역의 순서에 따라 합성하여 360도 영상을 생성하는 출력하는 것을 특징으로 하는 360도 영상 화질 개선 방법
|
