| 1 |
1
딥러닝 신경망(Deep Learning Neural Network)에 VR 카메라가 캡처한 VR 이미지를 입력하는 단계; 미리 학습된 상기 딥러닝 신경망을 통해 상기 VR 이미지의 기울어진 정도를 나타내는 방향 정보를 출력하는 단계; 상기 VR 이미지의 측정된 상기 방향 정보에 따라 상기 방향 정보의 역(inverse)을 적용하여 상기 VR 이미지를 직립 교정하는 단계; 및 상기 딥러닝 신경망을 통해 출력된 방향 정보(Up Vector)에 따라 직립 교정된 상기 VR 이미지에 대해 기울어진 정도를 평가하고, 기울어진 정도가 작은 VR 이미지를 반환하는 단계를 포함하고, 상기 딥러닝 신경망에 VR 카메라가 캡처한 VR 이미지를 입력하는 단계는, 상기 VR 이미지를 복수 개의 방향으로 회전시키고, 회전된 복수 개의 상기 VR 이미지들을 상기 딥러닝 신경망에 입력하고, 상기 VR 이미지에 대해 기울어진 정도를 평가하고, 기울어진 정도가 작은 VR 이미지를 반환하는 단계는, 직립 교정된 상기 VR 이미지들에 대해 딥러닝 신경망 기반의 평가부를 통해 평가 메트릭(Evaluation metric)을 구한 후, 가장 좋은 평가를 받은 VR 이미지를 반환(return)하는 것을 특징으로 하는, VR 콘텐츠의 자동적인 직립 교정을 위한 딥러닝 방법
|
| 2 |
2
삭제
|
| 3 |
3
제1항에 있어서, 상기 딥러닝 신경망에 VR 카메라가 캡처한 VR 이미지를 입력하는 단계는, 컨볼루션 신경망(Convolutional Neural Network, CNN)에 VR 카메라가 캡처한 VR 이미지를 입력하는 단계인 것을 특징을 하는, VR 콘텐츠의 자동적인 직립 교정을 위한 딥러닝 방법
|
| 4 |
4
제1항에 있어서, 상기 방향 정보는, 단위 벡터, 회전각(rotation angles), 방위각(azimuth)+고각(elevation) 및 사원수(quaternion) 중 적어도 어느 하나 이상으로 매개 변수화된 것을 특징을 하는, VR 콘텐츠의 자동적인 직립 교정을 위한 딥러닝 방법
|
| 5 |
5
제1항에 있어서, 상기 딥러닝 신경망을 학습시키기 위해 실측 방향(ground truth orientations)을 갖는 다수 개의 VR 이미지들로 구성된 상기 VR 이미지의 데이터 셋(dataset)을 자동 생성하는 단계를 더 포함하는, VR 콘텐츠의 자동적인 직립 교정을 위한 딥러닝 방법
|
| 6 |
6
제5항에 있어서, 상기 VR 이미지의 데이터 셋을 자동 생성하는 단계는, 인터넷으로부터 다수 개의 상기 VR 이미지들을 자동으로 다운로드하는 단계; 상기 VR 이미지들을 직립 상태로 가정하는 단계; 및 각각의 상기 VR 이미지에 대해 서로 다른 방향을 갖는 버전들을 합성하여(synthetically) 새로운 VR 이미지를 생성하는 단계를 포함하는, VR 콘텐츠의 자동적인 직립 교정을 위한 딥러닝 방법
|
| 7 |
7
제5항에 있어서, 생성된 상기 VR 이미지의 데이터 셋으로 상기 딥러닝 신경망을 학습시키는 단계를 더 포함하는, VR 콘텐츠의 자동적인 직립 교정을 위한 딥러닝 방법
|
| 8 |
8
삭제
|
| 9 |
9
삭제
|
| 10 |
10
입력된 VR 이미지로부터 상기 VR 이미지의 기울어진 정도를 나타내는 방향 정보를 예측하는 딥러닝 신경망(Deep Learning Neural Network)으로 구성되는 신경망부; 상기 VR 이미지의 측정된 상기 방향 정보에 따라 상기 방향 정보의 역(inverse)을 적용하여 상기 VR 이미지를 직립 교정하는 교정부; 및 상기 딥러닝 신경망을 통해 출력된 방향 정보(Up Vector)에 따라 직립 교정된 상기 VR 이미지에 대해 기울어진 정도를 평가하고, 기울어진 정도가 작은 VR 이미지를 반환하는 평가부를 포함하고, 상기 딥러닝 신경망에 VR 카메라가 캡처한 VR 이미지의 입력 시, 상기 VR 이미지를 복수 개의 방향으로 회전시키고, 회전된 복수 개의 상기 VR 이미지들을 상기 딥러닝 신경망에 입력하고, 상기 평가부는, 직립 교정된 상기 VR 이미지들에 대해 딥러닝 신경망 기반의 평가부를 통해 평가 메트릭(Evaluation metric)을 구한 후, 가장 좋은 평가를 받은 VR 이미지를 반환(return)하는 것을 특징으로 하는, VR 콘텐츠의 자동적인 직립 교정을 위한 딥러닝 장치
|
| 11 |
11
제10항에 있어서, 상기 딥러닝 신경망을 학습시키기 위해 실측 방향(ground truth orientations)을 갖는 다수 개의 VR 이미지들로 구성된 상기 VR 이미지의 데이터 셋(dataset)을 자동 생성하는 데이터 생성부를 더 포함하는, VR 콘텐츠의 자동적인 직립 교정을 위한 딥러닝 장치
|
| 12 |
12
제10항에 있어서, 상기 신경망부는, VR 카메라가 캡처한 상기 VR 이미지를 입력 받아 미리 학습된 상기 딥러닝 신경망을 통해 상기 VR 이미지의 방향 정보를 출력하는 것을 특징으로 하는, VR 콘텐츠의 자동적인 직립 교정을 위한 딥러닝 장치
|
| 13 |
13
삭제
|
| 14 |
14
제10항에 있어서, 상기 딥러닝 신경망은, 컨볼루션 신경망(Convolutional Neural Network, CNN)인 것을 특징을 하는, VR 콘텐츠의 자동적인 직립 교정을 위한 딥러닝 장치
|
| 15 |
15
제10항에 있어서, 상기 방향 정보는, 단위 벡터, 회전각(rotation angles), 방위각(azimuth)+고각(elevation) 및 사원수(quaternion) 중 적어도 어느 하나 이상으로 매개 변수화된 것을 특징을 하는, VR 콘텐츠의 자동적인 직립 교정을 위한 딥러닝 장치
|
| 16 |
16
제11항에 있어서, 상기 데이터 생성부는, 인터넷으로부터 다수 개의 상기 VR 이미지들을 자동으로 다운로드하며, 상기 VR 이미지들을 직립 상태로 가정하고, 각각의 상기 VR 이미지에 대해 서로 다른 방향을 갖는 버전들을 합성하여(synthetically) 새로운 VR 이미지를 생성하는 것을 특징으로 하는, VR 콘텐츠의 자동적인 직립 교정을 위한 딥러닝 장치
|
| 17 |
17
제11항에 있어서, 상기 신경망부는, 생성된 상기 VR 이미지의 데이터 셋으로 상기 딥러닝 신경망을 학습시키는 것을 특징으로 하는, VR 콘텐츠의 자동적인 직립 교정을 위한 딥러닝 장치
|
| 18 |
18
딥러닝 신경망(Deep Learning Neural Network)으로 구성되는 신경망부; 상기 딥러닝 신경망에 VR 카메라가 캡처한 VR 이미지를 입력하는 입력부; 미리 학습된 상기 딥러닝 신경망을 통해 상기 VR 이미지의 기울어진 정도를 나타내는 방향 정보를 출력하는 출력부; 상기 VR 이미지의 측정된 상기 방향 정보에 따라 상기 방향 정보의 역(inverse)을 적용하여 상기 VR 이미지를 직립 교정하는 교정부; 및 상기 딥러닝 신경망을 통해 출력된 방향 정보(Up Vector)에 따라 직립 교정된 상기 VR 이미지에 대해 기울어진 정도를 평가하고, 기울어진 정도가 작은 VR 이미지를 반환하는 평가부를 포함하고, 상기 입력부는, 상기 VR 이미지를 복수 개의 방향으로 회전시키고, 회전된 복수 개의 상기 VR 이미지들을 상기 신경망부에 입력하고, 상기 평가부는, 딥러닝 신경망 기반으로 이루어져, 직립 교정된 상기 VR 이미지들에 대해 평가 메트릭(Evaluation metric)을 구한 후, 가장 좋은 평가를 받은 VR 이미지를 반환(return)하는 것을 특징으로 하는, VR 콘텐츠의 자동적인 직립 교정을 위한 딥러닝 장치
|
| 19 |
19
제18항에 있어서, 상기 딥러닝 신경망을 학습시키기 위해 실측 방향(ground truth orientations)을 갖는 다수 개의 VR 이미지들로 구성된 상기 VR 이미지의 데이터 셋(dataset)을 자동 생성하는 데이터 생성부를 더 포함하는, VR 콘텐츠의 자동적인 직립 교정을 위한 딥러닝 장치
|
| 20 |
20
삭제
|
| 21 |
21
삭제
|
