| 1 |
1
다수의 카메라를 통해 소정 수 프레임의 360도 원본 영상을 획득하는 원본 영상 획득부;HMD(Head mounted Display)의 자유도 DoF(Degree of Freedom)를 통해 획득된 각 프레임의 원본 영상 중 사용자의 관심 영역인 사용자 시점 영상을 획득하는 시점 영상 획득부;각 프레임 마다 원본 영상 및 사용자 시점 영상에 대해 콘볼루션 신경망 알고리즘을 이용하여 1차원의 특징점을 각각 추출한 다음 추출된 특징점 및 사용자 위치를 일렬의 벡터로 결합하여 입력 데이터를 생성하는 전처리부; 상기 전처리부의 입력 데이터에 대해 학습을 수행하여 설정된 미래의 사용자 시점을 예측하는 LSTM 수행부; 및상기 추정된 미래의 사용자 시점을 포함하는 타일 정보를 네트워크를 통해 전달하는 전송부를 포함하는 것을 특징으로 하는 LSTM 기반의 개인화 시점 추정 장치
|
| 2 |
2
제1항에 있어서, 상기 원본 영상은 ERP(Equirectangular Projection) 형태인 것을 특징으로 하는 LSTM 기반의 개인화 시점 추정 장치
|
| 3 |
3
제2항에 있어서, 상기 입력 데이터는임의의 정수 t 프레임의 ERP 영상, DoF를 통해 도출된 시점 위치의 정규화 값, 왜곡 없는 시점 영상 중 적어도 하나를 포함하는 것을 특징으로 하는 LSTM 기반의 개인화 시점 추정 장치
|
| 4 |
4
제3항에 있어서, 상기 LSTM 수행부는,입력데이터에 대해 시점 예측을 수행하는 시계열 딥러닝 인공 신경망인 것을 특징으로 하는 LSTM 기반의 개인화 시점 추정 장치
|
| 5 |
5
제1항에 있어서, 상기 LSTM 수행부는 상기 전처리부의 입력 데이터에 대해 LSTM을 수행하기 위한 특징점 데이터를 추출하고 추출된 특징점 데이터 및 연산된 상태 벡터를 전달하는 인코더; 및상기 특징점 데이터 및 상태 벡터에 대해 학습을 수행하여 설정된 미래의 시점(View Point)을 예측하는 디코더를 포함하는 것을 특징으로 하는 LSTM 기반의 개인화 시점 추정 장치
|
| 6 |
6
다수의 카메라를 통해 소정 수 프레임의 360도 원본 영상을 ERP(Equirectangular Projection) 형태로 획득하는 원본 영상 획득단계;HMD의 자유도 DoF(Degree of Freedom)를 통해 획득된 각 프레임의 원본 영상에서 시점 영상을 획득하는 시점 영상 획득단계;각 프레임 마다 원본 영상 및 시점 영상에 대해 콘볼루션 신경망 알고리즘을 이용하여 1차원 특징점을 각각 추출한 다음 추출된 각 특징점 및 사용자 위치를 일렬의 벡터로 연결하여 입력 데이터를 생성하는 전처리단계; 상기 전처리부의 입력 데이터에 대해 학습을 수행하여 정해진 미래의 사용자 시점을 예측하는 LSTM 수행단계; 및 상기 추정된 미래의 사용자 시점을 포함하는 타일 정보를 네트워크를 통해 전달하는 전송 단계를 포함하는 것을 특징으로 하는 LSTM 기반의 개인화 시점 추정 방법
|
| 7 |
7
제6항에 있어서, 상기 입력 데이터는,임의의 정수 t 프레임의 ERP 영상, DoF를 통해 도출된 시점 위치의 정규화 값, 왜곡 없는 시점 영상 중 적어도 하나를 포함하는 것을 특징으로 하는 LSTM 기반의 개인화 시점 추정 방법
|
| 8 |
8
제6항에 있어서, 상기 LSTM 수행 단계는전처리부의 입력 데이터에 대해 LSTM을 수행하기 위한 특징점 데이터를 추출하고 추출된 특징점 데이터 및 연산된 상태 벡터를 전달하는 단계; 및상기 특징점 데이터 및 셀의 상태 벡터를 토대로 학습을 수행하여 설정된 미래의 사용자 시점을 예측하는 단계를 포함하는 것을 특징으로 하는 LSTM 기반의 개인화 시점 추정 방법
|
| 9 |
9
제6항 내지 제8항 중 한 중의 LSTM 기반의 개인화 시점 추정 방법을 실행하기 위한 프로그램이 기록되고 컴퓨터에서 판단 가능한 기록매체
|
