| 1 |
1
하나의 전사적 자원 관리(Enterprise Resource Planning, ERP) 형태의 파노라마 비디오를 복수의 타일로 공간 분할한 후 영상 MPD(Media Presentation Description) 및 오디오 MPD를 포함하는 MPD를 생성하고 생성된 MPD 및 각 타일 별로 압축 코딩하여 미디어 데이터 형태로 전달하는 컨텐츠 제작부; 수신된 미디어 데이터를 기 정해진 소정 시간 단위의 세그먼트로 분할한 다음 MPD와 세그먼트 타일을 네트워크의 기준 대역폭을 통해 전송하는 HTTP 서버;수신된 세그먼트 타일과 영상 MPD 및 오디오 MPD를 토대로 사용자 시점 위치를 예측하고, 다음에 제공받을 세그먼트의 비트율을 대역폭 상황 기반 적응적으로 결정하며 결정된 세그먼트 비트율로 할당된 대역폭을 HTTP 서버로 전달하는 클라이언트 장치를 포함하고, 상기 HTTP 서버는 클라이언트 장치로부터 제공받은 할당된 대역폭으로 다음 제공할 세그먼트를 클라이언트 장치로 전송하도록 구비되고,상기 클라이언트 장치는 수신된 세그먼트 타일에 대해 VR 엔진에서 디코딩을 수행하여 영상 및 오디오를 획득하고 획득된 영상 및 오디오를 360도 공간에 랜더링하여 재생하도록 구비되는 것을 특징으로 하는 360도 VR 콘텐츠 내의 음원 위치 정보를 이용한 사용자의 시점 예측 시스템
|
| 2 |
2
제1항에 있어서, 상기 오디오 MPD는 음원정위정보(SLI: Sound Localization Information)이고, 오디오 MPD의 설명 셋은 SLI의 설명 셋(SLID: Sound Localization Information Description)을 포함하며, SLI의 설명 셋(SILD)는 음원 정위 식별자(SLI_id), 360도 공간 내의 음원의 위치(x, y, z 축 값), 및 패닝 모델(panning model)를 포함하는 것을 특징으로 하는 특징으로 하는 360도 VR 콘텐츠 내의 음원 위치 정보를 이용한 사용자의 시점 예측 시스템
|
| 3 |
3
제2항에 있어서, 상기 클라이언트 장치는, 수신된 세그먼트 타일과 MPD를 파싱하는 MPD 파서;상기 파싱된 MPD의 영상 MPD 및 오디오 MPD를 토대로 사용자 시점 위치를 예측하고, 다음에 제공받을 세그먼트의 비트율을 대역폭 상황 기반 적응적으로 결정하며 결정된 세그먼트 비트율로 할당된 대역폭을 HTTP 서버로 전달하는 처리부; 및상기 처리부를 통해 수신된 세그먼트를 디코딩하여 오디오 및 영상을 획득하고 획득된 오디오 및 영상을 360도 공간 3차원 랜더링하여 재생하는 VR 엔진을 포함하는 것을 특징으로 하는 360도 VR 콘텐츠 내의 음원 위치 정보를 이용한 사용자의 시점 예측 시스템
|
| 4 |
4
제3항에 있어서, 상기 처리부는, 관심영역정보(ROI), 음원정위정보(SLI), 현재 시점(viewport), 및 폴(Pole) 중 적어도 하나의 항목 별 타일 가중치와 기준 비트율과 대역폭 상황별 순위와 관심영역정보(ROI), 음원정위정보(SLI), 현재 시점(viewport), 및 폴(Pole)에 위치한 타일을 토대로 다음 제공받을 세그먼트 비트율을 결정하며, 결정된 세그먼트 비트율로 대역폭을 할당하여 HTTP 서버로 전달하도록 구비되는 것을 특징으로 하는 360도 VR 콘텐츠 내의 음원 위치 정보를 이용한 사용자의 시점 예측 시스템
|
| 5 |
5
제4항에 있어서, 상기 처리부의 가중치는, 대역폭 상황 별로 기 정해진 관심영역정보(ROI), 음원정위정보(SLI), 현재 시점(viewport), 및 폴(Pole) 각각의 항목과 매칭되어 저장되는 것을 특징으로 하는 특징으로 하는 360도 VR 콘텐츠 내의 음원 위치 정보를 이용한 사용자의 시점 예측 시스템
|
| 6 |
6
제4항에 있어서, 상기 처리부는, 각 항목 별 가중치의 합계의 순위 r이 1인 경우 대역폭 상황이 매우 좋음 상태로 판정한 다음, SLI에 해당하는 타일의 가중치 wS, ROI에 해당하는 타일의 가중치 wR, 현재 시점(viewport)에 해당하는 타일의 가중치 wV, 폴(Pole)에 해당하는 타일의 가중치 wP 각각을 최대 가중치 값 세트 max wX 로 설정하고,i번째 타일의 비트율 Ri 를 최대 가중치 값 wX, i번째 타일 ti, 및 기준 비트율 Rf의 곱의 합으로 도출하도록 구비되는 것을 특징으로 하는 특징으로 하는 360도 VR 콘텐츠 내의 음원 위치 정보를 이용한 사용자의 시점 예측 시스템
|
| 7 |
7
제4항에 있어서, 상기 처리부는, 각 항목 별 가중치의 합계의 순위 r이 2인 경우 대역폭 상황을 좋음 상태로 판정한 다음, SLI에 해당하는 타일의 가중치 wS, ROI에 해당하는 타일의 가중치 wR, 현재 시점(viewport)에 해당하는 타일의 가중치 wV 를 최대 가중치 값 세트 max wx 로 설정하고, 폴(Pole)에 해당하는 타일의 가중치 wP 를 최대 가중치 값 세트(max wx )에서 1을 감산한 값 max wx -1 로 설정하고,세그먼트 비트율 Ri 를 각 관심영역정보(ROI), 음원정위정보(SLI), 및 현재 시점(Viewport)의 각 타일의 합(S+R+V), 기준 비트율 Rf, 및 최대 가중치 값 max wX 의 곱과 주파수 영역의 폴(pole)의 타일 P, 기준 비트율 Rf , 및 최대 가중치 값 세트(max wx )에서 1을 감산한 값 max wx -1 의 곱의 합으로 도출하도록 구비되는 것을 특징으로 하는 360도 VR 콘텐츠 내의 음원 위치 정보를 이용한 사용자의 시점 예측 시스템
|
| 8 |
8
제4항에 있어서, 상기 처리부는 각 항목 별 가중치의 합계의 순위 r이 3인 경우 대역폭 상황을 나쁨 상태로 판정한 다음, SLI에 해당하는 타일의 가중치 wS, 및 ROI에 해당하는 타일의 가중치 wR 를 최대 가중치 값 세트 max wx 로 설정하며, 현재 시점(viewport)에 해당하는 타일의 가중치 wV 및 폴(Pole)에 해당하는 타일의 가중치 wP 를 최대 가중치 값 세트(max wx )에서 1을 감산한 값 max wx -1 로 설정하고,영상 세트 R 에 대한 세그먼트 비트율 Ri 를 각 관심영역정보(ROI), 및 음원정위정보(SLI) 각 타일의 합(S+R), 기준 비트율 Rf, 및 최대 가중치 값 max wX 의 곱과 현지 시점(Viewport)의 타일 V 및 주파수 영역의 폴(pole)의 타일 P 의 합(V+P), 기준 비트율 Rf, 및 최대 가중치 값 세트(max wx )에서 1을 감산한 값 max wx -1 의 곱의 합으로 도출하도록 구비되는 것을 특징으로 하는 특징으로 하는 360도 VR 콘텐츠 내의 음원 위치 정보를 이용한 사용자의 시점 예측 시스템
|
| 9 |
9
제4항에 있어서, 상기 처리부는, 각 항목 별 가중치의 합계의 순위 r이 4인 경우 대역폭 상황을 매우 나쁨 상태로 판정한 다음, SLI에 해당하는 타일의 가중치 wS, 및 ROI에 해당하는 타일의 가중치 wR 를 최대 가중치 값 세트 max wx 로 설정하고, 현재 시점(viewport)에 해당하는 타일의 가중치 wV 를 최대 가중치 값 세트(max wx )에서 1을 감산한 값 max wx -1 로 설정하며, 폴(Pole)에 해당하는 타일의 가중치 wP 를 최대 가중치 값 세트(max wx )에서 2를 감산한 값 max wx -2 로 설정하고, 영상 세트 R 에 대한 비트율 Ri 를 각 관심영역정보(ROI), 및 음원정위정보(SLI) 각 타일의 합(S+R), 기준 비트율 Rf, 및 최대 가중치 값 max wX 의 곱과 현지 시점(Viewport)의 타일 V 와 기준 비트율 Rf, 및 최대 가중치 값 세트(max wx )에서 1을 감산한 값 max wx -1 의 곱과 주파수 영역의 폴(pole)의 타일 P, 기준 비트율 Rf, 및 최대 가중치 값 세트(max wx )에서 2를 감산한 값 max wx -2 의 곱의 합으로 도출하도록 구비되는 것을 특징으로 하는 360도 VR 콘텐츠 내의 음원 위치 정보를 이용한 사용자의 시점 예측 시스템
|
| 10 |
10
a) 컨텐츠 제작부 하나의 전사적 자원 관리(Enterprise Resource Planning, ERP) 형태의 파노라마 비디오를 복수의 타일로 공간 분할한 후 영상 MPD(Media Presentation Description) 및 오디오 MPD를 포함하는 MPD를 생성하고 생성된 MPD 및 각 타일 별로 압축 코딩하여 미디어 데이터 형태로 HTTP 서버로 전달하는 단계; (b) HTTP 서버에서 수신된 미디어 데이터를 기 정해진 소정 시간 단위의 세그먼트로 분할한 다음 MPD와 세그먼트 타일을 네트워크의 기준 대역폭을 통해 클라이언트 장치로 전송하는 단계; (c) 클라이언트 장치에서 수신된 세그먼트 타일과 영상 MPD 및 오디오 MPD를 토대로 사용자 시점 위치를 예측하고, 다음에 제공받을 세그먼트의 비트율을 대역폭 상황 기반 적응적으로 결정하며 결정된 세그먼트 비트율로 할당된 대역폭을 HTTP 서버로 전달하는 단계; (d) HTTP 서버에서 클라이언트 장치로부터 제공받은 할당된 대역폭으로 다음 제공할 세그먼트를 클라이언트 장치로 전송하는 단계; 및 (e) 클라이언트 장치를 경유하여 전달받은 세그먼트 타일에 대해 VR 엔진에서 디코딩을 수행하여 영상 및 오디오를 획득하고 획득된 영상 및 오디오를 360도 공간에 랜더링하여 재생하는 단계를 포함하는 것을 특징으로 하는 360도 VR 콘텐츠 내의 음원 위치 정보를 이용한 사용자의 시점 예측 방법
|
| 11 |
11
제10항에 있어서, 상기 오디오 MPD는 음원정위정보(SLI: Sound Localization Information)이고, 오디오 MPD의 설명 셋은 SLI의 설명 셋(SLID)을 포함하며, SLI의 설명 셋(SILD)는 음원 정위 식별자(SLI_id), 360도 공간 내의 음원의 위치(x, y, z 축 값), 및 패닝 모델(panning model)를 포함하는 것을 특징으로 하는 특징으로 하는 360도 VR 콘텐츠 내의 음원 위치 정보를 이용한 사용자의 시점 예측 방법
|
| 12 |
12
제10항에 있어서, 상기 (c) 단계는, 관심영역정보(ROI), 음원정위정보(SLI), 현재 시점(viewport), 및 폴(Pole) 중 적어도 하나의 항목 별 타일 가중치와, 기준 비트율과, 대역폭 상황별 순위와 관심영역정보(ROI), 음원정위정보(SLI), 현재 시점(viewport), 및 폴(Pole)에 위치한 타일을 토대로 다음 제공받을 세그먼트 비트율을 결정하며, 결정된 세그먼트 비트율로 대역폭을 할당하여 HTTP 서버로 전달하도록 구비되는 것을 특징으로 하는 특징으로 하는 360도 VR 콘텐츠 내의 음원 위치 정보를 이용한 사용자의 시점 예측 방법
|
| 13 |
13
제12항에 있어서, 상기 c) 단계의 가중치는, 대역폭 상황 별로 기 정해진 관심영역정보(ROI), 음원정위정보(SLI), 현재 시점(viewport), 및 폴(Pole) 각각의 항목과 매칭되어 저장하는 것을 특징으로 하는 360도 VR 콘텐츠 내의 음원 위치 정보를 이용한 사용자의 시점 예측 방법
|
| 14 |
14
제12항에 있어서, 상기 (c) 단계는, 각 항목 별 가중치의 합계의 순위 r가 1인 경우 대역폭 상황이 매우 좋음 상태로 판정한 다음, SLI에 해당하는 타일의 가중치 wS, ROI에 해당하는 타일의 가중치 wR, 현재 시점(viewport)에 해당하는 타일의 가중치 wV, 폴(Pole)에 해당하는 타일의 가중치 wP 각각을 최대 가중치 값 세트 max wX 로 설정하고,i번째 타일의 비트율 Ri 를 최대 가중치 값 wX, i번째 타일 ti, 및 기준 비트율 Rf의 곱의 합으로 도출하도록 구비되는 것을 특징으로 하는 360도 VR 콘텐츠 내의 음원 위치 정보를 이용한 사용자의 시점 예측 방법
|
| 15 |
15
제12항에 있어서, 상기 (c) 단계는, 각 항목 별 가중치의 합계의 순위 r가 2인 경우 대역폭 상황을 좋음 상태로 판정한 다음, SLI에 해당하는 타일의 가중치 wS, ROI에 해당하는 타일의 가중치 wR, 현재 시점(viewport)에 해당하는 타일의 가중치 wV 를 최대 가중치 값 세트 max wx 로 설정하고, 폴(Pole)에 해당하는 타일의 가중치 wP 를 최대 가중치 값 세트(max wx )에서 1을 감산한 값 max wx -1 로 설정하고,세그먼트 비트율 Ri 를 각 관심영역정보(ROI), 음원정위정보(SLI), 및 현재 시점(Viewport)의 각 타일의 합(S+R+V), 기준 비트율 Rf, 및 최대 가중치 값 max wX 의 곱과 주파수 영역의 폴(pole)의 타일 P, 기준 비트율 Rf , 및 최대 가중치 값 세트(max wx )에서 1을 감산한 값 max wx -1 의 곱의 합으로 도출하도록 구비되는 것을 특징으로 하는 360도 VR 콘텐츠 내의 음원 위치 정보를 이용한 사용자의 시점 예측 방법
|
| 16 |
16
제12항에 있어서, 상기 (c) 단계는, 각 항목 별 가중치의 합계의 순위 r가 3인 경우 대역폭 상황을 나쁨 상태로 판정한 다음, SLI에 해당하는 타일의 가중치 wS, 및 ROI에 해당하는 타일의 가중치 wR 를 최대 가중치 값 세트 max wx 로 설정하며, 현재 시점(viewport)에 해당하는 타일의 가중치 wV 및 폴(Pole)에 해당하는 타일의 가중치 wP 를 최대 가중치 값 세트(max wx )에서 1을 감산한 값 max wx -1 로 설정하고,영상 세트 R 에 대한 세그먼트 비트율 Ri 를 각 관심영역정보(ROI), 및 음원정위정보(SLI) 각 타일의 합(S+R), 기준 비트율 Rf, 및 최대 가중치 값 max wX 의 곱과 현지 시점(Viewport)의 타일 V 및 주파수 영역의 폴(pole)의 타일 P 의 합(V+P), 기준 비트율 Rf, 및 최대 가중치 값 세트(max wx )에서 1을 감산한 값 max wx -1 의 곱의 합으로 도출하도록 구비되는 것을 특징으로 하는 360도 VR 콘텐츠 내의 음원 위치 정보를 이용한 사용자의 시점 예측 방법
|
| 17 |
17
제12항에 있어서, 상기 (c) 단계는, 각 항목 별 가중치의 합계의 순위 r가 4인 경우 대역폭 상황을 매우 나쁨 상태로 판정한 다음, SLI에 해당하는 타일의 가중치 wS, 및 ROI에 해당하는 타일의 가중치 wR 를 최대 가중치 값 세트 max wx 로 설정하고, 현재 시점(viewport)에 해당하는 타일의 가중치 wV 를 최대 가중치 값 세트(max wx )에서 1을 감산한 값 max wx -1 로 설정하며, 폴(Pole)에 해당하는 타일의 가중치 wP 를 최대 가중치 값 세트(max wx )에서 2를 감산한 값 max wx -2 로 설정하고, 영상 세트 R 에 대한 비트율 Ri 를 각 관심영역정보(ROI), 및 음원정위정보(SLI) 각 타일의 합(S+R), 기준 비트율 Rf, 및 최대 가중치 값 max wX 의 곱과 현지 시점(Viewport)의 타일 V 와 기준 비트율 Rf, 및 최대 가중치 값 세트(max wx )에서 1을 감산한 값 max wx -1 의 곱과 주파수 영역의 폴(pole)의 타일 P, 기준 비트율 Rf, 및 최대 가중치 값 세트(max wx )에서 2를 감산한 값 max wx -2 의 곱의 합으로 도출하도록 구비되는 것을 특징으로 하는 360도 VR 콘텐츠 내의 음원 위치 정보를 이용한 사용자의 시점 예측 방법
|
