| 1 |
1
360도 영상의 프레임 별로 중요도를 결정하는 단계;상기 프레임들의 재생 시간의 역순으로 상기 중요도를 누적하여 경로 추적을 위한 중간 영상을 생성하는 단계;상기 중간 영상을 기초로, 상기 프레임들의 재생 시간 순으로 시점 추적을 위한 경로를 결정하는 단계; 및 상기 시점 추적을 위한 경로를 기초로, 상기 360도 영상을 2D 영상으로 변환하는 단계를 포함하고,상기 중요도를 결정하는 단계는상기 360도 영상의 프레임 별로 중요도 볼륨(importance volume)을 결정하는 단계를 포함하며,상기 중간 영상을 생성하는 단계는상기 360도 영상의 프레임 별 중요도 볼륨을 기초로 정의되는 에너지 함수에 따른 누적 에너지(cumulative energy)를 산출함으로써, 상기 중간 영상을 생성하는 단계를 포함하는, 영상을 변환하는 방법
|
| 2 |
2
삭제
|
| 3 |
3
제1항에 있어서, 상기 중요도 볼륨을 결정하는 단계는상기 360도 영상의 이미지 공간에 포함된 각 픽셀의 위도 및 경도에 기초한 해상도(resolution)에 의해 상기 중요도를 샘플링하여 등거리 이미지 공간(equirectangular image spaces)을 생성하는 단계를 포함하는, 영상을 변환하는 방법
|
| 4 |
4
제1항에 있어서, 상기 중요도를 결정하는 단계는상기 중요도 볼륨에서의 공간적 이미지 현저도(spatial image saliency), 시간적 움직임 현저도(temporal motion saliency), 및 객체 현저도(object saliency) 중 적어도 하나의 현저도에 기초하여 중요 영역을 설정하는 단계; 및 상기 중요 영역에 기초하여, 상기 프레임 별로 상기 중요도를 결정하는 단계를 더 포함하는, 영상을 변환하는 방법
|
| 5 |
5
제4항에 있어서, 상기 중요 영역을 설정하는 단계는상기 공간적 이미지 현저도, 상기 시간적 움직임 현저도, 및 객체 현저도의 가중합에 따른 에너지 최적화(energy optimization)를 통해 상기 중요 영역을 설정하는 단계를 포함하는, 영상을 변환하는 방법
|
| 6 |
6
제4항에 있어서, 상기 중요도를 결정하는 단계는상기 적어도 하나의 현저도에, 상기 적어도 하나의 현저도의 공간 분포(spatial distribution)에 따른 클러스터링에 기초한 가중치를 적용하여 상기 중요도를 결정하는 단계를 포함하는, 영상을 변환하는 방법
|
| 7 |
7
제6항에 있어서, 상기 가중치를 적용하여 상기 중요도를 결정하는 단계는상기 적어도 하나의 현저도의 공간 분포를 고려하여 상기 적어도 하나의 현저도에 대응하는 바이너리 맵(binary map)을 생성하는 단계;상기 바이너리 맵을 클러스터링(clustering)하는 단계;상기 클러스터링 결과에 따른 클러스터(cluster)를 기초로, 가우시안 분포(Gaussian distribution)를 따르는 가중치 맵(weight map)을 생성하는 단계상기 가중치 맵에 따른 가중치를, 상기 가중치 맵에 대응하는 적어도 하나의 현저도에 적용하여 상기 중요도를 결정하는 단계를 포함하는, 영상을 변환하는 방법
|
| 8 |
8
제7항에 있어서, 상기 가중치 맵은 상기 바이너리 맵 상의 어느 한 점과 상기 클러스터의 중심 간의 거리에 반비례하는 가중치 값을 가지는, 영상을 변환하는 방법
|
| 9 |
9
제1항에 있어서, 상기 중간 영상을 생성하는 단계는상기 중요도 볼륨을 기초로, 최대 중요도를 갖는 경로를 찾기 위한 에너지 함수를 정의하는 단계; 및 상기 에너지 함수에 따른 누적 에너지(cumulative energy)를 산출하는 동적 프로그래밍(dynamic programming) 기법을 이용하여 상기 중간 영상을 생성하는 단계를 포함하는, 영상을 변환하는 방법
|
| 10 |
10
제1항에 있어서, 상기 시점 추적을 위한 경로를 결정하는 단계는상기 중요도 볼륨에서의 어느 한 포인트(point)에 인접한 복수 개의 인접포인트들 중 최대 누적 에너지를 갖는 인접 포인트를 선택하는 단계; 및 상기 선택된 인접 포인트에 기초하여, 상기 시점 추적을 위한 경로를 결정하는 단계를 포함하는, 영상을 변환하는 방법
|
| 11 |
11
제1항에 있어서, 사용자 인터랙션(user interaction)에 의해 상기 360도 영상으로부터 상기 사용자에 의해 선택된 포인트를 입력받는 단계를 더 포함하고, 상기 시점 추적을 위한 경로를 결정하는 단계는상기 중간 영상 및 상기 입력된 포인트를 기초로, 상기 프레임들의 재생 시간 순으로 상기 시점 추적을 위한 경로를 결정하는 단계를 포함하는, 영상을 변환하는 방법
|
| 12 |
12
제1항에 있어서, 상기 시점 추적을 위한 경로를 결정하는 단계는상기 360도 영상에 대응하는 비디오 공간에서 인접한 포인트들 사이의 최대 중요도를 추적함으로써 상기 중간 영상의 중요 영역을 통과하는 초기 최적 경로를 생성하는 단계; 및 큐빅 스플라인 곡선(cubic spline curve)을 상기 초기 최적 경로에 피팅하는 커브 피팅(curve fitting)을 통해 상기 시점 추적을 위한 경로를 실시간으로 스무딩하는 단계를 포함하는, 영상을 변환하는 방법
|
| 13 |
13
제12항에 있어서, 상기 2D 영상으로 변환하는 단계는가상 카메라를 상기 스무딩된 경로에 따라 회전시킴으로써 상기 360도 영상을 2D 영상으로 변환하는 단계를 포함하는, 영상을 변환하는 방법
|
| 14 |
14
제1항에 있어서, 상기 시점 추적을 위한 경로를 결정하는 단계는상기 시점 추적을 위한 경로 상의 어느 한 포인트에 대한 커브 피팅 에너지(curve fitting energy)와 비선형 에너지(non-linear energy)의 합이 최소가 되도록 하는 에너지 최소화 방정식에 기초하여, 상기 시점 추적을 위한 경로를 결정하는 단계를 포함하는, 영상을 변환하는 방법
|
| 15 |
15
제1항에 있어서, 사용자의 시점 변화에 따른 현재 프레임에서의 시점의 변화량을 기초로, 상기 사용자가 현재 보고 있는 영역을 전면으로 회전시키는 복원 가이던스를 활성화하는 단계를 더 포함하는, 영상을 변환하는 방법
|
| 16 |
16
하드웨어와 결합되어 제1항 및 제3항 내지 제15항 중 어느 하나의 항의 방법을 실행시키기 위하여 컴퓨터 판독 가능한 기록 매체에 저장된 컴퓨터 프로그램
|
| 17 |
17
360도 영상을 수신하는 통신 인터페이스; 및 상기 360도 영상의 프레임 별로 중요도를 결정하고, 상기 프레임들의 재생 시간의 역순으로 상기 중요도를 누적하여 경로 추적을 위한 중간 영상을 생성하고, 상기 중간 영상을 기초로, 상기 프레임들의 재생 시간 순으로 시점 추적을 위한 경로를 결정하며, 상기 시점 추적을 위한 경로를 기초로 상기 360도 영상을 2D 영상으로 변환하는 프로세서를 포함하고, 상기 프로세서는 상기 360도 영상의 프레임 별로 중요도 볼륨(importance volume)을 결정하며, 상기 360도 영상의 프레임 별 중요도 볼륨을 기초로 정의되는 에너지 함수에 따른 누적 에너지를 산출함으로써 상기 중간 영상을 생성하는, 영상을 변환하는 장치
|
| 18 |
18
제17항에 있어서,상기 변환된 2D 영상을 디스플레이하는 디스플레이 장치를 더 포함하는, 영상을 변환하는 장치
|
| 19 |
19
삭제
|
| 20 |
20
제17항에 있어서, 상기 프로세서는상기 360도 영상의 프레임 별로 상기 중요도 볼륨에서의 공간적 이미지 현저도, 시간적 움직임 현저도, 및 객체 현저도 중 적어도 하나의 현저도에 기초하여 중요 영역을 설정하고, 상기 중요 영역에 기초하여, 상기 프레임 별 중요도를 결정하는, 영상을 변환하는 장치
|
