| 1 |
1
스트리밍 서버에 의해 수행되는 다시점 동영상에서의 객체 처리 방법에 있어서,a) 콘텐츠 제작 단말로부터 전방향으로 배열된 하나 이상의 카메라를 이용하여 촬영된 시점별 영상 데이터를 실시간 수신하는 단계;b) 상기 시점별 영상 데이터에 대한 영상 스티칭 및 색상 톤 보정을 수행하는 영상 보정 알고리즘을 수행하여 하나의 다시점 영상으로 병합하는 단계;b) 상기 병합된 다시점 영상에서 사용자의 시야각을 기준으로 관심 영역을 설정하고, 인공 지능 기반의 객체 검출 모델을 이용하여 상기 관심 영역에서 하나 이상의 객체 영상을 추출한 후 상기 추출된 객체 영상에 대한 메타 데이터를 저장하는 단계;c) 상기 객체 영상에 상응하는 증강현실(Augmented Reality, AR) 콘텐츠를 생성하고, 상기 다시점 영상에 상기 객체 영상, AR 콘텐츠 및 메타데이터를 통합하여 360도 스트리밍 영상을 생성하여 저장하는 단계; 및d) 사용자 단말의 요청에 따라 상기 360도 스트리밍 영상을 상기 사용자 단말에 제공하고, 상기 360도 스트리밍 영상이 재생되는 도중에 상기 사용자 단말에 의해 관심 객체가 선택되면, 상기 관심 객체에 포함된 AR 콘텐츠를 실시간 출력하는 단계를 포함하되,상기 인공 지능 기반의 객체 검출 모델은,네트워크를 통해 복수의 360도 스트리밍 영상을 수집하여 학습 영상으로 저장하고, 상기 학습 영상들 중 객체 영상에 대한 레이블링 작업을 수행하여 레이블링 데이터를 데이터베이스에 저장하며, 상기 데이터베이스에 저장된 학습 영상에 기초하여 상기 레이블링 데이터를 학습하는 것인, 다시점 동영상에서의 객체 처리 방법
|
| 2 |
2
제 1 항에 있어서,상기 b) 단계는, 상기 시점별 영상 데이터에서 하나 이상의 특징점을 검출하는 단계;상기 시점별 영상 데이터의 특징점들을 비교하여 서로 이웃한 시점의 영상 데이터들 간에 동일한 특징점들을 동일점으로 매칭하여 대응쌍들을 생성하는 단계; 및상기 대응 쌍들로부터 각 시점별 영상 데이터들 간의 변환행렬을 계산하고, 상기 변환 행렬을 통해 영상 스티칭을 수행하는 단계를 포함하는 것인, 다시점 동영상에서의 객체 처리 방법
|
| 3 |
3
제 2 항에 있어서,상기 시점별 영상 데이터에서 하나 이상의 특징점을 검출하는 단계는, SIFT(Scale Invariant Feature Transform) 알고리즘과 SURF(Speeded Up Robust Feature) 알고리즘 중 어느 하나의 알고리즘을 이용하여 특징점을 검출하는 것인, 다시점 동영상에서의 객체 처리 방법
|
| 4 |
4
제 2 항에 있어서,상기 b) 단계는,상기 매칭된 대응 쌍들간의 변환 관계를 RANSAC(RANdom SAmple Consensus) 알고리즘을 사용하여 하기 수학식 1의 동차형(Homogeneous)으로 표현된 변환 행렬을 통해 회전 행렬 및 이동 벡터를 계산하는 것인, 다시점 동영상에서의 객체 처리 방법
|
| 5 |
5
제 1 항에 있어서,상기 b) 단계는,상기 영상 스티칭을 통해 병합된 서로 이웃한 시점의 영상 데이터들간에 중첩되는 영역에서의 색상 보정을 위한 색상 변형 가중치를 계산하고, 상기 색상 변형 가중치를 이용하여 전체 영상 데이터의 색상 톤을 보정하는 것인, 다시점 동영상에서의 객체 처리 방법
|
| 6 |
6
제 5 항에 있어서,상기 b) 단계는, 하기 수학식 2를 이용하여 상기 색상 변형 가중치의 최소값을 계산하고, 상기 색상 변형 가중치의 최소값을 전체 영상 데이터에 적용하는 것인, 다시점 동영상에서의 객체 처리 방법
|
| 7 |
7
제 1 항에 있어서,상기 메타데이터는 상기 객체 영상에 대한 객체의 종류, 객체 위치 정보 및 크기 정보를 포함하는 것인, 다시점 동영상에서의 객체 처리 방법
|
| 8 |
8
다시점 동영상에서의 객체 처리를 위한 스트리밍 서버에 있어서,다시점 동영상에서의 객체 처리 방법을 수행하기 위한 프로그램이 기록된 메모리; 및상기 프로그램을 실행하기 위한 프로세서를 포함하며,상기 프로세서는, 상기 프로그램의 실행에 의해, 콘텐츠 제작 단말로부터 전방향으로 배열된 하나 이상의 카메라를 이용하여 촬영된 시점별 영상 데이터를 실시간 수신하여, 상기 시점별 영상 데이터에 대한 영상 스티칭 및 색상 톤 보정을 수행하는 영상 보정 알고리즘을 수행하여 하나의 다시점 영상으로 병합하고, 상기 병합된 다시점 영상에서 사용자의 시야각을 기준으로 관심 영역을 설정하고, 인공 지능 기반의 객체 검출 모델을 이용하여 상기 관심 영역에서 하나 이상의 객체 영상을 추출한 후 상기 추출된 객체 영상에 대한 메타 데이터를 저장하며, 상기 객체 영상에 상응하는 증강현실(Augmented Reality, AR) 콘텐츠를 생성하고, 상기 다시점 영상에 상기 객체 영상, AR 콘텐츠 및 메타데이터를 통합하여 360도 스트리밍 영상을 생성하여 저장하고, 사용자 단말의 요청에 따라 상기 360도 스트리밍 영상을 상기 사용자 단말에 제공하고, 상기 360도 스트리밍 영상이 재생되는 도중에 상기 사용자 단말에 의해 관심 객체가 선택되면, 상기 관심 객체에 포함된 AR 콘텐츠를 실시간 출력하되,상기 인공 지능 기반의 객체 검출 모델은,네트워크를 통해 복수의 360도 스트리밍 영상을 수집하여 학습 영상으로 저장하고, 상기 학습 영상들 중 객체 영상에 대한 레이블링 작업을 수행하여 레이블링 데이터를 데이터베이스에 저장하며, 상기 데이터베이스에 저장된 학습 영상에 기초하여 상기 레이블링 데이터를 학습하는 것인, 스트리밍 서버
|
| 9 |
9
제 8 항에 있어서,상기 프로세서는, 상기 시점별 영상 데이터에서 하나 이상의 특징점을 검출한 후, 상기 시점별 영상 데이터의 특징점들을 비교하여 서로 이웃한 시점의 영상 데이터들 간에 동일한 특징점들을 동일점으로 매칭하여 대응쌍들을 생성하고, 상기 대응 쌍들로부터 각 시점별 영상 데이터들 간의 변환행렬을 계산하고, 상기 변환 행렬을 통해 영상 스티칭을 수행하는 것인, 스트리밍 서버
|
| 10 |
10
제 8 항에 있어서,상기 프로세서는,상기 영상 스티칭을 통해 병합된 서로 이웃한 시점의 영상 데이터들간에 중첩되는 영역에서의 색상 보정을 위한 색상 변형 가중치를 계산하고, 상기 색상 변형 가중치를 이용하여 전체 영상 데이터의 색상 톤을 보정하는 것인, 스트리밍 서버
|
| 11 |
11
다시점 동영상에서의 객체 처리 방법을 수행하는 프로그램을 기록한 컴퓨터 판독 가능한 저장매체로서,상기 프로그램은,콘텐츠 제작 단말로부터 전방향으로 배열된 하나 이상의 카메라를 이용하여 촬영된 시점별 영상 데이터를 실시간 수신하여, 상기 시점별 영상 데이터에 대한 영상 스티칭 및 색상 톤 보정을 수행하는 영상 보정 알고리즘을 수행하여 하나의 다시점 영상으로 병합하고, 상기 병합된 다시점 영상에서 사용자의 시야각을 기준으로 관심 영역을 설정하고, 인공 지능 기반의 객체 검출 모델을 이용하여 상기 관심 영역에서 하나 이상의 객체 영상을 추출한 후 상기 추출된 객체 영상에 대한 메타 데이터를 저장하며, 상기 객체 영상에 상응하는 증강현실(Augmented Reality, AR) 콘텐츠를 생성하고, 상기 다시점 영상에 상기 객체 영상, AR 콘텐츠 및 메타데이터를 통합하여 360도 스트리밍 영상을 생성하여 저장하고, 사용자 단말의 요청에 따라 상기 360도 스트리밍 영상을 상기 사용자 단말에 제공하고, 상기 360도 스트리밍 영상이 재생되는 도중에 상기 사용자 단말에 의해 관심 객체가 선택되면, 상기 관심 객체에 포함된 AR 콘텐츠를 실시간 출력하되,상기 인공 지능 기반의 객체 검출 모델은,네트워크를 통해 복수의 360도 스트리밍 영상을 수집하여 학습 영상으로 저장하고, 상기 학습 영상들 중 객체 영상에 대한 레이블링 작업을 수행하여 레이블링 데이터를 데이터베이스에 저장하며, 상기 데이터베이스에 저장된 학습 영상에 기초하여 상기 레이블링 데이터를 학습하는 것을 특징으로 하는 다시점 동영상에서의 객체 처리 방법을 수행하는 프로그램이 기록된 컴퓨터 판독가능 기록매체
|
