| 1 |
1
영상 스트리밍 장치에 의한 배경 영상 및 전경 영상 분리 기반 360도 영상 스트리밍 방법으로서,(a) 입력 360도 영상에 포함된 복수의 프레임에 대하여 입력 배경 영상을 생성하는 단계;(b) 상기 복수의 프레임의 배경 영상의 밝기 변화율에 기초하여 결정된 프레임율에 따라 인코딩된 배경 영상을 생성하는 단계;(c) 상기 입력 360도 영상 및 상기 입력 배경 영상에 기초하여, 상기 입력 360도 영상에 포함된 복수의 프레임으로부터 입력 전경 영상을 분리하는 단계; 및(d) 분리된 상기 입력 전경 영상에 대하여 객체 별 서브 이미지를 추출하고 합성하여 인코딩된 객체 영상을 생성하는 단계를 포함하고,상기 (b) 단계는,상기 밝기 변화율의 크기에 비례하도록 프레임율을 설정하여 입력 배경 영상을 인코딩하거나,상기 밝기 변화율의 크기가 소정의 크기 이상이면 상기 소정의 크기 미만일 때보다 프레임율을 높여 입력 배경 영상을 인코딩하거나,상기 밝기 변화율의 크기가 소정의 크기 이상일 때에만 입력 배경 영상을 업데이트하여 인코딩하는 것인, 배경 영상 및 전경 영상 분리 기반 360도 영상 스트리밍 방법
|
| 2 |
2
제1항에 있어서,상기 입력 360도 영상은 고정형 360도 영상인 것인, 배경 영상 및 전경 영상 분리 기반 360도 영상 스트리밍 방법
|
| 3 |
3
제1항에 있어서,상기 (a) 단계는, 상기 복수의 프레임에 대하여 Weighted Temporal Average 또는 Gaussian Mixture Model을 이용하여 상기 입력 배경 영상을 생성하는 것인, 배경 영상 및 전경 영상 분리 기반 360도 영상 스트리밍 방법
|
| 4 |
4
제1항에 있어서,상기 (b) 단계에서,상기 밝기 변화율은 인접 프레임 간의 차분 또는 평균 밝기 값의 차이를 이용하여 계산되는 것인, 배경 영상 및 전경 영상 분리 기반 360도 영상 스트리밍 방법
|
| 5 |
5
삭제
|
| 6 |
6
제1항에 있어서,상기 (c) 단계는,상기 입력 배경 영상과 상기 입력 360도 영상의 차분에 대한 문턱치를 기준으로 입력 전경 영상을 분리하거나,머신 러닝에서의 영상 내 객체 검출 및 인식 기능을 이용하여 입력 전경 영상을 분리하는 것인, 배경 영상 및 전경 영상 분리 기반 360도 영상 스트리밍 방법
|
| 7 |
7
제1항에 있어서,상기 (d) 단계는,(d1) 분리된 상기 입력 전경 영상에 대하여 객체 별 라벨링을 수행하여 객체 별 라벨 정보를 생성하는 단계;(d2) 상기 객체 별 라벨링에 기초하여 인접 프레임 간 객체 별로 동일 객체인지 여부를 판별하고 인접 프레임 간 객체 별 크기 및 위치 중 적어도 하나에 관한 변경 정보를 업데이트하는 객체 별 추적을 수행하는 단계;(d3) 상기 객체 별 라벨링 및 상기 객체 별 추적에 기초하여 상기 복수의 프레임 각각에 대한 객체 별 타일을 결정하는 단계;(d4) 결정된 상기 객체 별 타일에 기반하여 상기 입력 360도 영상으로부터 상기 복수의 프레임 각각에 대한 객체 별 서브 이미지를 추출하는 단계;(d5) 추출된 상기 객체 별 서브 이미지에 대응하는 객체 별 타일에 관한 정보 및 외부로부터 전달받은 시청 방향 정보에 기초하여, 상기 객체 별 서브 이미지마다의 객체 별 비트율을 결정하는 단계; 및(d6) 생성된 상기 객체 별 라벨 정보, 추출된 상기 객체 별 서브 이미지 및 결정된 상기 객체 별 비트율을 고려하여 객체 영상을 인코딩하는 단계를 포함하는 것인, 배경 영상 및 전경 영상 분리 기반 360도 영상 스트리밍 방법
|
| 8 |
8
제7항에 있어서,상기 (d1) 단계에서, 상기 객체 별 라벨링은, 상기 입력 배경 영상과 상기 입력 360도 영상의 차분 및 이진화를 통해 생성된 이진 전경 영상에서 상호 연결된 것으로 판단되는 복수의 전경 픽셀을 하나의 객체로 처리하고, 처리된 적어도 하나의 객체 별로 고유 ID, 위치정보 및 크기정보를 포함하는 객체 별 라벨 정보를 생성하도록 이루어지는 것인, 배경 영상 및 전경 영상 분리 기반 360도 영상 스트리밍 방법
|
| 9 |
9
제7항에 있어서,상기 (d2) 단계에서, 상기 객체 별 추적은, 상기 객체 별 라벨 정보에 기반한 객체 별 위치 및 크기의 유사도를 이용한 객체 추적 방법, 또는 머신 러닝을 이용한 객체 추적 방법에 의해, 인접 프레임 간 동일 객체인지 판별하여 이루어지고,상기 (d3) 단계에서, 상기 객체 별 타일은, 상기 객체 별 라벨 정보 및 상기 객체 별 추적 결과를 이용하여 각 객체를 포함하는 크기 및 위치로 결정되는 것인, 배경 영상 및 전경 영상 분리 기반 360도 영상 스트리밍 방법
|
| 10 |
10
제7항에 있어서,상기 (d5) 단계에서, 상기 객체 별 비트율은, 상기 시청 방향 정보로부터 파악되는 시청 방향과 객체의 위치 사이의 이격 거리 및 객체에 대응하는 객체 별 타일의 크기를 고려하여 결정되는 것인, 배경 영상 및 전경 영상 분리 기반 360도 영상 스트리밍 방법
|
| 11 |
11
제10항에 있어서,상기 객체 별 비트율은, 상기 이격 거리에 반비례하고, 상기 객체 별 타일의 크기에 비례하게 결정되는 것인, 배경 영상 및 전경 영상 분리 기반 360도 영상 스트리밍 방법
|
| 12 |
12
제1항에 있어서,(e) 다른 영상 스트리밍 장치로부터, 상기 (b) 단계를 통해 인코딩된 배경 영상 및 상기 (d) 단계를 통해 인코딩된 객체 영상을 전송받아 재구성 360도 영상을 생성하는 단계를 더 포함하는 배경 영상 및 전경 영상 분리 기반 360도 영상 스트리밍 방법
|
| 13 |
13
제12항에 있어서,상기 (e) 단계는,(e1) 전송받은 인코딩된 배경 영상을 디코딩하는 단계;(e2) 디코딩된 배경 영상 중 입력 배경 영상보다 낮은 프레임율이 할당된 배경 영상을 메모리부에 임시 저장하는 단계;(e3) 전송받은 인코딩된 객체 영상을 디코딩하는 단계; 및(e4) 상기 디코딩된 배경 영상, 상기 디코딩된 객체 영상, 객체 별 라벨 정보에 포함된 객체 별 위치정보, 및 상기 메모리부에 임시 저장된 배경 영상을 이용하여 프레임을 재구성함으로써 상기 재구성 360도 영상을 생성하는 단계를 포함하는 것인, 배경 영상 및 전경 영상 분리 기반 360도 영상 스트리밍 방법
|
| 14 |
14
제13항에 있어서,상기 (e) 단계는, (e5) 프레임 재구성에 의한 화질 열화를 개선하도록 상기 재구성 360도 영상을 후처리하는 단계를 더 포함하는 것인, 배경 영상 및 전경 영상 분리 기반 360도 영상 스트리밍 방법
|
| 15 |
15
영상 스트리밍 장치에 의한 배경 영상 및 전경 영상 분리 기반 360도 영상 스트리밍 장치로서,입력 360도 영상에 포함된 복수의 프레임에 대하여 입력 배경 영상을 생성하는 배경 생성부;상기 복수의 프레임의 배경 영상의 밝기 변화율에 기초하여 결정된 프레임율에 따라 인코딩된 배경 영상을 생성하는 배경 인코더;상기 입력 360도 영상 및 상기 입력 배경 영상에 기초하여 상기 입력 360도 영상에 포함된 복수의 프레임으로부터 입력 전경 영상을 분리하는 전경 분리부; 및분리된 상기 입력 전경 영상에 대하여 객체 별 서브 이미지를 추출하고 합성하여 인코딩된 객체 영상을 생성하는 전경 처리부를 포함하고,상기 배경 인코더는,상기 밝기 변화율의 크기에 비례하도록 프레임율을 설정하여 입력 배경 영상을 인코딩하거나,상기 밝기 변화율의 크기가 소정의 크기 이상이면 상기 소정의 크기 미만일 때보다 프레임율을 높여 입력 배경 영상을 인코딩하거나,상기 밝기 변화율의 크기가 소정의 크기 이상일 때에만 입력 배경 영상을 업데이트하여 인코딩하는 것인, 배경 영상 및 전경 영상 분리 기반 360도 영상 스트리밍 장치
|
| 16 |
16
제1항 내지 제4항 및 제6항 내지 제14항 중 어느 한 항의 방법을 컴퓨터에서 실행하기 위한 프로그램을 기록한 컴퓨터에서 판독 가능한 기록매체
|
