| 1 |
1
실시간 스트리밍(real-time streaming)을 위한 라이브 비디오 수집 시스템(live video ingest system)에 있어서,촬영 장치(capture device)에 의해 생성된 라이브 비디오(live video)에 있어, 상기 라이브 비디오의 프레임(frame)의 일부(fraction)인 패치(patch)를 샘플링하고, 샘플링된 패치를 송신하기 위한 대역폭(bandwidth) 및 상기 라이브 비디오를 송신하기 위한 대역폭을 각각 할당하여 전송을 수행하는 인제스트 장치(ingest device); 및상기 인제스트 장치로부터 상기 샘플링된 패치 및 상기 라이브 비디오를 수신하고, 상기 샘플링된 패치를 기초로 심층신경망(Deep Neural Network) 기반의 초해상화 모델(Super Resolution model: SR model)을 온라인 학습(online learning)시키고, 상기 초해상화 모델을 이용하여 상기 라이브 비디오를 초해상화하는 미디어 서버(media server)를 포함하는 것을 특징으로 하는 라이브 비디오 수집 시스템
|
| 2 |
2
제1항에 있어서,상기 인제스트 장치는,상기 라이브 비디오의 원본 프레임(raw frame)으로부터 상기 원본 프레임의 일부(fraction)인 패치(patch)를 샘플링(sampling)하는 패치 샘플러(patch sampler); 및상기 샘플링된 패치를 송신하기 위한 대역폭 및 상기 라이브 비디오를 송신하기 위한 대역폭으로서, 가용 대역폭(available bandwidth)의 전부 또는 일부를 할당(allocate)하는 퀄리티 최적화 스케쥴러(quality-optimizing scheduler)를 포함하고,상기 미디어 서버는,상기 샘플링된 패치를 정답값(ground-truth)으로서 상기 초해상화 모델을 온라인 학습시키는 콘텐트 적응적 트레이너(content-adaptive trainer); 및상기 초해상화 모델을 이용하여 상기 라이브 비디오를 초해상화하는 초해상화 프로세서(super resolution processor)를포함하는 것을 특징으로 하는 라이브 비디오 수집 시스템
|
| 3 |
3
제2항에 있어서,상기 패치 샘플러는,상기 인제스트 장치의 촬영 장치(capture device)로부터 상기 라이브 비디오를 수신하는 비디오 수신부; 및상기 비디오 수신부로부터 수신한 라이브 비디오의 원본 프레임(raw frame)을 전체 프레임의 그리드(grid)를 기초로 샘플링하는 샘플링부를 포함하는 것을 특징으로 하는 라이브 비디오 수집 시스템
|
| 4 |
4
제3항에 있어서,상기 패치 샘플러는,상기 샘플링된 패치의 인코딩 퀄리티가 상기 샘플링된 패치에 대응하는 원본 프레임의 인코딩 퀄리티 대비 낮은 경우에 상기 샘플링된 패치를 상기 미디어 서버로의 송신 대상에 포함시키는 패치 관리부를 더 포함하는 것을 특징으로 하는 라이브 비디오 수집 시스템
|
| 5 |
5
제4항에 있어서,상기 패치 관리부는,상기 인코딩 퀄리티로서 PSNR(Peak-Signal-to-Noise Ration) 또는 SSIM(Structural Similarity Index Measure)을 이용하는 것을 특징으로 하는 라이브 비디오 수집 시스템
|
| 6 |
6
제4항에 있어서,상기 패치 관리부는,상기 송신 대상에 포함된 패치의 수가 기 설정된 최소 패치의 수에 도달할 때까지 패치 샘플링을 반복적으로 수행하는 것을 특징으로 하는 라이브 비디오 수집 시스템
|
| 7 |
7
제3항에 있어서,상기 샘플링된 패치는,타임스탬프(timestamp) 및 그리드 상에서의 위치(location) 정보를 포함하는 것을 특징으로 하는 라이브 비디오 수집 시스템
|
| 8 |
8
제2항에 있어서,상기 퀄리티 최적화 스케쥴러는,상기 가용 대역폭을 추정(estimate)하는 대역폭 측정부; 및상기 샘플링된 패치를 송신하기 위한 대역폭 및 상기 라이브 비디오를 송신하기 위한 대역폭을 연산하여 상기 가용 대역폭의 전부 또는 일부를 할당하는 대역폭 할당부를 포함하는 것을 특징으로 하는 라이브 비디오 수집 시스템
|
| 9 |
9
제8항에 있어서,상기 대역폭 할당부는,상기 라이브 비디오의 인코딩 퀄리티 또는 상기 초해상화 모델의 기대 퀄리티 게인(expected quality gain)을 기초로 상기 가용 대역폭을 할당하는 것을 특징으로 하는 라이브 비디오 수집 시스템
|
| 10 |
10
제9항에 있어서,상기 대역폭 할당부는,상기 콘텐트 적응적 트레이너로부터 피드백 받은 퀄리티 게인(quality gain)을 기초로 상기 기대 퀄리티 게인을 얻는 것을 특징으로 하는 라이브 비디오 수집 시스템
|
| 11 |
11
제10항에 있어서,상기 대역폭 할당부가 상기 콘텐트 적응적 트레이너로부터 퀄리티 게인을 피드백 받는 주기는, 상기 초해상화 모델을 학습시키는 에포크(epoch)를 기초로 설정되는 것을 특징으로 하는 라이브 비디오 수집 시스템
|
| 12 |
12
제9항에 있어서,상기 대역폭 할당부는,인코딩된 라이브 비디오의 GoP(Group of Pictures)의 인코딩 퀄리티를 구하고, GoP의 인코딩 퀄리티의 평균을 연산하여 상기 라이브 비디오의 인코딩 퀄리티를 얻는 것을 특징으로 하는 라이브 비디오 수집 시스템
|
| 13 |
13
제9항에 있어서,상기 대역폭 할당부는,상기 라이브 비디오와 유사한 콘텐트들의 정규화된 퀄리티 곡선(normalized quality curve)을 스케일링(scaling)하여 상기 라이브 비디오의 인코딩 퀄리티를 얻는 것을 특징으로 하는 라이브 비디오 수집 시스템
|
| 14 |
14
제2항에 있어서,상기 콘텐트 적응적 트레이너는,상기 샘플링된 패치 가운데 기 설정된 K 개의 가장 최근 패치에 나머지 패치 대비 큰 가중치(weight)를 부여하여 상기 초해상화 모델을 학습시키는 것을 특징으로 하는 라이브 비디오 수집 시스템
|
| 15 |
15
제2항에 있어서,상기 콘텐트 적응적 트레이너는,상기 미디어 서버가 복수의 GPU(Graphics Processing Unit) 자원을 사용할 수 있는 경우, 미디어 서버에 도달한 순서에 따라 상기 샘플링된 패치들을 그룹화한 패치 그룹을 생성하고, 패치 그룹 별로 GPU 자원을 할당하여 상기 초해상화 모델을 분산 학습시키는 것을 특징으로 하는 라이브 비디오 수집 시스템
|
| 16 |
16
제2항에 있어서,상기 콘텐트 적응적 트레이너는,상기 초해상화 모델의 학습에 따른 퀄리티 게인(gain)을 모니터링하여 퀄리티 게인 포화(quality gain saturation)를 탐지하는 포화 탐지부(saturation detector); 및상기 게인 포화를 고려하여 상기 초해상화 모델을 학습시키는 학습부(learning unit)를 더 포함하는 것을 특징으로 하는 라이브 비디오 수집 시스템
|
| 17 |
17
제16항에 있어서,상기 포화 탐지부는,상기 초해상화 모델의 가장 최근 두 시점 각각에서의 퀄리티 게인의 차(difference)가 기 설정된 게인 포화 한계 이하면서, 게인 포화 한계 이하로 떨어진 횟수가 기 설정된 포화 카운트를 넘어서는 경우를 퀄리티 게인 포화로 판단하고,상기 학습부는,퀄리티 게인이 포화인 경우, 상기 초해상화 모델의 학습을 중단시키고(suspend),상기 퀄리티 최적화 스케쥴러는,상기 초해상화 모델의 학습이 중단된 경우, 상기 샘플링된 패치를 송신하기 위한 대역폭을 기 설정된 최소 대역폭으로 설정하는 것을 특징으로 하는 라이브 비디오 수집 시스템
|
| 18 |
18
제16항에 있어서,상기 콘텐트 적응적 트레이너는,상기 라이브 비디오의 장면 전환(scene change)을 탐지하는 전환 탐지부를 더 포함하는 것을 특징으로 하는 라이브 비디오 수집 시스템
|
| 19 |
19
제18항에 있어서,상기 전환 탐지부는,상기 초해상화 모델의 가장 최근 시점의 퀄리티 게인과 상기 초해상화 모델의 초기 시점의 퀄리티 게인 간 차가 기 설정된 학습 한계 이하면서, 학습 한계 이하로 떨어진 횟수가 기 설정된 학습 카운트를 넘어서는 경우를 장면 전환으로 판단하고,상기 학습부는,퀄리티 게인의 포화 및 라이브 비디오의 장면 전환의 경우, 상기 초해상화 모델의 학습을 가장 최근에 샘플링된 패치를 기초로 재개(resume)하고,상기 퀄리티 최적화 스케쥴러는,상기 초해상화 모델의 학습이 중단되었다가 재개된 경우, 상기 샘플링된 패치를 송신하기 위한 대역폭을 기 설정된 초기 대역폭으로 설정하는 것을 특징으로 하는 라이브 비디오 수집 시스템
|
| 20 |
20
제2항에 있어서,상기 미디어 서버는,상기 초해상화 모델을 이용하여 상기 라이브 비디오의 프레임 순서대로 프레임별 초해상화를 수행하는 초해상화 프로세서(Super Resolution processor: SR processor)를 더 포함하는 것을 특징으로 하는 라이브 비디오 수집 시스템
|
| 21 |
21
제19항에 있어서,상기 초해상화 프로세서는,상기 미디어 서버가 복수의 GPU(Graphics Processing Unit) 자원을 사용할 수 있는 경우, 초해상화를 수행할 각 프레임을 GPU 자원의 수로 분할하여, 분할된 프레임별로 GPU 자원을 할당하여 분산 초해상화하는 것을 특징으로 하는 라이브 비디오 수집 시스템
|
| 22 |
22
실시간 스트리밍(real-time streaming)을 위한 라이브 비디오 수집 시스템(live video ingest system)에 의해 수행되는 라이브 비디오 수집 방법에 있어서,촬영 장치(capture device)에 의해 라이브 비디오(live video)를 촬영하는 과정;인제스트 장치(ingest device)가 상기 촬영 장치로부터 상기 라이브 비디오의 원본 프레임(raw frame)을 수신하여 상기 원본 프레임의 일부(fraction)를 패치(patch)로서 샘플링하는 과정;상기 인제스트 장치가 샘플링된 패치 및 상기 라이브 비디오를 미디어 서버(media server)에 송신하기 위한 대역폭으로, 가용 대역폭(available bandwidth)의 전부 또는 일부를 각각 할당(allocate)하는 과정;미디어 서버(media server)가 상기 인제스트 장치로부터 상기 라이브 비디오 및 상기 샘플링된 패치를 수신하는 과정;상기 미디어 서버가 상기 샘플링된 패치를 정답값(ground-truth)으로 하여 심층신경망(Deep Neural Network) 기반의 초해상화 모델(Super Resolution model: SR model)을 온라인 학습(online learningg)시키는 과정; 및상기 미디어 서버가 상기 초해상화 모델을 이용하여 상기 라이브 비디오를 초해상화하는 과정을 포함하는 것을 특징으로 하는 라이브 비디오 수집 방법
|
| 23 |
23
제22항에 있어서,상기 샘플링하는 과정은,상기 라이브 비디오의 원본 프레임(raw frame)에 있어, 상기 원본 프레임의 전체 프레임 그리드(grid)를 기초로 상기 패치를 샘플링하고, 샘플링된 패치의 인코딩 퀄리티가 상기 원본 프레임의 인코딩 퀄리티 대비 낮은 경우에 상기 샘플링된 패치를 상기 미디어 서버로의 송신 대상에 포함시키는 것을 특징으로 하는 라이브 비디오 수집 방법
|
| 24 |
24
제22항에 있어서,가용 대역폭의 전부 또는 일부를 각각 할당하는 과정은,상기 라이브 비디오의 인코딩 퀄리티 또는 상기 초해상화 모델의 기대 퀄리티 게인(expected quality gain)을 기초로 대역폭 할당을 수행하는 것을 특징으로 하는 라이브 비디오 수집 방법
|
| 25 |
25
제22항에 있어서,상기 학습시키는 과정은,상기 초해상화 모델의 학습에 따른 퀄리티 게인(quality gain)의 포화(saturation) 또는 상기 라이브 비디오의 장면 전환(scene change)을 탐지하여 적응적으로 학습시키는 것을 특징으로 하는 라이브 비디오 수집 방법
|
| 26 |
26
제22항에 있어서,상기 초해상화하는 과정은,상기 미디어 서버가 복수의 GPU(Graphics Processing Unit) 자원을 사용할 수 있는 경우, 초해상화를 수행할 상기 라이브 비디오의 각 프레임을 GPU 자원의 수로 분할하여, 분할된 프레임 별로 GPU 자원을 할당하여 분산 초해상화하는 것을 특징으로 하는 라이브 비디오 수집 방법
|
| 27 |
27
제22항 내지 제26항에 따른 라이브 비디오 수집 방법이 포함하는 각 과정을 실행시키기 위하여 컴퓨터로 읽을 수 있는 하나 이상의 기록매체에 각각 저장된 컴퓨터 프로그램
|
