| 1 |
1
컴퓨팅 디바이스에 의한 비디오 하이라이트 검출 방법에 있어서,적어도 하나의 카테고리에 관한 복수의 비디오 프레임을 획득하는 단계;상기 카테고리에 관한 텍스트 쿼리를 통해 복수의 웹 이미지를 획득하는 단계;상기 비디오 프레임 및 상기 웹 이미지를 기반으로 하여, 노이즈에 대해 점수화하는 제1 딥 랭킹 모델 및 하이라이트에 대해 점수화하는 제2 딥 랭킹 모델을 포함하는 하이라이트 검출 모델을 학습하여 생성하는 단계; 및상기 하이라이트 검출 모델을 이용하여, 입력 비디오로부터 하이라이트를 검출하는 단계를 포함하며,상기 제1 딥 랭킹 모델 및 상기 제2 딥 랭킹 모델은 상호 의존적인 것을 특징으로 하는 비디오 하이라이트 검출 방법
|
| 2 |
2
제1항에 있어서,상기 하이라이트 검출 모델을 학습하여 생성하는 단계는,기 생성된 노이즈 분류 모델을 이용하여, 상기 획득한 복수의 웹 이미지를 하이라이트 관련 이미지 및 노이즈 이미지로 분류하여, 상기 웹 이미지에 관한 은닉 노이즈 클래스를 초기화하는 것을 특징으로 하는 비디오 하이라이트 검출 방법
|
| 3 |
3
제2항에 있어서,상기 하이라이트 검출 모델을 학습하여 생성하는 단계는,상기 제1 딥 랭킹 모델 및 상기 제2 딥 랭킹 모델의 파라미터가 변경되지 않고 상기 은닉 노이즈 클래스가 변경되지 않으면, 학습을 종료하는 것을 특징으로 하는 비디오 하이라이트 검출 방법
|
| 4 |
4
제1항에 있어서,상기 제1 딥 랭킹 모델은 (i) 상기 웹 이미지의 하이라이트 관련 이미지 및 (ii) 상기 웹 이미지의 노이즈 이미지에 관한 점수를 각각 산출하여 학습하는 페어와이즈 노이즈 모델인 것을 특징으로 하는 비디오 하이라이트 검출 방법
|
| 5 |
5
제4항에 있어서,상기 페어와이즈 노이즈 모델은, 상기 웹 이미지의 상기 하이라이트 관련 이미지에 관한 하이라이트 점수에 따라 상기 웹 이미지의 상기 하이라이트 관련 이미지에 관한 노이즈 점수를 조절하고, 상기 웹 이미지의 상기 노이즈 이미지에 관한 하이라이트 점수에 따라 상기 웹 이미지의 상기 노이즈 이미지에 관한 노이즈 점수를 조절하여 학습되는 것을 특징으로 하는 비디오 하이라이트 검출 방법
|
| 6 |
6
제1항에 있어서,상기 제2 딥 랭킹 모델은 (i) 상기 비디오 프레임의 하이라이트 프레임, (ii) 상기 비디오 프레임의 넌-하이라이트 프레임, 및 (iii) 상기 웹 이미지에 관한 점수를 각각 산출하여 학습하는 트리플렛 하이라이트 모델인 것을 특징으로 하는 비디오 하이라이트 검출 방법
|
| 7 |
7
제6항에 있어서,상기 하이라이트 검출 모델을 학습하여 생성하는 단계는,상기 하이라이트 프레임에 관한 하이라이트 점수 및 상기 넌-하이라이트 프레임에 관한 하이라이트 점수를 비교하여, 상기 하이라이트 프레임에 관한 하이라이트 점수가 상기 넌-하이라이트 프레임에 관한 하이라이트 점수보다 크도록 상기 트리플렛 하이라이트 모델을 설계하는 것을 특징으로 하는 비디오 하이라이트 검출 방법
|
| 8 |
8
제6항에 있어서,상기 하이라이트 검출 모델을 학습하여 생성하는 단계는,상기 웹 이미지에 관한 하이라이트 점수 및 상기 넌-하이라이트 프레임에 관한 하이라이트 점수를 비교하여, 상기 웹 이미지에 관한 하이라이트 점수가 상기 넌-하이라이트 프레임에 관한 하이라이트 점수보다 크도록 상기 트리플렛 하이라이트 모델을 설계하는 것을 특징으로 하는 비디오 하이라이트 검출 방법
|
| 9 |
9
제6항에 있어서,상기 하이라이트 검출 모델을 학습하여 생성하는 단계는,상기 웹 이미지에 관한 하이라이트 점수 및 상기 하이라이트 프레임에 관한 하이라이트 점수를 비교하여, 상기 웹 이미지에 관한 하이라이트 점수가 상기 하이라이트 프레임에 관한 하이라이트 점수에서 소정의 범위 내에 존재하도록 상기 트리플렛 하이라이트 모델을 설계하는 것을 특징으로 하는 비디오 하이라이트 검출 방법
|
| 10 |
10
제6항에 있어서,상기 트리플렛 하이라이트 모델은,상기 웹 이미지의 노이즈 점수에 따라 상기 웹 이미지의 하이라이트 점수를 조절하여 학습되는 것을 특징으로 하는 비디오 하이라이트 검출 방법
|
| 11 |
11
제1항에 있어서,상기 하이라이트 검출 모델을 학습하여 생성하는 단계는,사분범위를 이용하여 아웃라이어를 찾고, 상기 웹 이미지의 노이즈 점수 또는 상기 웹 이미지의 하이라이트 점수를 기준으로 상기 웹 이미지의 은닉 노이즈 클래스를 교정하는 것을 특징으로 하는 비디오 하이라이트 검출 방법
|
| 12 |
12
제1항에 있어서,상기 하이라이트 검출 모델을 학습하여 생성하는 단계는,상기 비디오 프레임 및 상기 웹 이미지 간의 도메인 간극을 측정하여 상기 간극이 기 설정된 임계치를 초과하면, 해당하는 웹 이미지를 학습 데이터에서 제외시키는 것을 특징으로 하는 비디오 하이라이트 검출 방법
|
| 13 |
13
적어도 하나의 카테고리에 관한 복수의 비디오 프레임을 획득하는 비디오 프레임 획득부;상기 카테고리에 관한 텍스트 쿼리를 통해 복수의 웹 이미지를 획득하는 웹 이미지 획득부;상기 비디오 프레임 및 상기 웹 이미지를 기반으로 하여, 노이즈에 대해 점수화하는 제1 딥 랭킹 모델 및 하이라이트에 대해 점수화하는 제2 딥 랭킹 모델을 포함하는 하이라이트 검출 모델을 학습하여 생성하는 하이라이트 검출 모델 생성부; 및상기 하이라이트 검출 모델을 이용하여, 입력 비디오로부터 하이라이트를 검출하는 하이라이트 검출부를 포함하며,상기 제1 딥 랭킹 모델 및 상기 제2 딥 랭킹 모델은 상호 의존적인 것을 특징으로 하는 비디오 하이라이트 검출 장치
|
| 14 |
14
제13항에 있어서,상기 하이라이트 검출 모델 생성부는,기 생성된 노이즈 분류 모델을 이용하여, 상기 획득한 복수의 웹 이미지를 하이라이트 관련 이미지 및 노이즈 이미지로 분류하여, 상기 웹 이미지에 관한 은닉 노이즈 클래스를 초기화하고,상기 제1 딥 랭킹 모델 및 상기 제2 딥 랭킹 모델의 파라미터가 변경되지 않고 상기 은닉 노이즈 클래스가 변경되지 않으면, 학습을 종료하는 것을 특징으로 하는 비디오 하이라이트 검출 장치
|
| 15 |
15
제13항에 있어서,상기 제1 딥 랭킹 모델은 (i) 상기 웹 이미지의 하이라이트 관련 이미지 및 (ii) 상기 웹 이미지의 노이즈 이미지에 관한 점수를 각각 산출하여 학습하는 페어와이즈 노이즈 모델이며,상기 페어와이즈 노이즈 모델은, 상기 웹 이미지의 상기 하이라이트 관련 이미지에 관한 하이라이트 점수에 따라 상기 웹 이미지의 상기 하이라이트 관련 이미지에 관한 노이즈 점수를 조절하고, 상기 웹 이미지의 상기 노이즈 이미지에 관한 하이라이트 점수에 따라 상기 웹 이미지의 상기 노이즈 이미지에 관한 노이즈 점수를 조절하여 학습되는 것을 특징으로 하는 비디오 하이라이트 검출 장치
|
| 16 |
16
제13항에 있어서,상기 제2 딥 랭킹 모델은 (i) 상기 비디오 프레임의 하이라이트 프레임, (ii) 상기 비디오 프레임의 넌-하이라이트 프레임, 및 (iii) 상기 웹 이미지에 관한 점수를 각각 산출하여 학습하는 트리플렛 하이라이트 모델이며,상기 트리플렛 하이라이트 모델은,상기 웹 이미지의 노이즈 점수에 따라 상기 웹 이미지의 하이라이트 점수를 조절하여 학습되는 것을 특징으로 하는 비디오 하이라이트 검출 장치
|
| 17 |
17
제16항에 있어서,상기 하이라이트 검출 모델 생성부는,(i) 상기 하이라이트 프레임에 관한 하이라이트 점수 및 상기 넌-하이라이트 프레임에 관한 하이라이트 점수를 비교하여, 상기 하이라이트 프레임에 관한 하이라이트 점수가 상기 넌-하이라이트 프레임에 관한 하이라이트 점수보다 크도록 상기 트리플렛 하이라이트 모델을 설계하며,(ii) 상기 웹 이미지에 관한 하이라이트 점수 및 상기 넌-하이라이트 프레임에 관한 하이라이트 점수를 비교하여, 상기 웹 이미지에 관한 하이라이트 점수가 상기 넌-하이라이트 프레임에 관한 하이라이트 점수보다 크도록 상기 트리플렛 하이라이트 모델을 설계하며,(iii) 상기 웹 이미지에 관한 하이라이트 점수 및 상기 하이라이트 프레임에 관한 하이라이트 점수를 비교하여, 상기 웹 이미지에 관한 하이라이트 점수가 상기 하이라이트 프레임에 관한 하이라이트 점수에서 소정의 범위 내에 존재하도록 상기 트리플렛 하이라이트 모델을 설계하는 것을 특징으로 하는 비디오 하이라이트 검출 장치
|
| 18 |
18
제13항에 있어서,상기 하이라이트 검출 모델 생성부는,사분범위를 이용하여 아웃라이어를 찾고, 상기 웹 이미지의 노이즈 점수 또는 상기 웹 이미지의 하이라이트 점수를 기준으로 상기 웹 이미지의 은닉 노이즈 클래스를 교정하는 것을 특징으로 하는 비디오 하이라이트 검출 장치
|
| 19 |
19
제13항에 있어서,상기 하이라이트 검출 모델 생성부는,상기 비디오 프레임 및 상기 웹 이미지 간의 도메인 간극을 측정하여 상기 간극이 기 설정된 임계치를 초과하면, 해당하는 웹 이미지를 학습 데이터에서 제외시키는 것을 특징으로 하는 비디오 하이라이트 검출 장치
|
| 20 |
20
프로세서에 의해 실행 가능한 컴퓨터 프로그램 명령어들을 포함하는 비일시적(Non-Transitory) 컴퓨터 판독 가능한 매체에 기록되어 비디오 하이라이트 검출을 위한 컴퓨터 프로그램으로서, 상기 컴퓨터 프로그램 명령어들이 컴퓨팅 디바이스의 프로세서에 의해 실행되는 경우에,적어도 하나의 카테고리에 관한 복수의 비디오 프레임을 획득하는 단계;상기 카테고리에 관한 텍스트 쿼리를 통해 복수의 웹 이미지를 획득하는 단계;상기 비디오 프레임 및 상기 웹 이미지를 기반으로 하여, 노이즈에 대해 점수화하는 제1 딥 랭킹 모델 및 하이라이트에 대해 점수화하는 제2 딥 랭킹 모델을 포함하는 하이라이트 검출 모델을 학습하여 생성하는 단계; 및상기 하이라이트 검출 모델을 이용하여, 입력 비디오로부터 하이라이트를 검출하는 단계를 포함한 동작들을 수행하며,상기 제1 딥 랭킹 모델 및 상기 제2 딥 랭킹 모델은 상호 의존적인 것을 특징으로 하는 컴퓨터 프로그램
|
