| 1 |
1
비디오 요약 시스템에 의해 수행되는 비디오 요약 방법에 있어서, 상기 비디오 요약 시스템은, 메모리에 포함된 컴퓨터 판독가능한 명령들을 실행하도록 구성된 적어도 하나의 프로세서를 포함하고,상기 비디오 요약 방법은,상기 적어도 하나의 프로세서에서, 비디오 프레임을 이용하여 비디오 요약 네트워크의 훈련을 통해 중요도 점수 후보를 예측하는 단계-상기 예측되는 중요도 점수 후보는 비디오 요약을 생성하기 위한 비디오 프레임의 확률 정보를 의미함-;상기 적어도 하나의 프로세서에서, 상기 예측된 중요도 점수 후보를 보간하여 비디오의 각 프레임에 대한 프레임 선택 확률을 획득하는 단계; 및 상기 적어도 하나의 프로세서에서, 상기 획득된 프레임 선택 확률에 기초하여 선택된 프레임을 이용하여 비디오 요약을 생성하는 단계 를 포함하고,상기 획득하는 단계는,상기 비디오 프레임의 시퀀스 입력 크기에 기초하여 중요도 점수 후보를 동일한 간격으로 정렬하고, 부분구간 선형 보간법을 사용하여 상기 동일한 간격으로 정렬된 중요도 후보 점수를 중요도 점수에 보간하고, 상기 보간을 적용함에 따라 비디오의 각 프레임에 대한 프레임 선택 확률을 획득하는 단계를 포함하는 비디오 요약 방법
|
| 2 |
2
제1항에 있어서,상기 비디오 요약 네트워크는, 부분구간 선형 보간법을 적용한 비지도 비디오 요약 네트워크이고, 상기 예측하는 단계는, 이미지 데이터 셋으로 훈련된 컨볼루션 신경망을 이용하여 비디오 프레임으로부터 특징 정보를 추출하고, 상기 추출된 특징 정보를 이용하여 상기 비디오 요약 네트워크를 훈련시키고, 상기 비디오 프레임을 상기 훈련된 비디오 요약 네트워크에 입력받는 단계를 포함하는 비디오 요약 방법
|
| 3 |
3
제2항에 있어서, 상기 예측하는 단계는, 상기 비디오 프레임에서 비디오 요약으로 선택할 프레임 선택 확률인 중요도 점수에 보간될 중요도 점수 후보를 비디오 요약 네트워크의 출력 데이터로 출력하는 단계를 포함하는 비디오 요약 방법
|
| 4 |
4
삭제
|
| 5 |
5
제1항에 있어서, 상기 획득하는 단계는,상기 중요도 후보 점수를 중요도 점수에 보간한 후, 베르누이 분포를 사용하여 키프레임을 선택하기 위한 0 또는 1의 프레임 선택 행동을 통해 프레임 선택 확률로 변환하고, 상기 변환된 프레임 선택 확률이 1에 해당하는 프레임을 선택하는 단계 를 포함하는 비디오 요약 방법
|
| 6 |
6
제5항에 있어서,상기 획득하는 단계는, 보상 함수를 이용하여 비디오 프레임에 대한 프레임 선택 행동에 의해 생성된 비디오 요약의 대표성을 평가하고, 비디오 프레임의 행동의 로그 확률과 보상을 획득하는 단계를 포함하고, 상기 보상 함수는, 다양성 보상 및 대표성 보상을 포함하고, 상기 다양성 보상은, 상기 비디오 프레임의 특징 정보를 이용하여 선택된 프레임 간의 차이를 측정하고, 상기 대표성 보상은 선택된 프레임의 특징 정보와 원본 비디오에서 모든 프레임의 특징 정보의 유사성을 측정하고 원본 비디오를 나타내는 요약을 생성하는 것을 특징으로 하는 비디오 요약 방법
|
| 7 |
7
제6항에 있어서, 비디오 프레임에 대한 프레임 선택 행동에 대한 보상 및 로그 확률이 사용되어 과소평가된 보상에서 제안된 목적 함수가 계산되는 비디오 요약 방법
|
| 8 |
8
제7항에 있어서,과소평가된 보상을 탐색하는 탐색 전략과 정책 경사법이 사용되어 비디오 요약 네트워크에 매개변수화된 정책이 훈련되고, 상기 정책 경사법은, 행동이 극대화된 로그 확률을 증가시키고 정책에 의해 생성된 행동을 통해 보상을 받음으로써 동작되는 비디오 요약 방법
|
| 9 |
9
제6항에 있어서, 상기 비디오 요약의 대표성을 촉진하기 위하여 랜덤 마스킹으로 수정된 재구성 손실을 이용하여 비디오 요약 네트워크가 훈련되는 비디오 요약 방법
|
| 10 |
10
비디오 요약 시스템에 있어서, 비디오 프레임을 이용하여 비디오 요약 네트워크의 훈련을 통해 중요도 점수 후보를 예측하는 점수 후보 예측부-상기 예측되는 중요도 점수 후보는 비디오 요약을 생성하기 위한 비디오 프레임의 확률 정보를 의미함-;;상기 예측된 중요도 점수 후보를 보간하여 비디오의 각 프레임에 대한 프레임 선택 확률을 획득하는 선택 확률 획득부; 및 상기 획득된 프레임 선택 확률에 기초하여 선택된 프레임을 이용하여 비디오 요약을 생성하는 요약 생성부를 포함하고,상기 선택 확률 획득부는, 상기 비디오 프레임의 시퀀스 입력 크기에 기초하여 중요도 점수 후보를 동일한 간격으로 정렬하고, 부분구간 선형 보간법을 사용하여 상기 동일한 간격으로 정렬된 중요도 후보 점수를 중요도 점수에 보간하고, 상기 보간을 적용함에 따라 비디오의 각 프레임에 대한 프레임 선택 확률을 획득하는 비디오 요약 시스템
|
