| 1 |
1
다중 표현 스위칭 기반 비디오 캡셔닝 시스템에 의해 수행되는 다중 표현 스위칭 기반 비디오 캡셔닝 방법은, 입력된 동영상으로부터 프레임 단위로 객체 특징을 추출하는 단계; 추출된 객체 특징에 기초하여 동작 특징을 추출하는 단계; 주어진 단어 서열에 기초하여 문법 특징을 추출하는 단계; 상기 객체 특징 및 동작 특징에 대한 가중치를 계산하여 가중합을 산출하는 단계; 및 추출된 문법 특징, 가중합된 객체 특징 및 가중합된 동작 특징에 기초하여 상기 동영상의 설명을 생성하는 단계를 포함하는 다중 표현 스위칭 기반 비디오 캡셔닝 방법
|
| 2 |
2
제1항에 있어서, 상기 객체 특징을 추출하는 단계는, 추출된 객체 특징들을 평균 풀링(mean pooling)을 연산하는 단계를 포함하는 것을 특징으로 하는 다중 표현 스위칭 기반 비디오 캡셔닝 방법
|
| 3 |
3
제2항에 있어서, 상기 문법 특징을 추출하는 단계에서는, 상기 주어진 단어 서열과 함께 추출된 객체 특징 벡터와 동작 특징 벡터의 전체 프레임에 대한 평균 벡터의 결합에 기초하여 문법 특징을 추출하는 것을 특징으로 하는 다중 표현 스위칭 기반 비디오 캡셔닝 방법
|
| 4 |
4
제3항에 있어서, 상기 가중합을 산출하는 단계는, 주의 메커니즘(attention mechanism)을 사용하여 프레임별 가중치를 계산하며, 상기 동영상의 설명을 위한 단어를 생성할 때 필요한 추출된 객체 특징 및 동작 특징은 상기 주의 메커니즘을 통해 상기 단어가 생성될 때마다 선택되는 것을 특징으로 하는 다중 표현 스위칭 기반 비디오 캡셔닝 방법
|
| 5 |
5
제4항에 있어서, 상기 설명을 생성하는 단계는,문법 특징만을 이용하는 경우, 객체 특징만을 이용하는 경우 및 동작 특징만을 이용하는 경우의 단어 생성 확률 표현을 각각 생성하는 단계;상기 단어 생성 확률 표현에 기초하여 최종 단어 확률 분포를 산출하는 단계; 및산출된 단어 확률 분포에서 가장 높은 확률 값을 가지는 단어를 최종 단어로 생성하는 단계를 포함하는 것을 특징으로 하는 다중 표현 위칭 기반 비디오 캡셔닝 방법
|
| 6 |
6
제5항에 있어서, 상기 설명을 생성하는 단계는, 상기 단어 생성 확률 표현을 각각 생성하는 단계, 상기 최종 단어 확률 분포를 산출하는 단계 및 가장 높은 확률 값을 가지는 단어를 최종 단어로 생성하는 단계를 반복하여 동영상 설명을 위한 단어 서열을 생성하는 것을 특징으로 하는 다중 표현 스위칭 기반 비디오 캡셔닝 방법
|
| 7 |
7
제6항에 있어서, 상기 설명을 생성하는 단계에서,상기 단어 서열 생성은 빔 탐색 알고리즘(beam search algorithm)을 통해 생성하는 것을 특징으로 하는 다중 표현 스위칭 기반 비디오 캡셔닝 방법
|
| 8 |
8
제1항에 따른 다중 표현 스위칭 기반 비디오 캡셔닝 방법을 수행하기 위한, 컴퓨터 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체
|
| 9 |
9
동영상 입력받는 입력부; 및상기 동영상이 입력되면 딥 러닝 모델을 이용하여 비디오 캡션을 생성하며 동영상과 설명 쌍을 학습데이터로 입력받아 상기 딥 러닝 모델을 학습시키는 프로세서를 포함하는 다중 표현 스위칭 기반 비디오 캡셔닝 시스템
|
| 10 |
10
제9항에 있어서, 상기 딥러닝 모델은, 입력된 동영상으로부터 프레임 단위로 객체 특징을 추출하는 2D 합성곱 신경망(CNN) 모듈과 추출된 객체 특징에 기초하여 동작 특징을 추출하는 제1 순환신경망(RNN) 모듈을 포함하는 인코더; 및 주어진 단어 서열을 이용하여 문법 특징을 추출하는 제2 순환신경망 모듈, 상기 객체 특징 및 동작 특징에 대한 프레임별 가중치를 계산하여 가중합을 산출하는 주의 모듈 및 추출된 문법 특징, 가중합된 객체 특징 및 가중합된 동작 특징에 기초하여 상기 동영상의 설명을 생성하는 스위치 모듈을 포함하는 디코더를 포함하는 것을 특징으로 하는 다중 표현 스위칭 기반 비디오 캡셔닝 시스템
|
| 11 |
11
제10항에 있어서, 상기 2D 합성곱 신경망(CNN)모듈은, 추출된 객체 특징들을 평균 풀링(mean pooling) 연산을 수행하는 것을 특징으로 하는 다중 표현 스위칭 기반 비디오 캡셔닝 시스템
|
| 12 |
12
제11항에 있어서, 상기 제2 순환신경망 모듈은, 상기 주어진 단어 서열과 함께 추출된 객체 특징 벡터와 동작 특징 벡터의 전체 프레임에 대한 평균 벡터의 결합에 기초하여 문법 특징을 추출하는 것을 특징으로 하는 다중 표현 스위칭 기반 비디오 캡셔닝 시스템
|
| 13 |
13
제12항에 있어서, 상기 주의 모듈은, 주의 메커니즘(attention mechanism)을 사용하여 프레임별 가중치를 계산하며, 상기 동영상의 설명을 위한 단어를 생성할 때 필요한 추출된 객체 특징 및 동작 특징은 상기 주의 메커니즘을 통해 상기 단어가 생성될 때마다 선택되는 것을 특징으로 하는 다중 표현 스위칭 기반 비디오 캡셔닝 시스템
|
| 14 |
14
제13항에 있어서, 상기 스위치 모듈은, 문법 특징만을 이용하는 경우, 객체 특징만을 이용하는 경우 및 동작 특징만을 이용하는 경우의 단어 생성 확률 표현을 각각 생성하고, 상기 단어 생성 확률 표현에 기초하여 최종 단어 확률 분포를 산출하며, 산출된 단어 확률 분포에서 가장 높은 확률 값을 가지는 단어를 최종 단어로 생성하는 과정을 반복하여 동영상 설명을 위한 단어 서열을 생성하는 것을 특징으로 하는 다중 표현 스위칭 기반 비디오 캡셔닝 시스템
|
| 15 |
15
상기 스위치 모듈은, 빔 탐색 알고리즘(beam search algorithm)을 통해 상기 단어 서열을 생성하는 것을 특징으로 하는 다중 표현 스위칭 기반 비디오 캡셔닝 시스템
|
