| 1 |
1
인코더의 CNN(Convolutional Neural Network)으로부터 영상 특징을 추출하는 단계;상기 인코더의 RNN(Recurrent Neural Network)으로부터 추출된 영상 특징을 기반으로 영상의 순차 정보를 학습하는 단계;LSTM(Long Shot Term Memory)를 통해 상기 인코더에서 추상화된 영상 정보를 입력으로 하여 다음으로 생성할 단어 확률을 학습하는 단계;상기 인코더의 추상화된 영상 정보 및 다음으로 생성할 단어 정보를 이용하여 중요도에 따른 영상 정보인 문맥(context) 정보를 추출하는 단계;추출된 문맥 정보를 기초로 영상 정보만을 이용한 단어 확률 분포와 단어 정보만을 이용한 단어 확률 분포를 각각 생성하는 단계; 및영상 정보만을 이용한 단어 확률 분포와 단어 정보만을 이용한 단어 확률 분포의 중요도에 따른 스위칭을 통해 최종 단어 확률 분포를 생성하는 단계;를 포함하는, 비디오 캡셔닝을 위한 시각적-문자적 표현의 변경 방법
|
| 2 |
2
제1항에 있어서, 상기 최종 단어 확률 분포를 생성하는 단계는,영상 정보 기반 로짓과 텍스트 정보 기반 로짓의 가중합으로 최종 단어 확률 분포를 계산하는, 비디오 캡셔닝을 위한 시각적-문자적 표현의 변경 방법
|
| 3 |
3
제1항에 있어서, 상기 최종 단어 확률 분포를 생성하는 단계는,영상 정보에 따른 단어와 단어 정보에 따른 단어를 각각 선택하여 하나의 객체 또는 액션이 여러 단어로 표현되는 것을 모델링하는, 비디오 캡셔닝을 위한 시각적-문자적 표현의 변경 방법
|
| 4 |
4
제1항에 있어서, 상기 최종 단어 확률 분포를 생성하는 단계는,영상으로부터 정보를 이용할 것인지 여부에 대해 선택하는 스위칭 단계;를 포함하는, 비디오 캡셔닝을 위한 시각적-문자적 표현의 변경 방법
|
| 5 |
5
제1항에 있어서, 상기 영상 특징을 추출하는 단계는,영상의 각 프레임을 고정 벡터로 표현하는, 비디오 캡셔닝을 위한 시각적-문자적 표현의 변경 방법
|
| 6 |
6
제1항에 있어서, 상기 중요도에 따른 영상 정보인 문맥(context) 정보를 추출하는 단계는,시간적 정보(temporal information)에 대한 중요도를 측정하는 단계; 및매 프레임의 공간적 정보(spatio information)에 대한 중요도를 측정하는 단계;를 포함하는, 비디오 캡셔닝을 위한 시각적-문자적 표현의 변경 방법
|
| 7 |
7
제1항에 따른 상기 비디오 캡셔닝을 위한 시각적-문자적 표현의 변경 방법을 수행하기 위한 컴퓨터 프로그램이 기록된 컴퓨터로 판독 가능한 저장 매체
|
| 8 |
8
영상 특징을 추출하는 인코더의 CNN(Convolutional Neural Network)부;상기 CNN부에서 추출된 영상 특징을 기반으로 영상의 순차 정보를 학습하는 인코더의 RNN(Recurrent Neural Network)부;상기 인코더에서 추상화된 영상 정보를 입력으로 하여 다음으로 생성할 단어 확률을 학습하는 디코더의 LSTM(Long Shot Term Memory)부;상기 인코더의 추상화된 영상 정보 및 다음으로 생성할 단어 정보를 이용하여 중요도에 따른 영상 정보인 문맥(context) 정보를 추출하고, 추출된 문맥 정보를 기초로 영상 정보만을 이용한 단어 확률 분포와 단어 정보만을 이용한 단어 확률 분포를 각각 생성하는 디코더의 주의 메커니즘(attention mechanisms)부; 및영상 정보만을 이용한 단어 확률 분포와 단어 정보만을 이용한 단어 확률 분포의 중요도에 따른 스위칭을 통해 최종 단어 확률 분포를 생성하는 디코더의 완전 접속망(fully connected network)부;를 포함하는, 비디오 캡셔닝을 위한 시각적-문자적 표현의 변경 장치
|
| 9 |
9
제8항에 있어서, 상기 완전 접속망은,영상 정보 기반 로짓과 텍스트 정보 기반 로짓의 가중합으로 최종 단어 확률 분포를 계산하는, 비디오 캡셔닝을 위한 시각적-문자적 표현의 변경 장치
|
| 10 |
10
제8항에 있어서, 상기 완전 접속망은,영상 정보에 따른 단어와 단어 정보에 따른 단어를 각각 선택하여 하나의 객체 또는 액션이 여러 단어로 표현되는 것을 모델링하는, 비디오 캡셔닝을 위한 시각적-문자적 표현의 변경 장치
|
| 11 |
11
제8항에 있어서, 상기 완전 접속망은,영상으로부터 정보를 이용할 것인지 여부에 대해 선택하는, 비디오 캡셔닝을 위한 시각적-문자적 표현의 변경 장치
|
| 12 |
12
제8항에 있어서, 상기 CNN부는,영상의 각 프레임을 고정 벡터로 표현하는, 비디오 캡셔닝을 위한 시각적-문자적 표현의 변경 장치
|
| 13 |
13
제8항에 있어서, 상기 주의 메커니즘부는,시간적 정보(temporal information)에 대한 중요도 및 매 프레임의 공간적 정보(spatio information)에 대한 중요도를 측정하는, 비디오 캡셔닝을 위한 시각적-문자적 표현의 변경 장치
|
