| 1 |
1
비디오 캡셔닝(captioning) 학습 장치에 있어서,적어도 하나의 프로세서를 포함하고,상기 적어도 하나의 프로세서는,비디오 피쳐 및 템퍼럴 어텐션(temporal attention)을 기초로 상기 템퍼럴 어텐션(temporal attention)이 웨이트로 적용된 비디오 피쳐의 가중치 합을 생성하고,상기 템퍼럴 어텐션(temporal attention)이 웨이트로 적용된 비디오 피쳐의 가중치 합 및 제2 딥 뉴럴 네트워크(Deep Neural Networks)의 이전 히든 스테이트(hidden state)가 출력한 피쳐를 기초로 단어를 생성하는 비디오 캡셔닝(captioning) 학습 장치
|
| 2 |
2
제1항에 있어서,상기 적어도 하나의 프로세서는,제1 딥 뉴럴 네트워크(Deep Neural Networks)를 이용하여 상기 비디오 피쳐를 인코딩하여 제1 아웃풋(output)을 생성하고,상기 제1 아웃풋(output)에 미리 설정된 함수를 적용하여 템퍼럴 어텐션(temporal attention)을 생성하고,상기 비디오 피쳐와 상기 템퍼럴 어텐션(temporal attention)을 결합하여 상기 템퍼럴 어텐션(temporal attention)이 웨이트로 적용된 비디오 피쳐의 가중치 합을 생성하는 비디오 캡셔닝(captioning) 학습 장치
|
| 3 |
3
제2항에 있어서,상기 적어도 하나의 프로세서는,상기 제1 아웃풋(output)을 입력으로 하는 학습이 완료된 제1 풀리 커넥티드 레이어(Fully Connected Layer)와 매칭되는 제1 파라미터의 적어도 하나의 파라미터 값을 결정하기 위해 제1 풀리 커넥티드 레이어(Fully Connected Layer)를 학습시키는 비디오 캡셔닝(captioning) 학습 장치
|
| 4 |
4
제1항에 있어서,상기 적어도 하나의 프로세서는,상기 템퍼럴 어텐션(temporal attention)이 웨이트로 적용된 비디오 피쳐의 가중치 합 및 상기 제2 딥 뉴럴 네트워크(Deep Neural Networks)의 이전 히든 스테이트(hidden state)가 출력한 피쳐에 미리 설정된 함수를 적용하여 어텐션(attention)을 생성하고,상기 템퍼럴 어텐션(temporal attention)이 웨이트로 적용된 비디오 피쳐의 가중치 합과 상기 어텐션(attention)을 결합하여 워드 어텐디드 피쳐(word attended features)를 생성하고, 상기 제2 딥 뉴럴 네트워크(Deep Neural Networks)를 이용하여 상기 워드 어텐디드 피쳐(word attended features) 및 상기 제2 딥 뉴럴 네트워크(Deep Neural Networks)의 이전 히든 스테이트(hidden state)가 출력한 피쳐를 디코딩하여 제2 아웃풋(output)을 생성하고,상기 제2 아웃풋(output)을 기초로 미리 설정된 단어집에서 단어를 선택하는 비디오 캡셔닝(captioning) 학습 장치
|
| 5 |
5
제4항에 있어서,상기 적어도 하나의 프로세서는,상기 템퍼럴 어텐션(temporal attention)이 웨이트로 적용된 비디오 피쳐의 가중치 합 및 상기 제2 딥 뉴럴 네트워크(Deep Neural Networks)의 이전 히든 스테이트(hidden state)가 출력한 피쳐를 결합(concatenate)하고,상기 결합(concatenate)한 상기 템퍼럴 어텐션(temporal attention)이 웨이트로 적용된 비디오 피쳐의 가중치 합 및 상기 제2 딥 뉴럴 네트워크(Deep Neural Networks)의 이전 히든 스테이트(hidden state)가 출력한 피쳐를 입력으로 하는 학습이 완료된 제2 풀리 커넥티드 레이어(Fully Connected Layer)와 매칭되는 제2 파라미터의 적어도 하나의 파라미터 값을 결정하기 위해 제2 풀리 커넥티드 레이어(Fully Connected Layer)를 학습시키는 비디오 캡셔닝(captioning) 학습 장치
|
| 6 |
6
제4항에 있어서,상기 적어도 하나의 프로세서는,상기 단어집과 매칭되도록 상기 제2 아웃풋(output)의 차원을 변화시키기 위한 제3 파라미터를 결정하는 비디오 캡셔닝(captioning) 학습 장치
|
| 7 |
7
비디오 피쳐 및 템퍼럴 어텐션(temporal attention)을 기초로 상기 템퍼럴 어텐션(temporal attention)이 웨이트로 적용된 비디오 피쳐의 가중치 합을 생성하는 동작; 및상기 템퍼럴 어텐션(temporal attention)이 웨이트로 적용된 비디오 피쳐의 가중치 합 및 제2 딥 뉴럴 네트워크(Deep Neural Networks)의 이전 히든 스테이트(hidden state)가 출력한 피쳐를 기초로 단어를 생성하는 동작을 포함하는 비디오 캡셔닝(captioning) 학습 방법
|
| 8 |
8
제7항에 있어서,상기 템퍼럴 어텐션(temporal attention)이 웨이트로 적용된 비디오 피쳐의 가중치 합을 생성하는 동작은,제1 딥 뉴럴 네트워크(Deep Neural Networks)를 이용하여 상기 비디오 피쳐를 인코딩하여 제1 아웃풋(output)을 생성하는 동작;상기 제1 아웃풋(output)에 미리 설정된 함수를 적용하여 템퍼럴 어텐션(temporal attention)을 생성하는 동작; 및상기 비디오 피쳐와 상기 템퍼럴 어텐션(temporal attention)을 결합하여 상기 템퍼럴 어텐션(temporal attention)이 웨이트로 적용된 비디오 피쳐의 가중치 합을 생성하는 동작을 포함하는 비디오 캡셔닝(captioning) 학습 방법
|
| 9 |
9
제8항에 있어서,상기 제1 아웃풋(output)에 미리 설정된 함수를 적용하여 템퍼럴 어텐션(temporal attention)을 생성하는 동작은,상기 제1 아웃풋(output)을 입력으로 하는 학습이 완료된 제1 풀리 커넥티드 레이어(Fully Connected Layer)와 매칭되는 제1 파라미터의 적어도 하나의 파라미터 값을 결정하기 위해 제1 풀리 커넥티드 레이어(Fully Connected Layer)를 학습시키는 동작을 더 포함하는 비디오 캡셔닝(captioning) 학습 방법
|
| 10 |
10
제7항에 있어서,상기 단어를 생성하는 동작은,상기 템퍼럴 어텐션(temporal attention)이 웨이트로 적용된 비디오 피쳐의 가중치 합 및 상기 제2 딥 뉴럴 네트워크(Deep Neural Networks)의 이전 히든 스테이트(hidden state)가 출력한 피쳐에 미리 설정된 함수를 적용하여 어텐션(attention)을 생성하는 동작;상기 템퍼럴 어텐션(temporal attention)이 웨이트로 적용된 비디오 피쳐의 가중치 합과 상기 어텐션(attention)을 결합하여 워드 어텐디드 피쳐(word attended features)를 생성하는 동작; 상기 제2 딥 뉴럴 네트워크(Deep Neural Networks)를 이용하여 상기 워드 어텐디드 피쳐(word attended features) 및 상기 제2 딥 뉴럴 네트워크(Deep Neural Networks)의 이전 히든 스테이트(hidden state)가 출력한 피쳐를 디코딩하여 제2 아웃풋(output)을 생성하는 동작; 및상기 제2 아웃풋(output)을 기초로 미리 설정된 단어집에서 단어를 선택하는 동작을 포함하는 비디오 캡셔닝(captioning) 학습 방법
|
| 11 |
11
제10항에 있어서,상기 템퍼럴 어텐션(temporal attention)이 웨이트로 적용된 비디오 피쳐의 가중치 합 및 상기 제2 딥 뉴럴 네트워크(Deep Neural Networks)의 이전 히든 스테이트(hidden state)가 출력한 피쳐에 미리 설정된 함수를 적용하여 어텐션(attention)을 생성하는 동작은,상기 템퍼럴 어텐션(temporal attention)이 웨이트로 적용된 비디오 피쳐의 가중치 합 및 상기 제2 딥 뉴럴 네트워크(Deep Neural Networks)의 이전 히든 스테이트(hidden state)가 출력한 피쳐를 결합(concatenate)하는 동작; 및상기 결합(concatenate)한 상기 템퍼럴 어텐션(temporal attention)이 웨이트로 적용된 비디오 피쳐의 가중치 합 및 상기 제2 딥 뉴럴 네트워크(Deep Neural Networks)의 이전 히든 스테이트(hidden state)가 출력한 피쳐를 입력으로 하는 학습이 완료된 제2 풀리 커넥티드 레이어(Fully Connected Layer)와 매칭되는 제2 파라미터의 적어도 하나의 파라미터 값을 결정하기 위해 제2 풀리 커넥티드 레이어(Fully Connected Layer)를 학습시키는 동작을 더 포함하는 비디오 캡셔닝(captioning) 학습 방법
|
| 12 |
12
제10항에 있어서,상기 제2 아웃풋(output)을 기초로 미리 설정된 단어집에서 단어를 선택하는 동작은,상기 단어집과 매칭되도록 상기 제2 아웃풋(output)의 차원을 변화시키기 위한 제3 파라미터를 결정하는 동작을 더 포함하는 비디오 캡셔닝(captioning) 학습 방법
|
| 13 |
13
비디오 캡셔닝(captioning) 장치에 있어서,적어도 하나의 프로세서를 포함하고,상기 적어도 하나의 프로세서는,비디오 피쳐 및 템퍼럴 어텐션(temporal attention)을 기초로 상기 템퍼럴 어텐션(temporal attention)이 웨이트로 적용된 비디오 피쳐의 가중치 합을 생성하고,상기 템퍼럴 어텐션(temporal attention)이 웨이트로 적용된 비디오 피쳐의 가중치 합 및 제2 딥 뉴럴 네트워크(Deep Neural Networks)의 이전 히든 스테이트(hidden state)가 출력한 피쳐를 기초로 단어를 생성하는 비디오 캡셔닝(captioning) 장치
|
| 14 |
14
제13항에 있어서,상기 적어도 하나의 프로세서는,제1 딥 뉴럴 네트워크(Deep Neural Networks)를 이용하여 상기 비디오 피쳐를 인코딩하여 제1 아웃풋(output)을 생성하고,상기 제1 아웃풋(output)에 미리 설정된 함수를 적용하여 템퍼럴 어텐션(temporal attention)을 생성하고,상기 비디오 피쳐와 상기 템퍼럴 어텐션(temporal attention)을 결합하여 상기 템퍼럴 어텐션(temporal attention)이 웨이트로 적용된 비디오 피쳐의 가중치 합을 생성하는 비디오 캡셔닝(captioning) 장치
|
| 15 |
15
제13항에 있어서,상기 적어도 하나의 프로세서는,상기 템퍼럴 어텐션(temporal attention)이 웨이트로 적용된 비디오 피쳐의 가중치 합 및 상기 제2 딥 뉴럴 네트워크(Deep Neural Networks)의 이전 히든 스테이트(hidden state)가 출력한 피쳐에 미리 설정된 함수를 적용하여 어텐션(attention)을 생성하고,상기 템퍼럴 어텐션(temporal attention)이 웨이트로 적용된 비디오 피쳐의 가중치 합과 상기 어텐션(attention)을 결합하여 워드 어텐디드 피쳐(word attended features)를 생성하고, 상기 제2 딥 뉴럴 네트워크(Deep Neural Networks)를 이용하여 상기 워드 어텐디드 피쳐(word attended features) 및 상기 제2 딥 뉴럴 네트워크(Deep Neural Networks)의 이전 히든 스테이트(hidden state)가 출력한 피쳐를 디코딩하여 제2 아웃풋(output)을 생성하고,상기 제2 아웃풋(output)을 기초로 미리 설정된 단어집에서 단어를 선택하는 비디오 캡셔닝(captioning) 장치
|
| 16 |
16
비디오 피쳐 및 템퍼럴 어텐션(temporal attention)을 기초로 상기 템퍼럴 어텐션(temporal attention)이 웨이트로 적용된 비디오 피쳐의 가중치 합을 생성하는 동작; 및상기 템퍼럴 어텐션(temporal attention)이 웨이트로 적용된 비디오 피쳐의 가중치 합 및 제2 딥 뉴럴 네트워크(Deep Neural Networks)의 이전 히든 스테이트(hidden state)가 출력한 피쳐를 기초로 단어를 생성하는 동작을 포함하는 비디오 캡셔닝(captioning) 방법
|
| 17 |
17
제16항에 있어서,상기 템퍼럴 어텐션(temporal attention)이 웨이트로 적용된 비디오 피쳐의 가중치 합을 생성하는 동작은,제1 딥 뉴럴 네트워크(Deep Neural Networks)를 이용하여 상기 비디오 피쳐를 인코딩하여 제1 아웃풋(output)을 생성하는 동작;상기 제1 아웃풋(output)에 미리 설정된 함수를 적용하여 템퍼럴 어텐션(temporal attention)을 생성하는 동작; 및상기 비디오 피쳐와 상기 템퍼럴 어텐션(temporal attention)을 결합하여 상기 템퍼럴 어텐션(temporal attention)이 웨이트로 적용된 비디오 피쳐의 가중치 합을 생성하는 동작을 포함하는 비디오 캡셔닝(captioning) 방법
|
| 18 |
18
제16항에 있어서,상기 단어를 생성하는 동작은,상기 템퍼럴 어텐션(temporal attention)이 웨이트로 적용된 비디오 피쳐의 가중치 합 및 상기 제2 딥 뉴럴 네트워크(Deep Neural Networks)의 이전 히든 스테이트(hidden state)가 출력한 피쳐에 미리 설정된 함수를 적용하여 어텐션(attention)을 생성하는 동작;상기 템퍼럴 어텐션(temporal attention)이 웨이트로 적용된 비디오 피쳐의 가중치 합과 상기 어텐션(attention)을 결합하여 워드 어텐디드 피쳐(word attended features)를 생성하는 동작; 상기 제2 딥 뉴럴 네트워크(Deep Neural Networks)를 이용하여 상기 워드 어텐디드 피쳐(word attended features) 및 상기 제2 딥 뉴럴 네트워크(Deep Neural Networks)의 이전 히든 스테이트(hidden state)가 출력한 피쳐를 디코딩하여 제2 아웃풋(output)을 생성하는 동작; 및상기 제2 아웃풋(output)을 기초로 미리 설정된 단어집에서 단어를 선택하는 동작을 포함하는 비디오 캡셔닝(captioning) 방법
|
