| 1 |
1
비디오 질의 응답 학습 장치에 있어서,적어도 하나의 프로세서를 포함하고,상기 적어도 하나의 프로세서는,비디오에 대한 비디오 피쳐(feature) 및 질의에 대한 언어 피쳐(feature)를 생성하고,인코딩 한 상기 질의를 기초로 질의 벡터를 생성하고,상기 질의 벡터, 상기 비디오에 포함된 적어도 하나의 프레임에 대한 프레임 피쳐(frame feature) 및 상기 비디오의 비디오 압축 정보를 기초로 모션에 의해 가중된 피쳐 벡터(motion weighted feature vector)를 생성하는 비디오 질의 응답 학습 장치
|
| 2 |
2
제1항에 있어서,상기 적어도 하나의 프로세서는,상기 생성한 모션에 의해 가중된 피쳐 벡터(motion weighted feature vector), 상기 비디오 피쳐(feature) 및 상기 언어 피쳐(feature)를 기초로 응답을 생성하도록 뉴럴 네트워크를 학습시키는 비디오 질의 응답 학습 장치
|
| 3 |
3
제1항에 있어서,상기 적어도 하나의 프로세서는,제1 인코더를 기초로 상기 질의를 인코딩하여 특징 벡터를 생성하고,상기 생성한 특징 벡터 및 상기 언어 피쳐(feature)를 기초로 질의 벡터를 생성하는 비디오 질의 응답 학습 장치
|
| 4 |
4
제1항에 있어서,상기 적어도 하나의 프로세서는,상기 질의 벡터, 상기 비디오에 포함된 적어도 하나의 프레임에 대한 프레임 피쳐(frame feature) 및 상기 비디오 압축 정보에 포함된 모션 벡터 중 적어도 어느 하나를 기초로 적어도 하나의 어텐디드 벡터(attended vector)를 생성하고,상기 생성한 적어도 하나의 어텐디드 벡터(attended vector) 및 상기 비디오 압축 정보에 포함된 잔차(residual)를 기초로 모션에 의해 가중된 피쳐 벡터(Motion weighted feature vector)를 생성하는 비디오 질의 응답 학습 장치
|
| 5 |
5
제4항에 있어서,상기 적어도 하나의 프로세서는,상기 질의 벡터 및 상기 비디오에 포함된 적어도 하나의 프레임에 대한 제1 프레임 피쳐(frame feature)를 기초로 제1 어텐션 벡터(attention vector)를 생성하고,상기 생성한 제1 어텐션 벡터(attention vector)와 상기 비디오에 포함된 적어도 하나의 프레임에 대한 제1 프레임 피쳐(frame feature)를 기초로 제1 어텐디드 벡터(attended vector)를 생성하고,상기 질의 벡터 및 피쳐 왑핑된(Feature warping) 상기 비디오에 포함된 적어도 하나의 프레임에 대한 제2 프레임 피쳐(frame feature)를 기초로 제2 어텐션 벡터(attention vector)를 생성하고,상기 생성한 제2 어텐션 벡터(attention vector), 상기 비디오에 포함된 적어도 하나의 프레임에 대한 제1 프레임 피쳐(frame feature) 및 피쳐 왑핑된(Feature warping) 상기 비디오에 포함된 적어도 하나의 프레임에 대한 제2 프레임 피쳐(frame feature)를 기초로 제2 어텐디드 벡터(attended vector)를 생성하는 비디오 질의 응답 학습 장치
|
| 6 |
6
제5항에 있어서,상기 적어도 하나의 프로세서는,상기 비디오에 포함된 적어도 하나의 프레임에 대한 제1 프레임 피쳐(frame feature) 및 상기 비디오 압축 정보에 포함된 모션 벡터를 기초로 피쳐 왑핑된(Feature warping) 상기 비디오에 포함된 적어도 하나의 프레임에 대한 제2 프레임 피쳐(frame feature)를 생성하는 비디오 질의 응답 학습 장치
|
| 7 |
7
제5항에 있어서,상기 적어도 하나의 프로세서는,상기 비디오 압축 정보에 포함된 잔차(residual)를 기초로 상기 제1 어텐디드 벡터(attended vector) 및 상기 제2 어텐디드 벡터(attended vector)의 가중치 합을 결정하고,제2 인코더를 기초로 상기 결정한 가중치 합을 인코딩하여 모션에 의해 가중된 피쳐 벡터(Motion weighted feature vector)를 생성하는 비디오 질의 응답 학습 장치
|
| 8 |
8
비디오에 대한 비디오 피쳐(feature) 및 질의에 대한 언어 피쳐(feature)를 생성하는 동작;인코딩 한 상기 질의를 기초로 질의 벡터를 생성하는 동작; 및상기 질의 벡터, 상기 비디오에 포함된 적어도 하나의 프레임에 대한 프레임 피쳐(frame feature) 및 상기 비디오의 비디오 압축 정보를 기초로 모션에 의해 가중된 피쳐 벡터(motion weighted feature vector)를 생성하는 동작을 포함하는 비디오 질의 응답 학습 방법
|
| 9 |
9
제8항에 있어서,상기 비디오 질의 응답 학습 방법은,상기 생성한 모션에 의해 가중된 피쳐 벡터(motion weighted feature vector), 상기 비디오 피쳐(feature) 및 상기 언어 피쳐(feature)를 기초로 응답을 생성하도록 뉴럴 네트워크를 학습시키는 동작을 더 포함하는 비디오 질의 응답 학습 방법
|
| 10 |
10
제8항에 있어서,상기 질의 벡터를 생성하는 동작은,제1 인코더를 기초로 상기 질의를 인코딩하여 특징 벡터를 생성하는 동작; 및상기 생성한 특징 벡터 및 상기 언어 피쳐(feature)를 기초로 질의 벡터를 생성하는 동작을 포함하는 비디오 질의 응답 학습 방법
|
| 11 |
11
제8항에 있어서,상기 모션에 의해 가중된 피쳐 벡터(motion weighted feature vector)를 생성하는 동작은,상기 질의 벡터, 상기 비디오에 포함된 적어도 하나의 프레임에 대한 프레임 피쳐(frame feature) 및 상기 비디오 압축 정보에 포함된 모션 벡터 중 적어도 어느 하나를 기초로 적어도 하나의 어텐디드 벡터(attended vector)를 생성하는 동작; 및상기 생성한 적어도 하나의 어텐디드 벡터(attended vector) 및 상기 비디오 압축 정보에 포함된 잔차(residual)를 기초로 모션에 의해 가중된 피쳐 벡터(Motion weighted feature vector)를 생성하는 동작을 포함하는 비디오 질의 응답 학습 방법
|
| 12 |
12
제11항에 있어서,상기 적어도 하나의 어텐디드 벡터(attended vector)를 생성하는 동작은,상기 질의 벡터 및 상기 비디오에 포함된 적어도 하나의 프레임에 대한 제1 프레임 피쳐(frame feature)를 기초로 제1 어텐션 벡터(attention vector)를 생성하는 동작;상기 생성한 제1 어텐션 벡터(attention vector)와 상기 비디오에 포함된 적어도 하나의 프레임에 대한 제1 프레임 피쳐(frame feature)를 기초로 제1 어텐디드 벡터(attended vector)를 생성하는 동작;상기 질의 벡터 및 피쳐 왑핑된(Feature warping) 상기 비디오에 포함된 적어도 하나의 프레임에 대한 제2 프레임 피쳐(frame feature)를 기초로 제2 어텐션 벡터(attention vector)를 생성하는 동작; 및상기 생성한 제2 어텐션 벡터(attention vector), 상기 비디오에 포함된 적어도 하나의 프레임에 대한 제1 프레임 피쳐(frame feature) 및 피쳐 왑핑된(Feature warping) 상기 비디오에 포함된 적어도 하나의 프레임에 대한 제2 프레임 피쳐(frame feature)를 기초로 제2 어텐디드 벡터(attended vector)를 생성하는 동작을 포함하는 비디오 질의 응답 학습 방법
|
| 13 |
13
제12항에 있어서,상기 제2 어텐션 벡터(attention vector)를 생성하는 동작은,상기 비디오에 포함된 적어도 하나의 프레임에 대한 제1 프레임 피쳐(frame feature) 및 상기 비디오 압축 정보에 포함된 모션 벡터를 기초로 피쳐 왑핑된(Feature warping) 상기 비디오에 포함된 적어도 하나의 프레임에 대한 제2 프레임 피쳐(frame feature)를 생성하는 동작을 포함하는 비디오 질의 응답 학습 방법
|
| 14 |
14
제12항에 있어서,상기 모션에 의해 가중된 피쳐 벡터(Motion weighted feature vector)를 생성하는 동작은,상기 비디오 압축 정보에 포함된 잔차(residual)를 기초로 상기 제1 어텐디드 벡터(attended vector) 및 상기 제2 어텐디드 벡터(attended vector)의 가중치 합을 결정하는 동작; 및제2 인코더를 기초로 상기 결정한 가중치 합을 인코딩하여 모션에 의해 가중된 피쳐 벡터(Motion weighted feature vector)를 생성하는 동작을 포함하는 비디오 질의 응답 학습 방법
|
| 15 |
15
비디오 질의 응답 장치에 있어서,적어도 하나의 프로세서를 포함하고,상기 적어도 하나의 프로세서는,비디오에 대한 비디오 피쳐(feature) 및 질의에 대한 언어 피쳐(feature)를 생성하고,인코딩 한 상기 질의를 기초로 질의 벡터를 생성하고, 상기 질의 벡터, 상기 비디오에 포함된 적어도 하나의 프레임에 대한 프레임 피쳐(frame feature) 및 상기 비디오의 비디오 압축 정보를 기초로 모션에 의해 가중된 피쳐 벡터(motion weighted feature vector)를 생성하고,상기 생성한 모션에 의해 가중된 피쳐 벡터(motion weighted feature vector), 상기 비디오 피쳐(feature) 및 상기 언어 피쳐(feature)를 기초로 학습이 완료된 뉴럴 네트워크를 이용하여 응답을 생성하는 비디오 질의 응답 장치
|
| 16 |
16
제15항에 있어서,상기 적어도 하나의 프로세서는,학습이 완료된 제1 인코더를 기초로 상기 질의를 인코딩하여 특징 벡터를 생성하고,상기 생성한 특징 벡터 및 상기 언어 피쳐(feature)를 기초로 질의 벡터를 생성하는 비디오 질의 응답 장치
|
| 17 |
17
제15항에 있어서,상기 적어도 하나의 프로세서는,상기 질의 벡터, 상기 비디오에 포함된 적어도 하나의 프레임에 대한 프레임 피쳐(frame feature) 및 상기 비디오 압축 정보에 포함된 모션 벡터 중 적어도 어느 하나를 기초로 적어도 하나의 어텐디드 벡터(attended vector)를 생성하고,상기 생성한 적어도 하나의 어텐디드 벡터(attended vector) 및 상기 비디오 압축 정보에 포함된 잔차(residual)를 기초로 모션에 의해 가중된 피쳐 벡터(Motion weighted feature vector)를 생성하는 비디오 질의 응답 장치
|
| 18 |
18
제17항에 있어서,상기 적어도 하나의 프로세서는,상기 질의 벡터 및 상기 비디오에 포함된 적어도 하나의 프레임에 대한 제1 프레임 피쳐(frame feature)를 기초로 제1 어텐션 벡터(attention vector)를 생성하고,상기 생성한 제1 어텐션 벡터(attention vector)와 상기 비디오에 포함된 적어도 하나의 프레임에 대한 제1 프레임 피쳐(frame feature)를 기초로 제1 어텐디드 벡터(attended vector)를 생성하고,상기 질의 벡터 및 피쳐 왑핑된(Feature warping) 상기 비디오에 포함된 적어도 하나의 프레임에 대한 제2 프레임 피쳐(frame feature)를 기초로 제2 어텐션 벡터(attention vector)를 생성하고,상기 생성한 제2 어텐션 벡터(attention vector), 상기 비디오에 포함된 적어도 하나의 프레임에 대한 제1 프레임 피쳐(frame feature) 및 피쳐 왑핑된(Feature warping) 상기 비디오에 포함된 적어도 하나의 프레임에 대한 제2 프레임 피쳐(frame feature)를 기초로 제2 어텐디드 벡터(attended vector)를 생성하는 비디오 질의 응답 장치
|
| 19 |
19
제18항에 있어서,상기 적어도 하나의 프로세서는,상기 비디오에 포함된 적어도 하나의 프레임에 대한 제1 프레임 피쳐(frame feature) 및 상기 비디오 압축 정보에 포함된 모션 벡터를 기초로 피쳐 왑핑된(Feature warping) 상기 비디오에 포함된 적어도 하나의 프레임에 대한 제2 프레임 피쳐(frame feature)를 생성하는 비디오 질의 응답 장치
|
| 20 |
20
제18항에 있어서,상기 적어도 하나의 프로세서는,상기 비디오 압축 정보에 포함된 잔차(residual)를 기초로 상기 제1 어텐디드 벡터(attended vector) 및 상기 제2 어텐디드 벡터(attended vector)의 가중치 합을 결정하고,학습이 완료된 제2 인코더를 기초로 상기 결정한 가중치 합을 인코딩하여 모션에 의해 가중된 피쳐 벡터(Motion weighted feature vector)를 생성하는 비디오 질의 응답 장치
|
| 21 |
21
비디오에 대한 비디오 피쳐(feature) 및 질의에 대한 언어 피쳐(feature)를 생성하는 동작;인코딩 한 상기 질의를 기초로 질의 벡터를 생성하는 동작; 상기 질의 벡터, 상기 비디오에 포함된 적어도 하나의 프레임에 대한 프레임 피쳐(frame feature) 및 상기 비디오의 비디오 압축 정보를 기초로 모션에 의해 가중된 피쳐 벡터(motion weighted feature vector)를 생성하는 동작; 및상기 생성한 모션에 의해 가중된 피쳐 벡터(motion weighted feature vector), 상기 비디오 피쳐(feature) 및 상기 언어 피쳐(feature)를 기초로 학습이 완료된 뉴럴 네트워크를 이용하여 응답을 생성하는 비디오 질의 응답 방법
|
| 22 |
22
제21항에 있어서,상기 질의 벡터를 생성하는 동작은,학습이 완료된 제1 인코더를 기초로 상기 질의를 인코딩하여 특징 벡터를 생성하는 동작; 및상기 생성한 특징 벡터 및 상기 언어 피쳐(feature)를 기초로 질의 벡터를 생성하는 동작을 포함하는 비디오 질의 응답 방법
|
| 23 |
23
제21항에 있어서,상기 모션에 의해 가중된 피쳐 벡터(motion weighted feature vector)를 생성하는 동작은,상기 질의 벡터, 상기 비디오에 포함된 적어도 하나의 프레임에 대한 프레임 피쳐(frame feature) 및 상기 비디오 압축 정보에 포함된 모션 벡터 중 적어도 어느 하나를 기초로 적어도 하나의 어텐디드 벡터(attended vector)를 생성하는 동작; 및상기 생성한 적어도 하나의 어텐디드 벡터(attended vector) 및 상기 비디오 압축 정보에 포함된 잔차(residual)를 기초로 모션에 의해 가중된 피쳐 벡터(Motion weighted feature vector)를 생성하는 동작을 포함하는 비디오 질의 응답 방법
|
| 24 |
24
제23항에 있어서,상기 적어도 하나의 어텐디드 벡터(attended vector)를 생성하는 동작은,상기 질의 벡터 및 상기 비디오에 포함된 적어도 하나의 프레임에 대한 제1 프레임 피쳐(frame feature)를 기초로 제1 어텐션 벡터(attention vector)를 생성하는 동작;상기 생성한 제1 어텐션 벡터(attention vector)와 상기 비디오에 포함된 적어도 하나의 프레임에 대한 제1 프레임 피쳐(frame feature)를 기초로 제1 어텐디드 벡터(attended vector)를 생성하는 동작;상기 질의 벡터 및 피쳐 왑핑된(Feature warping) 상기 비디오에 포함된 적어도 하나의 프레임에 대한 제2 프레임 피쳐(frame feature)를 기초로 제2 어텐션 벡터(attention vector)를 생성하는 동작; 및상기 생성한 제2 어텐션 벡터(attention vector), 상기 비디오에 포함된 적어도 하나의 프레임에 대한 제1 프레임 피쳐(frame feature) 및 피쳐 왑핑된(Feature warping) 상기 비디오에 포함된 적어도 하나의 프레임에 대한 제2 프레임 피쳐(frame feature)를 기초로 제2 어텐디드 벡터(attended vector)를 생성하는 동작을 포함하는 비디오 질의 응답 방법
|
| 25 |
25
제24항에 있어서,상기 제2 어텐션 벡터(attention vector)를 생성하는 동작은,상기 비디오에 포함된 적어도 하나의 프레임에 대한 제1 프레임 피쳐(frame feature) 및 상기 비디오 압축 정보에 포함된 모션 벡터를 기초로 피쳐 왑핑된(Feature warping) 상기 비디오에 포함된 적어도 하나의 프레임에 대한 제2 프레임 피쳐(frame feature)를 생성하는 동작을 포함하는 비디오 질의 응답 방법
|
| 26 |
26
제24항에 있어서,상기 모션에 의해 가중된 피쳐 벡터(Motion weighted feature vector)를 생성하는 동작은,상기 비디오 압축 정보에 포함된 잔차(residual)를 기초로 상기 제1 어텐디드 벡터(attended vector) 및 상기 제2 어텐디드 벡터(attended vector)의 가중치 합을 결정하는 동작; 및학습이 완료된 제2 인코더를 기초로 상기 결정한 가중치 합을 인코딩하여 모션에 의해 가중된 피쳐 벡터(Motion weighted feature vector)를 생성하는 동작을 포함하는 비디오 질의 응답 방법
|
