| 1 |
1
질의 응답 장치에서 수행되는 질의 응답 방법에 있어서,비디오 콘텐츠 및 질의응답 쌍을 포함하는 데이터 세트를 입력받는 단계;상기 입력된 데이터 세트 중 상기 비디오 콘텐츠로부터 입력 시계열 시퀀스를 생성하고, 상기 입력된 데이터 세트 중 상기 질의응답 쌍으로부터 질의응답 시계열 시퀀스를 생성하는 전처리 단계;상기 입력 시계열 시퀀스와 상기 질의응답 시퀀스를 연관시켜 가중치를 계산하고, 상기 계산된 가중치와 상기 입력 시계열 시퀀스와 연산하여 제1결과 값을 산출하는 단계; 상기 입력 시계열 시퀀스 중 질의응답에서 등장하는 인물에 직접적으로 연관되는 부분에 주의집중하여 제2결과 값을 산출하는 단계; 및상기 시계열 시퀀스, 상기 제1결과 값, 상기 제2결과 값 및 부울플래그를 연결하여 제3결과 값을 산출하고, 상기 제3결과 값에 기초하여 최종 답안을 선택하는 단계를 포함하는, 방법
|
| 2 |
2
제1항에 있어서,상기 데이터 세트는,질의응답 쌍, 발화자가 표시된 스크립트, 시각적 메타데이터(행동 및 감정), 시각 바운딩박스를 포함하는 것을 특징으로 하는, 방법
|
| 3 |
3
제1항에 있어서,전처리 단계는,데이터 세트에 포함된 데이터를 각각 순서대로 연결하여 시계열 데이터를 생성하는 단계; 상기 시계열 데이터에서 단어 벡터, 이미지 특징 벡터를 추출하고, 상기 추출된 벡터에 상기 시계열 데이터의 관련인물 정보를 원-핫 벡터로 연결하여 관련인물이 포함된 특징 벡터를 생성하는 단계; 및 양방향 장단기메모리모델에 상기 관련인물이 포함된 특징 벡터를 입력하여, 문맥적 흐름을 가지는 시계열 시퀀스를 생성하는 단계를 더 포함하는, 방법
|
| 4 |
4
제1항에 있어서,제2결과 값을 산출하는 단계에 있어서,닷-프로덕트 주의집중(Dot-product Attention)과 멀티-헤드 주의집중(Multi-Head Attention)을 이용하여 제3결과값을 산출하는 것을 특징으로 하는, 방법
|
| 5 |
5
질의 응답 장치에 있어서,질의 응답을 수행하는 프로그램이 저장되는 저장부; 및적어도 하나의 프로세서를 포함하는 제어부를 포함하며,상기 제어부는 상기 프로그램을 실행시킴으로써 비디오 콘텐츠 및 질의응답 쌍을 포함하는 데이터 세트를 입력받으면 상기 입력된 데이터 세트 중 상기 비디오 콘텐츠로부터 입력 시계열 시퀀스를 생성하고, 상기 입력된 데이터 세트 중 상기 질의응답 쌍으로부터 질의응답 시계열 시퀀스를 생성하며, 상기 입력 시계열 시퀀스와 상기 질의응답 시퀀스를 연관시켜 가중치를 계산하고, 상기 계산된 가중치와 상기 입력 시계열 시퀀스와 연산하여 제1결과 값을 산출하며,상기 입력 시계열 시퀀스 중 질의응답에 등장하는 인물에 직접적으로 연관되는 부분에 주의집중하여 제2결과 값을 산출하며,상기 입력 시계열 시퀀스, 상기 제1결과 값, 상기 제2결과 값 및 부울플래그를 연결하여 제3결과 값을 산출하고, 상기 제3결과 값에 기초하여 최종 답안을 선택하는, 장치
|
| 6 |
6
제5항에 있어서,상기 데이터 세트는 질의응답 쌍, 발화자가 표시된 스크립트, 시각적 메타데이터(행동 및 감정), 시각 바운딩박스가 포함되는 것을 특징으로 하는, 장치
|
| 7 |
7
제5항에 있어서,상기 제어부는 상기 입력된 데이터 세트에서 입력 시계열 시퀀스와 질의응답 시계열 시퀀스를 생성함에 있어서,상기 데이터 세트에 포함된 데이터를 각각 순서대로 연결하여 시계열 데이터를 생성하며, 상기 시계열 데이터에서 단어 벡터, 이미지 특징 벡터를 추출하고, 상기 추출된 벡터에 상기 시계열 데이터의 관련인물 정보를 원-핫 벡터로 연결하여 관련인물이 포함된 특징 벡터를 생성하며,양방향 장단기메모리모델에 상기 관련인물이 포함된 특징 벡터를 입력하여, 문맥적 흐름을 가지는 시계열 시퀀스를 생성하는 것을 특징으로 하는, 장치
|
| 8 |
8
제5항에 있어서,상기 제어부가 제2결과 값을 산출함에 있어서,닷-프로덕트 주의집중(Dot-product Attention)과 멀티-헤드 주의집중(Multi-Head Attention)을 이용하여 제3결과 값을 산출하는 것을 특징으로 하는, 장치
|
| 9 |
9
컴퓨터에 제1항에 기재된 방법을 실행시키기 위한 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체
|
| 10 |
10
질의 응답 장치에 의해 수행되며, 제1항에 기재된 방법을 수행하기 위해 매체에 저장된 컴퓨터 프로그램
|
