| 1 |
1
컴퓨팅 디바이스에 의한 시각 질의 응답 방법에 있어서,N(상기 N은 자연수) 개의 레이어를 포함하는 특징 추출 모델에 기반하여 이미지로부터 시각 특징을 추출하는 단계; 및상기 특징 추출 모델의 N 번째 레이어에 대응하는 시각 특징 및 N-K(상기 K는 상기 N보다 작은 자연수) 번째 레이어에 대응하는 시각 특징을 이용하여 정답 추론 모델을 기반으로 질문 벡터에 대한 정답을 추론하는 단계를 포함하는 시각 질의 응답 방법
|
| 2 |
2
제1항에 있어서,상기 질문 벡터는 질문 생성 모델을 기반으로 생성되며 의미론적 관계 정보를 포함하는 것을 특징으로 하는 시각 질의 응답 방법
|
| 3 |
3
제2항에 있어서,상기 질문 생성 모델은 장단기 메모리(Long Short Term Memory, LSTM) 구조의 순환신경망(Recurrent Neural Network, RNN)을 기반으로 질문을 인코딩하는 것을 특징으로 하는 시각 질의 응답 방법
|
| 4 |
4
제2항에 있어서,상기 정답을 추론하는 단계는,상기 특징 추출 모델의 N 번째 레이어에 대응하는 시각 특징 및 상기 질문 벡터를 입력으로 하는 영역 추론 모델을 기반으로, 상기 이미지를 복수의 조각으로 분할하고 상기 정답을 추론하는 데 필요한 영역을 예측하기 위한 영역 맵을 생성하는 단계를 포함하는 것을 특징으로 하는 시각 질의 응답 방법
|
| 5 |
5
제4항에 있어서,상기 정답 추론 모델은 상기 특징 추출 모델의 N 번째 레이어에 대응하는 시각 특징 및 상기 영역 맵을 이용하여 제1 영역 특징을 생성하고, 상기 특징 추출 모델의 N-K 번째 레이어에 대응하는 시각 특징 및 상기 영역 맵을 이용하여 제2 영역 특징을 생성하는 것을 특징으로 하는 시각 질의 응답 방법
|
| 6 |
6
제5항에 있어서,상기 정답 추론 모델은 상기 질문 벡터를 이용하여 상기 생성한 제1 영역 특징과 상기 생성한 제2 영역 특징을 결합한 제3 영역 특징에 대하여 정답을 분류하는 것을 특징으로 하는 시각 질의 응답 방법
|
| 7 |
7
제1항에 있어서,상기 특징 추출 모델은 기 설정된 크기를 갖는 이미지를 입력으로 하고, 시각 특징을 출력으로 하는 컨볼루션 신경망(Convolutional Neural Network, CNN) 기반의 레이어를 포함하는 것을 특징으로 하는 시각 질의 응답 방법
|
| 8 |
8
N(상기 N은 자연수) 개의 레이어를 포함하는 특징 추출 모델에 기반하여 이미지로부터 시각 특징을 추출하는 특징 추출부; 및상기 특징 추출 모델의 N 번째 레이어에 대응하는 시각 특징 및 N-K(상기 K는 상기 N보다 작은 자연수) 번째 레이어에 대응하는 시각 특징을 이용하여 정답 추론 모델을 기반으로 질문 벡터에 대한 정답을 추론하는 정답 추론부를 포함하는 시각 질의 응답 장치
|
| 9 |
9
제8항에 있어서,상기 질문 벡터는 질문 생성 모델을 기반으로 생성되며 의미론적 관계 정보를 포함하는 것을 특징으로 하는 시각 질의 응답 장치
|
| 10 |
10
제9항에 있어서,상기 질문 생성 모델은 장단기 메모리(Long Short Term Memory, LSTM) 구조의 순환신경망(Recurrent Neural Network, RNN)을 기반으로 질문을 인코딩하는 것을 특징으로 하는 시각 질의 응답 장치
|
| 11 |
11
제8항에 있어서,상기 정답 추론부는,상기 특징 추출 모델의 N 번째 레이어에 대응하는 시각 특징 및 상기 질문 벡터를 입력으로 하는 영역 추론 모델을 기반으로, 상기 이미지를 복수의 조각으로 분할하고 상기 정답을 추론하는 데 필요한 영역을 예측하기 위한 영역 맵을 생성하는 영역 추론부를 포함하는 것을 특징으로 하는 시각 질의 응답 장치
|
| 12 |
12
제11항에 있어서,상기 정답 추론 모델은 상기 특징 추출 모델의 N 번째 레이어에 대응하는 시각 특징 및 상기 영역 맵을 이용하여 제1 영역 특징을 생성하고, 상기 특징 추출 모델의 N-K 번째 레이어에 대응하는 시각 특징 및 상기 영역 맵을 이용하여 제2 영역 특징을 생성하는 것을 특징으로 하는 시각 질의 응답 장치
|
| 13 |
13
제12항에 있어서,상기 정답 추론 모델은 상기 질문 벡터를 이용하여 상기 생성한 제1 영역 특징과 상기 생성한 제2 영역 특징을 결합한 제3 영역 특징에 대하여 정답을 분류하는 것을 특징으로 하는 시각 질의 응답 장치
|
| 14 |
14
제8항에 있어서,상기 특징 추출 모델은 기 설정된 크기를 갖는 이미지를 입력으로 하고, 시각 특징을 출력으로 하는 컨볼루션 신경망(Convolutional Neural Network, CNN) 기반의 레이어를 포함하는 것을 특징으로 하는 시각 질의 응답 장치
|
| 15 |
15
프로세서에 의해 실행 가능한 컴퓨터 프로그램 명령어들을 포함하는 비일시적(Non-Transitory) 컴퓨터 판독 가능한 매체에 기록된 시각 질의 응답을 위한 컴퓨터 프로그램으로서, 상기 컴퓨터 프로그램 명령어들이 컴퓨팅 디바이스의 적어도 하나의 프로세서에 의해 실행되는 경우에,N(상기 N은 자연수) 개의 레이어를 포함하는 특징 추출 모델에 기반하여 이미지로부터 시각 특징을 추출하는 단계; 및상기 특징 추출 모델의 N 번째 레이어에 대응하는 시각 특징 및 N-K(상기 K는 상기 N보다 작은 자연수) 번째 레이어에 대응하는 시각 특징을 이용하여 정답 추론 모델을 기반으로 질문 벡터에 대한 정답을 추론하는 단계를 포함한 동작들을 수행하는 컴퓨터 프로그램
|
