| 1 |
1
질의 응답 모델을 사용하는 신경망 연산 방법으로서,질문 및 상기 질문에 대한 정답을 찾기 위해 콘텍스트에 대해, 개념 노드, 의미역 결정(Semantic Role Labeling, SRL) 노드, 문장 노드, 및 토큰 노드를 포함하는 그래프를 구성하는 단계,상기 개념 노드 및 상기 SRL 노드의 노드 임베딩을 생성하고, 상기 SRL 노드의 노드 임베딩 및 상기 개념 노드의 노드 임베딩을 바탕으로 상기 토큰 노드의 토큰 임베딩을 업데이트하는 단계, 그리고업데이트된 노드 임베딩 및 업데이트된 토큰 임베딩을 사용하여 상기 정답을 예측하는 단계를 포함하는 신경망 연산 방법
|
| 2 |
2
제1항에서,상기 개념 노드 및 상기 SRL 노드의 노드 임베딩을 생성하고, 상기 SRL 노드의 노드 임베딩 및 상기 개념 노드의 노드 임베딩을 바탕으로 상기 토큰 노드의 토큰 임베딩을 업데이트하는 단계는,상기 SRL 노드의 상기 노드 임베딩, 상기 개념 노드의 상기 노드 임베딩, 및 이전 그래프 계층의 토큰 노드의 토큰 임베딩을 게이트 회귀 유닛(Gated Recurrent Unit, GRU)에 입력하여 상기 이전 그래프 계층의 다음 그래프 계층의 토큰 노드의 토큰 임베딩을 업데이트하는 단계를 포함하는, 신경망 연산 방법
|
| 3 |
3
제2항에서,상기 SRL 노드의 노드 임베딩, 상기 개념 노드의 노드 임베딩, 및 이전 그래프 계층의 토큰 노드의 토큰 임베딩을 게이트 회귀 유닛(Gated Recurrent Unit, GRU)에 입력하여 상기 이전 그래프 계층의 다음 그래프 계층의 토큰 노드의 토큰 임베딩을 업데이트하는 단계는,상기 SRL 노드의 상기 노드 임베딩을 상기 GRU에 입력한 이후 상기 개념 노드의 상기 노드 임베딩을 상기 GRU에 입력하는 단계를 포함하는, 신경망 연산 방법
|
| 4 |
4
제1항에서,상기 질문 또는 상기 트콘텍스 내의 문장 내의 복수의 SRL 노드는 SRL 술어(predicate)에 의해 서로 연결되고, 상기 SRL 술어는 상기 복수의 SRL 내의 복수의 개념 노드를 연결하는, 신경망 연산 방법
|
| 5 |
5
제4항에서,상기 SRL 노드는 시간-SRL 엣지(temporary(tmp)-SRL edge)에 의해 tmp 노드와 연결되는, 신경망 연산 방법
|
| 6 |
6
제4항에서,상기 SRL 노드는 장소-SRL 엣지(location(loc)-SRL edge)에 의해 loc 노드와 연결되는, 신경망 연산 방법
|
| 7 |
7
제1항에서,상기 개념 노드 및 상기 SRL 노드의 노드 임베딩을 생성하고, 상기 SRL 노드의 노드 임베딩 및 상기 개념 노드의 노드 임베딩을 바탕으로 상기 토큰 노드의 토큰 임베딩을 업데이트하는 단계는, 상기 개념 노드의 상기 노드 임베딩 및 상기 SRL 노드의 상기 노드 임베딩을 사용하여 그래프 주목 네트워크(Graph Attention Network, GAT)를 통해 멀티홉 추론을 수행하는 단계를 포함하는, 신경망 연산 방법
|
| 8 |
8
질의 응답 모델을 사용하는 신경망 연산 장치로서,질문 및 상기 질문에 대한 정답을 찾기 위해 콘텍스트에 대해, 개념 노드, 의미역 결정(Semantic Role Labeling, SRL) 노드, 문장 노드, 및 토큰 노드를 포함하는 그래프를 구성하는 그래프 구성부,상기 개념 노드 및 상기 SRL 노드의 노드 임베딩을 생성하는 그래프 초기 임베더(graph initial embedder), 상기 SRL 노드의 노드 임베딩 및 상기 개념 노드의 노드 임베딩을 바탕으로 상기 토큰 노드의 토큰 임베딩을 업데이트하는 토큰 임베딩 업데이터(token embedding updater), 그리고업데이트된 노드 임베딩 및 업데이트된 토큰 임베딩을 사용하여 상기 정답을 예측하는 정답 예측부를 포함하는 신경망 연산 장치
|
| 9 |
9
제8항에서,상기 토큰 임베딩 업데이터는,상기 SRL 노드의 노드 임베딩, 상기 개념 노드의 노드 임베딩, 및 이전 그래프 계층의 토큰 노드의 토큰 임베딩을 게이트 회귀 유닛(Gated Recurrent Unit, GRU)에 입력하여 상기 이전 그래프 계층의 다음 그래프 계층의 토큰 노드의 토큰 임베딩을 업데이트하는, 신경망 연산 장치
|
| 10 |
10
제9항에서,상기 토큰 임베딩 업데이터는,상기 SRL 노드의 노드 임베딩, 상기 개념 노드의 노드 임베딩, 및 이전 그래프 계층의 토큰 노드의 토큰 임베딩을 게이트 회귀 유닛(Gated Recurrent Unit, GRU)에 입력할 때, 상기 SRL 노드의 상기 노드 임베딩을 상기 GRU에 입력한 이후 상기 개념 노드의 상기 노드 임베딩을 상기 GRU에 입력하는, 신경망 연산 장치
|
| 11 |
11
제8항에서,상기 질문 또는 상기 트콘텍스 내의 문장 내의 복수의 SRL 노드는 SRL 술어(predicate)에 의해 서로 연결되고, 상기 SRL 술어는 상기 복수의 SRL 내의 복수의 개념 노드를 연결하는, 신경망 연산 장치
|
| 12 |
12
제11항에서,상기 SRL 노드는 시간-SRL 엣지(temporary(tmp)-SRL edge)에 의해 tmp 노드와 연결되는, 신경망 연산 장치
|
| 13 |
13
제11항에서,상기 SRL 노드는 장소-SRL 엣지(location(loc)-SRL edge)에 의해 loc 노드와 연결되는, 신경망 연산 장치
|
| 14 |
14
제8항에서,상기 개념 노드의 상기 노드 임베딩 및 상기 SRL 노드의 상기 노드 임베딩을 사용하여 그래프 주목 네트워크(Graph Attention Network, GAT)를 통해 멀티홉 추론을 수행하는 멀티홉 추론부를 더 포함하는 신경망 연산 장치
|
| 15 |
15
질의 응답 모델을 사용하는 자연어 처리 유닛으로서,프로세서, 메모리, 및 통신 장치를 포함하고, 상기 프로세서는 상기 메모리에 저장된 프로그램을 실행하여,상기 통신 장치를 통해 질문이 입력되면, 상기 질문에 대한 정답을 찾기 위한 복수의 문서를 포함하는 데이터셋을 준비하는 단계,상기 질문 및 상기 문서에 대해, 개념 노드, 의미역 결정(Semantic Role Labeling, SRL) 노드, 문장 노드, 및 토큰 노드를 포함하는 그래프를 구성하는 단계,상기 개념 노드 및 상기 SRL 노드의 노드 임베딩을 생성하고, 상기 SRL 노드의 노드 임베딩 및 상기 개념 노드의 노드 임베딩을 바탕으로 상기 토큰 노드의 토큰 임베딩을 업데이트하는 단계, 그리고업데이트된 노드 임베딩 및 업데이트된 토큰 임베딩을 사용하여 상기 정답을 예측하는 단계를 수행하는, 자연어 처리 유닛
|
| 16 |
16
제15항에서,상기 프로세서는 상기 개념 노드 및 상기 SRL 노드의 노드 임베딩을 생성하고, 상기 SRL 노드의 노드 임베딩 및 상기 개념 노드의 노드 임베딩을 바탕으로 상기 토큰 노드의 토큰 임베딩을 업데이트하는 단계를 수행할 때, 상기 SRL 노드의 상기 노드 임베딩, 상기 개념 노드의 상기 노드 임베딩, 및 이전 그래프 계층의 토큰 노드의 토큰 임베딩을 게이트 회귀 유닛(Gated Recurrent Unit, GRU)에 입력하여 상기 이전 그래프 계층의 다음 그래프 계층의 토큰 노드의 토큰 임베딩을 업데이트하는 단계를 수행하는, 자연어 처리 유닛
|
| 17 |
17
제16항에서,상기 프로세서는 상기 SRL 노드의 노드 임베딩, 상기 개념 노드의 노드 임베딩, 및 이전 그래프 계층의 토큰 노드의 토큰 임베딩을 게이트 회귀 유닛(Gated Recurrent Unit, GRU)에 입력하여 상기 이전 그래프 계층의 다음 그래프 계층의 토큰 노드의 토큰 임베딩을 업데이트하는 단계를 수행할 때,상기 SRL 노드의 상기 노드 임베딩을 상기 GRU에 입력한 이후 상기 개념 노드의 상기 노드 임베딩을 상기 GRU에 입력하는 단계를 수행하는, 자연어 처리 유닛
|
| 18 |
18
제15항에서,상기 질문 또는 상기 트콘텍스 내의 문장 내의 복수의 SRL 노드는 SRL 술어(predicate)에 의해 서로 연결되고, 상기 SRL 술어는 상기 복수의 SRL 내의 복수의 개념 노드를 연결하는, 자연어 처리 유닛
|
| 19 |
19
제18항에서,상기 SRL 노드는 시간-SRL 엣지(temporary(tmp)-SRL edge)에 의해 tmp 노드와 연결되는, 자연어 처리 유닛
|
| 20 |
20
제18항에서,상기 SRL 노드는 장소-SRL 엣지(location(loc)-SRL edge)에 의해 loc 노드와 연결되는, 자연어 처리 유닛
|
