| 1 |
1
메모리 및 상기 메모리에 저장된 프로그램을 실행시키는 프로세서를 구비하며, 외부 메모리 네트워크가 결합된 자연어 처리 장치에 있어서,자연어로 구성된 적어도 하나의 문장을 포함하는 문서를 입력받아, 상기 문서를 대상으로 단어 임베딩 결과를 생성하는 양방향 참조방향을 갖는 부호기,상기 부호기로부터의 단어 임베딩 결과를 입력받아 쿼리, 키 및 값 쌍으로 구성된 문장 단위 임베딩 결과를 생성하는 외부 메모리 네트워크,상기 문장 단위 임베딩 결과를 대상으로 집중(Attention) 과정을 수행하는 다중 구획 메모리 집중부,상기 문장 단위 임베딩 결과를 기반으로 하는 설정 벡터를 반복 학습시켜 상기 설정 벡터로부터 유의미한 문장을 출력하는 집중 추론부 및상기 출력된 문장을 상기 부호기에서의 단어 임베딩 결과와 함께 입력받은 분류기를 포함하는,외부 메모리 네트워크가 결합된 자연어 처리 장치
|
| 2 |
2
제1항에 있어서,상기 입력된 문서는 문장 단위 및 단어 단위로 구분되며, 상기 부호기는 상기 단어 단위로 구분된 상기 문서를 복수의 부호화 층에 입력하여 단어 임베딩 결과를 생성하는 것인,외부 메모리 네트워크가 결합된 자연어 처리 장치
|
| 3 |
3
제2항에 있어서,상기 문서의 각 구분된 단어는 미리 학습된 복수의 임베등 층(Embedding Layer)에 통과되어 단어 임베딩 벡터로 생성되며, 상기 부호기는 상기 단어 임베딩 벡터를 입력받아 단어 임베딩 결과를 생성하되,상기 복수의 임베딩 층은 단어 임베딩 층, 문장 단위(segment embedding) 임베딩 층 및 위치 임베딩 층으로 구성되는 것인,외부 메모리 네트워크가 결합된 자연어 처리 장치
|
| 4 |
4
제2항에 있어서,상기 부호기는 제N 번째(N은 자연수) 부호화 층의 단어 임베딩 결과를 다중 구획 자가 집중(Multi-Head Self-Attention) 알고리즘에 기초하여 제N+1 번째 부호화 층의 입력으로 설정하여 각 단어들의 집중도 값이 갱신된 단어 임베딩 결과를 출력하는 것인,외부 메모리 네트워크가 결합된 자연어 처리 장치
|
| 5 |
5
제4항에 있어서,상기 부호기는 상기 복수의 부호화 층 각각에서 출력된 단어 임베딩 결과를 상기 외부 메모리 네트워크로 제공하는 것인,외부 메모리 네트워크가 결합된 자연어 처리 장치
|
| 6 |
6
제1항에 있어서,상기 외부 메모리 네트워크는 상기 복수의 부호화 층 각각의 단어 임베딩 결과를 상기 문서에 포함된 단어 개수만큼의 시퀀스를 갖는 하나의 텐서(tensor)로 부호화하며, 상기 부호화된 텐서에서 기 정의된 문장당 단어 수만큼 단어 벡터를 추출하여 상기 쿼리, 키 및 값 쌍을 구성하는 것인,외부 메모리 네트워크가 결합된 자연어 처리 장치
|
| 7 |
7
제6항에 있어서,상기 다중 구획 메모리 집중부는 다중 구획 집중(Multi-Head Attention) 알고리즘에 기초하여 집중 과정을 수행하되,상기 쿼리, 키 및 값 쌍을 각각 입력으로 설정하여 문장 시퀀스 간의 집중도 값을 산출하고, 상기 쿼리, 키 및 값 쌍을 각각 입력으로 설정하여 다중 구획(Multi-head) 사이에서의 집중도 값을 산출하며, 상기 각 집중도 값에 대한 곱셈 연산을 수행하여 상기 문장 단위 임베딩 결과에 대한 집중 과정을 수행하는 단계를 포함하는,외부 메모리 네트워크가 결합된 자연어 처리 장치
|
| 8 |
8
제6항에 있어서,상기 다중 구획 메모리 집중부는 상기 문장 시퀀스 별로 각각 총 구획 수만큼의 쿼리와 키에 상응하는 각 구획별 집중도 값을 산출하는 것인,외부 메모리 네트워크가 결합된 자연어 처리 장치
|
| 9 |
9
제8항에 있어서,상기 다중 구획 메모리 집중부는 상기 각 구획별 집중도 값을 상기 총 구획 수를 서로 곱한 크기를 갖는 행렬에 기록하는 것인,외부 메모리 네트워크가 결합된 자연어 처리 장치
|
| 10 |
10
제1항에 있어서,상기 집중 추론부는 상기 문장 단위 임베딩 결과에서의 각 구획에 상응하는 쿼리 벡터와 임의로 정의된 문장 벡터로 구성된 설정 벡터를 입력받되, 상기 설정 벡터를 다중 구획 집중(Multi-Head Attention) 알고리즘의 제M 번째(M은 자연수) 집중층의 입력으로 설정하여 출력된 값 중 상기 문장 벡터에 상응하는 출력 값만을 추출하며, 상기 설정 벡터의 임의로 정의된 문장 벡터를 상기 출력된 문장 벡터로 대체시킨 후, 상기 출력된 문장 벡터로 대체된 설정 벡터를 상기 다중 구획 집중 알고리즘의 제M+1 번째 집중층의 입력으로 설정하여 출력된 값 중 상기 문장 벡터에 상응하는 출력 값만을 추출하는 것인,외부 메모리 네트워크가 결합된 자연어 처리 장치
|
| 11 |
11
메모리 및 상기 메모리에 저장된 프로그램을 실행시키는 프로세서를 구비하며, 자연어 처리를 위한 학습을 수행하는 외부 메모리 네트워크 장치에 있어서,자연어로 구성된 적어도 하나의 문장을 포함하는 문서를 대상으로 하는 단어 임베딩 결과를 부호기로부터의 입력받아 쿼리, 키 및 값 쌍으로 구성된 문장 단위 임베딩 결과를 생성하는 외부 메모리 네트워크,상기 문장 단위 임베딩 결과를 대상으로 집중(Attention) 과정을 수행하는 다중 구획 메모리 집중부 및상기 문장 단위 임베딩 결과를 기반으로 하는 설정 벡터를 반복 학습시켜 상기 설정 벡터로부터 유의미한 문장을 출력하는 집중 추론부를 포함하는,외부 메모리 네트워크 장치
|
| 12 |
12
컴퓨터에 의해 수행되는 방법에 있어서,자연어로 구성되는 적어도 하나의 문장을 포함하는 문서를 입력받는 단계;상기 입력된 문서를 대상으로 양방향의 참조방향을 갖는 부호기에 기초하여 단어 임베딩을 수행하는 단계;상기 부호기로부터의 단어 임베딩 결과를 질의 응답을 위한 상기 외부 메모리 네트워크에서 입력받아 쿼리, 키 및 값 쌍으로 구성된 문장 단위 임베딩 결과를 생성하는 단계;상기 문장 단위 임베딩 결과를 대상으로 집중(Attention) 과정을 수행하는 단계;상기 문장 단위 임베딩 결과를 기반으로 하는 설정 벡터를 반복 학습시켜 상기 설정 벡터로부터 유의미한 문장을 출력하는 단계; 및상기 출력된 문장을 상기 부호기에서의 단어 임베딩 결과와 함께 분류기에 입력시키는 단계를 포함하는,외부 메모리 네트워크가 결합된 자연어 처리 장치에서의 학습 방법
|
| 13 |
13
제12항에 있어서,상기 입력된 문서를 대상으로 양방향의 참조방향을 갖는 부호기에 기초하여 단어 임베딩을 수행하는 단계는,상기 입력된 문서를 문장 단위 및 단어 단위로 구분하는 단계; 및상기 단어 단위로 구분된 상기 문서를 복수의 부호화 층으로 구성된 상기 부호기에 입력하여 단어 임베딩을 수행하는 단계를 포함하는,외부 메모리 네트워크가 결합된 자연어 처리 장치에서의 학습 방법
|
| 14 |
14
제13항에 있어서,상기 단어 단위로 구분된 상기 문서를 복수의 부호화 층으로 구성된 상기 부호기에 입력하여 단어 임베딩을 수행하는 단계는,상기 구분된 각 단어를 대상으로 미리 학습된 복수의 임베딩 층(Embedding Layer)에 통과시켜 상기 단어 임베딩을 수행하고,상기 복수의 임베딩 층은 단어 임베딩 층, 문장 단위 임베딩(segment embedding) 층 및 위치 임베딩 층으로 구성되는 것인,외부 메모리 네트워크가 결합된 자연어 처리 장치에서의 학습 방법
|
| 15 |
15
제13항에 있어서,상기 단어 단위로 구분된 상기 문서를 복수의 부호화 층으로 구성된 상기 부호기에 입력하여 단어 임베딩을 수행하는 단계는,제N 번째(N은 자연수) 부호화 층의 단어 임베딩 결과를 다중 구획 자가 집중(Multi-Head Self-Attention) 알고리즘에 기초하여 제N+1 번째 부호화 층의 입력으로 설정하여 각 단어들의 집중도 값이 갱신된 단어 임베딩 결과를 출력하는 것인,외부 메모리 네트워크가 결합된 자연어 처리 장치에서의 학습 방법
|
| 16 |
16
제15항에 있어서,상기 복수의 부호화 층 각각에서 출력된 단어 임베딩 결과를 상기 외부 메모리 네트워크로 제공하는 단계를 더 포함하는,외부 메모리 네트워크가 결합된 자연어 처리 장치에서의 학습 방법
|
| 17 |
17
제12항에 있어서,상기 부호기로부터의 단어 임베딩 결과를 질의 응답을 위한 상기 외부 메모리 네트워크에서 입력받아 쿼리, 키 및 값 쌍으로 구성된 문장 단위 임베딩 결과를 생성하는 단계는,상기 복수의 부호화 층 각각의 단어 임베딩 결과를 상기 문서에 포함된 단어 개수만큼의 시퀀스를 갖는 하나의 텐서(tensor)로 부호화하는 단계; 및상기 부호화된 텐서에서 기 정의된 문장당 단어 수만큼 단어 벡터를 추출하여 상기 쿼리, 키 및 값 쌍을 구성하는 단계를 포함하는,외부 메모리 네트워크가 결합된 자연어 처리 장치에서의 학습 방법
|
| 18 |
18
제17항에 있어서,상기 문장 단위 임베딩 결과를 대상으로 집중(Attention) 과정을 수행하는 단계는,다중 구획 집중(Multi-Head Attention) 알고리즘에 기초하여 집중 과정을 수행하되,상기 쿼리, 키 및 값 쌍을 각각 입력으로 설정하여 문장 시퀀스 간의 집중도 값을 산출하는 단계; 상기 쿼리, 키 및 값 쌍을 각각 입력으로 설정하여 다중 구획(Multi-head) 사이에서의 집중도 값을 산출하는 단계; 및상기 각 집중도 값에 대한 곱셈 연산을 수행하여 상기 문장 단위 임베딩 결과에 대한 집중 과정을 수행하는 단계를 포함하는,외부 메모리 네트워크가 결합된 자연어 처리 장치에서의 학습 방법
|
| 19 |
19
제17항에 있어서,상기 쿼리, 키 및 값 쌍을 각각 입력으로 설정하여 다중 구획(Multi-head) 사이에서의 집중도 값을 산출하는 단계는,상기 문장 시퀀스 별로 각각 총 구획 수만큼의 쿼리와 키에 상응하는 각 구획별 집중도 값을 산출하고, 상기 각 구획별 집중도 값을 상기 총 구획 수를 서로 곱한 크기를 갖는 행렬에 기록하는 것인,외부 메모리 네트워크가 결합된 자연어 처리 장치에서의 학습 방법
|
| 20 |
20
제12항에 있어서,상기 문장 단위 임베딩 결과를 기반으로 하는 설정 벡터를 반복 학습시켜 상기 설정 벡터로부터 유의미한 문장을 출력시키는 단계는,상기 문장 단위 임베딩 결과에서의 각 구획에 상응하는 쿼리 벡터와 임의로 정의된 문장 벡터를 상기 설정 벡터로 구성하는 단계;상기 설정 벡터를 다중 구획 집중(Multi-Head Attention) 알고리즘의 제M번째(M은 자연수) 구획의 입력으로 설정하여 출력된 값 중 상기 문장 벡터에 상응하는 출력 값만을 추출하는 단계;상기 설정 벡터의 임의로 정의된 문장 벡터를 상기 출력된 문장 벡터로 대체시키는 단계; 및상기 출력된 문장 벡터로 대체된 설정 벡터를 상기 다중 구획 집중 알고리즘의 제M+1 번째 구획의 입력으로 설정하여 출력된 값 중 상기 문장 벡터에 상응하는 출력 값만을 추출하는 단계를 포함하는,외부 메모리 네트워크가 결합된 자연어 처리 장치에서의 학습 방법
|
