| 1 |
1
적어도 하나의 프로세서에 의해 동작하는 의존 구문 분석 시스템이 입력 문장의 의존 구문을 분석하는 방법으로서,복수의 어절들을 포함하는 문장을 수신하면, 상기 문장에 대한 제1 임베딩과 제2 임베딩을 생성하고, 상기 제1 임베딩과 제2 임베딩을 병합하여 입력 임베딩으로 생성하는 단계,제1 네트워크를 이용하여 상기 입력 임베딩에 대한 의존 관계와 의존 관계명을 예측하여, 상기 입력 임베딩에 대한 제1 관계를 출력하는 단계,제2 네트워크를 이용하여 상기 입력 임베딩에 대한 의존 관계와 의존 관계명을 예측하여, 상기 입력 임베딩에 대한 제2 관계를 출력하는 단계, 그리고상기 제1 관계와 제2 관계를 기초로, 상기 문장에서 각 어절들의 지배소와 의존소를 포함하는 의존 구문 트리를 출력하는 단계를 포함하는, 의존 구문 분석 방법
|
| 2 |
2
제1항에 있어서,상기 입력 임베딩으로 생성하는 단계는,상기 문장을 제1 임베딩 모델에 입력하여 상기 제1 임베딩으로 출력하고,상기 문장을 제2 임베딩 모델에 입력하여 상기 제2 임베딩으로 출력하며,상기 제1 임베딩 모델과 제2 임베딩 모델은 ELMo(Embedding from Language Model) 또는 BERT(Bidirectional Encoder Representations from Transformers) 중 어느 하나의 모델인, 의존 구문 분석 방법
|
| 3 |
3
제2항에 있어서,상기 입력 임베딩으로 생성하는 단계는,상기 제1 임베딩 모델에서, 상기 각 어절별 복수의 형태소들 중, 첫 번째 형태소와 마지막 형태소를 병합하여 상기 제1 임베딩으로 출력하고,상기 제2 임베딩 모델에서, 상기 복수의 형태소들 각각의 토큰들 중, 첫 번째 형태소의 첫 번째 토큰과 마지막 형태소의 첫 번째 토큰을 병합하여 상기 제2 임베딩으로 출력하는, 의존 구문 분석 방법
|
| 4 |
4
제3항에 있어서,상기 입력 임베딩으로 생성하는 단계는,상기 문장이 형태소 분석되어 있는지 확인하는 단계, 그리고형태소 분석이 완료되지 않았으면, 상기 문장의 상기 각 어절들에 대한 형태소를 분석하는 단계를 포함하는, 의존 구문 분석 방법
|
| 5 |
5
제4항에 있어서,상기 제1 네트워크는 Left to Right 포인터 네트워크이고, 상기 제2 네트워크는 깊은 바이아핀(deep biaffine) 어텐션 네트워크인, 의존 구문 분석 방법
|
| 6 |
6
제5항에 있어서,상기 제1 관계를 출력하는 단계는,상기 제1 네트워크는 BiLSTM(Bidirectional Long Short-Term Memory)으로 구성된 인코더와 단방향 LSTM으로 구성된 디코더로 구성되고,상기 인코더를 구성하는 어느 하나의 셀이, 복수의 어절들 중 어느 하나의 어절에 대한 입력 임베딩을 수신하는 단계, 상기 셀을 기준으로 제1 방향에 위치한 제1 이전 셀과 제2 방향에 위치한 제2 이전 셀로부터, 각각 이전 셀들까지 처리된 어절별 은닉 표상들을 수신하는 단계, 상기 어절의 입력 임베딩과 어절별 은닉 표상들을 기초로 상기 셀에서 상기 어절에 대한 어절별 출력 표상을 출력하는 단계, 그리고, 상기 디코더로 상기 입력 임베딩의 은닉 표상을 전달하는 단계, 를 포함하는, 의존 구문 분석 방법
|
| 7 |
7
제6항에 있어서,상기 제1 관계를 출력하는 단계는,상기 디코더가 상기 인코더로부터 상기 은닉 표상을 수신하는 단계,상기 인코더로부터 상기 어느 하나의 어절에 대한 어절별 출력 표상과 상기 제1 이전 셀과 제2 이전 셀에서 각각 출력된 이전 셀들의 어절별 출력 표상을 입력 받는 단계, 그리고상기 은닉 표상, 상기 어절별 출력 표상, 상기 각각 출력된 이전 셀들의 어절별 출력 표상을 기초로, 상기 어느 하나의 어절에 대한 디코더 출력 표상을 출력하는 단계를 포함하는, 의존 구문 분석 방법
|
| 8 |
8
제7항에 있어서,상기 제1 관계를 출력하는 단계는,상기 어느 하나의 어절에 대한 상기 인코더 출력 표상과 디코더 출력 표상을 기초로, 상기 어느 하나의 어절에 대한 지배소를 출력하는 단계를 포함하는, 의존 구문 분석 방법
|
| 9 |
9
제8항에 있어서,상기 제2 관계를 출력하는 단계는,상기 어절이 의존소로 쓰였을 때의 표상인 의존소 표상과, 지배소로 쓰였을 때의 표상인 지배소 표상을 계산하는 단계, 그리고상기 의존소 표상과 지배소 표상을 기초로 어절간의 관계를 파악하고, 파악한 어절간의 관계를 바이아핀으로 계산하여 각 어절에 대한 지배소를 출력하는 단계를 포함하는, 의존 구문 분석 방법
|
| 10 |
10
제9항에 있어서,상기 제1 관계에 해당하는 상기 어느 하나의 어절에 대한 지배소와 상기 제2 관계에 해당하는 각 어절 중 상기 어느 하나의 어절에 대한 지배소를 앙상블하여, 상기 의존 구문 트리로 출력하는, 의존 구문 분석 방법
|
| 11 |
11
입력 문장의 의존 구문을 분석하는 시스템으로서,복수의 어절들로 구성된 문장으로부터 제1 임베딩과 제2 임베딩을 생성하고, 상기 생성한 제1 임베딩과 제2 임베딩을 병합하여 입력 임베딩으로 생성하는 임베딩 생성부,상기 입력 임베딩에서 상기 문장의 왼쪽부터 순차적으로 각 어절별로 의존 관계와 의존 관계명을 예측하고, 상기 예측한 어절별로 의존 관계와 의존 관계명을 포함하는 제1 관계를 출력하는 제1 네트워크,상기 각 어절별로 의존 관계와 의존 관계명을 예측하고, 상기 예측한 어절별 의존 관계와 의존 관계명을 포함하는 제2 관계를 출력하는 제2 네트워크, 그리고상기 제1 관계와 제2 관계를 기초로, 상기 각 어절별 지배소와 의존소를 포함하는 의존 구문 트리를 출력하는 앙상블부를 포함하고,상기 제1 네트워크는 Left to Right 포인터 네트워크이고, 상기 제2 네트워크는 깊은 바이아핀(deep biaffine) 어텐션 네트워크인, 의존 구문 분석 시스템
|
| 12 |
12
제11항에 있어서,상기 문장이 형태소 분석되어 있는지 확인하고, 형태소 분석이 완료되지 않았으면 상기 각 어절에 대한 형태소를 분석하는 전처리부를 더 포함하는, 의존 구문 분석 시스템
|
| 13 |
13
제12항에 있어서,상기 임베딩 생성부는,상기 문장을 상기 제1 임베딩으로 출력하는 제1 임베딩 모델,상기 문장을 상기 제2 임베딩으로 출력하는 제2 임베딩 모델, 그리고상기 제1 임베딩 모델과 제2 임베딩 모델을 병합하는 병합 모델을 포함하고,상기 제1 임베딩 모델과 제2 임베딩 모델은 ELMo(Embedding from Language Model) 또는 BERT(Bidirectional Encoder Representations from Transformers) 중 어느 하나의 모델인, 의존 구문 분석 시스템
|
| 14 |
14
제13항에 있어서,상기 제1 네트워크는,BiLSTM으로 구성되며, 각 어절별 입력 임베딩, 각 어절의 형태소, 품사 태그, 이전 어절에서 문장의 구조를 반영한 이전 어절의 대표 값인 어절별 은닉 표상을 기초로 각 어절에 대한 인코더 출력 표상을 출력하고, 마지막 어절의 은닉 표상을 상기 문장의 은닉 표상으로 생성하는 인코더, 그리고상기 문장의 은닉 표상과 각 어절에 대한 인코더 출력 표상을 입력으로 받아, 상기 각 어절에 대한 디코더 출력 표상을 생성하는 디코더를 포함하고,상기 각 어절에 대한 인코더 출력 표상과 디코더 출력 표상을 기초로 상기 각 어절에 대한 지배소를 예측하는, 의존 구문 분석 시스템
|
| 15 |
15
제14항에 있어서,상기 제2 네트워크는,상기 어절이 의존소로 쓰였을 때의 표상인 의존소 표상과, 지배소로 쓰였을 때의 표상인 지배소 표상을 계산하고, 상기 의존소 표상과 지배소 표상을 기초로 어절간의 관계를 파악하며, 파악한 어절간의 관계를 바이아핀으로 계산하여 각 어절에 대한 지배소를 출력하는, 의존 구문 분석 시스템
|
