| 1 |
1
SAN(self-attention network) 기반의 양방향 언어 모델을 이용한 문장 평가 방법으로서,대상 문장의 시퀀스를 입력받는 단계;상기 대상 문장에 포함된 각각의 단어의 문장 내 위치 정보를 이용하여, 각각의 단어와 그 외 다른 단어와의 연관 확률을 각각 산출하여 인코딩하는 단계; 및상기 인코딩된 각각의 연관 확률을 연산하여 상기 대상 문장의 적합도를 평가하는 단계를 포함하는 것을 특징으로 하는, 문장 평가 방법
|
| 2 |
2
제1항에 있어서, 상기 연관 확률을 각각 산출하여 인코딩하는 단계는,상기 대상 문장에 포함된 각각의 단어의 문장 내 위치 정보에 기반하여, 각각의 단어에 대해 해당 단어의 어텐션 가중치(attention weight)가 0이 되도록 구성된 행렬을 이용하여 각각의 단어와 그 외 다른 단어와의 연관 확률을 각각 산출하는 단계를 포함하는 것을 특징으로 하는, 문장 평가 방법
|
| 3 |
3
제1항에 있어서,상기 연관 확률을 각각 산출하여 인코딩하는 단계는,K-V(key-value) 경로와 Q(query) 경로로 분리된 각각의 입력 경로로 상기 입력된 시퀀스에 기반한 임베딩 벡터를 각각 입력 받는 단계; 및 상기 각각 입력된 임베딩 벡터를 이용하여, 복수의 인코딩 레이어에서 대상 문장의 각각의 단어와 그 외 다른 단어와의 연관 확률을 각각 산출하여 인코딩하는 단계를 포함하는 것을 특징으로 하는, 문장 평가 방법
|
| 4 |
4
제3항에 있어서,상기 K-V 경로로 입력되는 임베딩 벡터는, 상기 입력된 시퀀스를 이용한 입력 임베딩 벡터로 상기 복수의 인코딩 레이어 각각에서 동일하고, 상기 Q 경로로 입력되는 임베딩 벡터는, 첫 번째 레이어에 대해서는 상기 각각의 단어의 문장 내 위치 정보만 가지는 베이스 임베딩 벡터이고, 상기 복수의 인코딩 레이어 각각을 통과할수록 상기 입력 임베딩 벡터가 가중합되어 업데이트되는 것을 특징으로 하는, 문장 평가 방법
|
| 5 |
5
제3항에 있어서,상기 대상 문장의 적합도를 평가하는 단계는,상기 복수의 인코딩 레이어에서 각각 인코딩된 연관 확률을 함께 연산하여 산출된 결과를 이용하여 상기 대상 문장의 적합도를 평가하는 단계를 포함하는 것을 특징으로 하는, 문장 평가 방법
|
| 6 |
6
SAN(self-attention network) 기반의 양방향 언어 모델을 이용한 문장 평가 장치로서,하나 이상의 프로세서를 포함하고,상기 하나 이상의 프로세서는, 대상 문장의 시퀀스를 입력받고, 상기 대상 문장에 포함된 각각의 단어의 문장 내 위치 정보를 이용하여, 각각의 단어와 그 외 다른 단어와의 연관 확률을 각각 산출하여 인코딩하고, 상기 인코딩된 각각의 연관 확률을 연산하여 상기 대상 문장의 적합도를 평가하는 것을 특징으로 하는, 문장 평가 장치
|
| 7 |
7
제6항에 있어서, 상기 하나 이상의 프로세서는, 상기 대상 문장에 포함된 각각의 단어의 문장 내 위치 정보에 기반하여, 각각의 단어에 대해 해당 단어의 어텐션 가중치(attention weight)가 0이 되도록 구성된 행렬을 이용하여 각각의 단어와 그 외 다른 단어와의 연관 확률을 각각 산출하는 것을 특징으로 하는, 문장 평가 장치
|
| 8 |
8
제6항에 있어서,상기 하나 이상의 프로세서는, K-V(key-value) 경로와 Q(query) 경로로 분리된 각각의 입력 경로로 상기 입력된 시퀀스에 기반한 임베딩 벡터를 각각 입력 받고, 상기 각각 입력된 임베딩 벡터를 이용하여, 복수의 인코딩 레이어에서 대상 문장의 각각의 단어와 그 외 다른 단어와의 연관 확률을 각각 산출하여 인코딩하는 포함하는 것을 특징으로 하는, 문장 평가 장치
|
| 9 |
9
제8항에 있어서,상기 K-V 경로로 입력되는 임베딩 벡터는, 상기 입력된 시퀀스를 이용한 입력 임베딩 벡터로 상기 복수의 인코딩 레이어 각각에서 동일하고, 상기 Q 경로로 입력되는 임베딩 벡터는, 첫 번째 레이어에 대해서는 상기 각각의 단어의 문장 내 위치 정보만 가지는 베이스 임베딩 벡터이고, 상기 복수의 인코딩 레이어 각각을 통과할수록 상기 입력 임베딩 벡터가 가중합되어 업데이트되는 것을 특징으로 하는, 문장 평가 장치
|
| 10 |
10
제8항에 있어서,상기 하나 이상의 프로세서는, 상기 복수의 인코딩 레이어에서 각각 인코딩된 연관 확률을 함께 연산하여 산출된 결과를 이용하여 상기 대상 문장의 적합도를 평가하는 것을 특징으로 하는, 문장 평가 장치
|
| 11 |
11
비일시적인 컴퓨터 판독 가능한 저장매체로서, 상기 컴퓨터로 하여금 제1항 내지 제5항 중 어느 한 항에 따른 방법을 수행하도록 하는 컴퓨터 명령을 저장하는 저장 매체
|
