| 1 |
1
제1주의집중 네트워크를 포함하는 제1언어-제2언어 번역 모델 및 제2주의집중 네트워크를 포함하는 제2언어-제1언어 번역 모델을 포함하는 신경망번역 모델의 학습 방법으로서, 1) 상기 제1언어-제2언어 번역 모델에서 출력된 제2언어를 상기 제2언어-제1언어 번역 모델로 입력하여 번역된 제1언어를 출력하는 단계; 2) 상기 제2언어-제1언어 번역 모델에서 출력된 제1언어의 분포를 상기 제1언어-제2언어 번역 모델에 입력된 제1언어 입력 문장의 분포와 비교하여 그 오류를 상기 제1언어-제2언어 번역 모델 및 제2언어-제1언어 번역 모델에 전달하는 단계를 포함하는 신경망번역 모델 학습 방법
|
| 2 |
2
제1항에서, 상기 단계 2)에서의 상기 두 분포 간의 비교는 Cross-entropy를 이용하여 수행되는, 신경망번역 모델 학습 방법
|
| 3 |
3
제1항에서, 상기 제1 및 제2주의집중 네트워크의 정렬 정보가 수직관계를 갖도록 정규화하는 단계를 추가로 포함하는 신경망번역 모델 학습 방법
|
| 4 |
4
제3항에서, 상기 정규화 단계는상기 제1언어-제2언어 번역 모델 및 상기 제2언어-제1언어 번역 모델의 각 출력 벡터가 상호 수직관계가 되도록 상기 각 모델의 손실 함수를 정의하여 학습시키는 것을 포함하는 신경망번역 모델 학습 방법
|
| 5 |
5
제1주의집중 네트워크를 포함하는 제1언어-제2언어 번역 모델 및 제2주의집중 네트워크를 포함하는 제2언어-제1언어 번역 모델을 포함하는 신경망번역 모델의 학습 방법으로서, 상기 제1 및 제2주의집중 네트워크의 정렬 정보가 수직관계를 갖도록 정규화하는 단계를 포함하는 신경망번역 모델 학습 방법
|
| 6 |
6
제5항에서, 상기 정규화 단계는상기 제1언어-제2언어 번역 모델 및 상기 제2언어-제1언어 번역 모델의 각 출력 벡터가 상호 수직관계가 되도록 상기 각 모델의 손실 함수를 정의하여 학습시키는 것을 포함하는 신경망번역 모델 학습 방법
|
| 7 |
7
제5항에서, 상기 제1언어-제2언어 번역 모델에서 출력된 제2언어를 상기 제2언어-제1언어 번역 모델로 입력하여 번역된 제1언어를 출력하는 단계; 상기 제2언어-제1언어 번역 모델에서 출력된 제1언어의 분포를 상기 제1언어-제2언어 번역 모델에 입력된 제1언어 입력 문장의 분포와 비교하여 그 오류를 상기 제1언어-제2언어 번역 모델 및 제2언어-제1언어 번역 모델에 전달하는 단계를 추가로 포함하는 신경망번역 모델 학습 방법
|
| 8 |
8
제7항에서, 상기 두 번째 단계에서 두 분포 간의 비교는 Cross-entropy를 이용하여 수행되는, 신경망번역 모델 학습 방법
|
| 9 |
9
입력된 제1언어를 번역하여 제2언어로 출력하는 제1언어-제2언어 번역 모델; 상기 제1언어-제2언어 번역 모델에서 출력된 제2언어를 번역하여 제1언어로 출력하는 제2언어-제1언어 번역 모델;상기 제2언어-제1언어 번역 모델에서 출력된 제1언어의 분포를 상기 제1언어-제2언어 번역 모델에 입력된 제1언어의 분포와 비교하는 수단;상기 비교하여 얻은 오류를 상기 제1언어-제2언어 번역 모델 및 제2언어-제1언어 번역 모델에 전달하는 수단을 포함하는 신경망번역 모델 학습 장치
|
| 10 |
10
제9항에서, 상기 제1언어-제2언어 번역 모델은, 제1언어를 입력으로 받아 제1언어를 모델링하는 제1인코더 네트워크, 제2언어를 모델링하는 제1디코더 네트워크, 제1언어와 제2언어 간의 단어정렬 정보를 모델링하는 제1주의집중 네트워크를 포함하고,상기 제2언어-제1언어 번역 모델은, 제2언어를 입력으로 받아 제2언어를 모델링하는 제2인코더 네트워크, 제1언어를 모델링하는 제2디코더 네트워크, 제2언어와 제1언어 간의 단어정렬 정보를 모델링하는 제2주의집중 네트워크를 포함하는 신경망번역 모델 학습 장치
|
| 11 |
11
제9항에서, 상기 제1 및 제2주의집중 네트워크의 정렬 정보가 수직관계를 갖도록 정규화하는 수단을 추가로 포함하는 신경망번역 모델 학습 장치
|
| 12 |
12
제11항에서, 상기 정규화 수단은상기 제1언어-제2언어 번역 모델 및 상기 제2언어-제1언어 번역 모델의 각 출력 벡터가 상호 수직관계가 되도록 상기 각 모델의 손실 함수를 정의하여 학습시키는 것을 포함하는 신경망번역 모델 학습 장치
|
| 13 |
13
제1언어를 입력으로 받아 제1언어를 모델링하는 제1인코더 네트워크, 제2언어를 모델링하는 제1디코더 네트워크, 제1언어와 제2언어 간의 단어정렬 정보를 모델링하는 제1주의집중 네트워크를 포함하여, 입력된 제1언어를 번역하여 제2언어로 출력하는 제1언어-제2언어 번역 모델; 제2언어를 입력으로 받아 제2언어를 모델링하는 제2인코더 네트워크, 제1언어를 모델링하는 제2디코더 네트워크, 제2언어와 제1언어 간의 단어정렬 정보를 모델링하는 제2주의집중 네트워크를 포함하여, 상기 제1언어-제2언어 번역 모델에서 출력된 제2언어를 번역하여 제1언어로 출력하는 제2언어-제1언어 번역 모델;상기 제1 및 제2주의집중 네트워크의 정렬 정보가 수직관계를 갖도록 정규화하는 수단을 포함하는 신경망번역 모델 학습 장치
|
| 14 |
14
제13항에서, 상기 정규화 수단은상기 제1언어-제2언어 번역 모델 및 상기 제2언어-제1언어 번역 모델의 각 출력 벡터가 상호 수직관계가 되도록 상기 각 모델의 손실 함수를 정의하여 학습시키는 것을 포함하는 신경망번역 모델 학습 장치
|
| 15 |
15
제13항에서, 상기 제2언어-제1언어 번역 모델에서 출력된 제1언어의 분포를 상기 제1언어-제2언어 번역 모델에 입력된 제1언어의 분포와 비교하는 수단;상기 비교하여 얻은 오류를 상기 제1언어-제2언어 번역 모델 및 제2언어-제1언어 번역 모델에 전달하는 수단을 추가로 포함하는 신경망번역 모델 학습 장치
|
| 16 |
16
제1주의집중 네트워크를 포함하는 제1언어-제2언어 번역 모델을 검증하는 방법으로서, 상기 제1언어-제2언어 번역 모델에서 출력된 제2언어를, 제2주의집중 네트워크를 포함하는 제2언어-제1언어 번역 모델로 입력하여 번역된 제1언어를 출력하는 단계; 상기 제2언어-제1언어 번역 모델에서 출력된 제1언어의 분포를 상기 제1언어-제2언어 번역 모델에 입력된 제1언어 입력 문장의 분포와 비교하여 그 오류를 상기 제1언어-제2언어 번역 모델 및 제2언어-제1언어 번역 모델에 전달하는 단계를 포함하는 신경망번역 모델 검증 방법
|
