| 1 |
1
적어도 하나의 은닉 계층을 포함하는 번역 모델을 구축하는 방법에 있어서,사전 구축된 참조 모델의 단어 확률 분포에 대한 파라미터 분포를 모사 학습하는 단계; 및상기 참조 모델의 트리 탐색 구조를 모사 학습하는 단계를 포함하는 번역 모델 구축 방법
|
| 2 |
2
제 1 항에 있어서,상기 파라미터 분포를 모사 학습하는 단계는,상기 번역 모델의 상기 적어도 하나의 은닉 계층의 단어 확률 분포에 대하여 정의된 손실 함수를 이용하여 상기 참조 모델의 단어 확률 분포를 결정하는 참조 모델 파라미터를 모사 학습하는 것인, 번역 모델 구축 방법
|
| 3 |
3
제 2 항에 있어서,상기 손실 함수는,상기 번역 모델의 단어 확률 분포 및 정답 분포(ground truth)의 교차 엔트로피에 대응하는 제 1 손실 함수를 포함하는, 번역 모델 구축 방법
|
| 4 |
4
제 2 항에 있어서,상기 손실 함수는,상기 번역 모델의 단어 확률 분포 및 상기 참조 모델의 단어 확률 분포의 교차 엔트로피에 대응하는 제 2 손실 함수를 포함하는, 번역 모델 구축 방법
|
| 5 |
5
제 2 항에 있어서,상기 파라미터 분포를 모사 학습하는 단계는,상기 손실 함수가 최소가 되도록 상기 적어도 하나의 은닉 계층의 단어 확률 분포를 결정하는 모델 파라미터를 조정하는 것인, 번역 모델 구축 방법
|
| 6 |
6
제 1 항에 있어서,상기 은닉 계층은 일련의 은닉 상태 벡터를 포함하고,상기 트리 탐색 구조를 모사 학습하는 단계는,상기 일련의 은닉 상태 벡터 및 학습가능한 행렬에 대하여 정의된 제 3 손실 함수를 이용하여 상기 번역 모델의 마지막 은닉 계층이 상기 참조 모델의 마지막 은닉 계층을 모사 학습하도록 하는 것인, 번역 모델 구축 방법
|
| 7 |
7
제 6 항에 있어서,상기 제 3 손실 함수는,상기 은닉 상태 벡터와 상기 참조 모델의 마지막 은닉 계층의 은닉 상태 벡터 간의 거리의 함수인, 번역 모델 구축 방법
|
| 8 |
8
제 6 항에 있어서,상기 트리 탐색 구조를 모사 학습하는 단계는,상기 제 3 손실 함수가 최소가 되도록 상기 은닉 상태 벡터 및 상기 학습가능한 행렬을 조정하는 것인, 번역 모델 구축 방법
|
| 9 |
9
제 6 항에 있어서,상기 학습가능한 행렬의 크기는 상기 은닉 상태 벡터와 상기 참조 모델의 마지막 은닉 계층의 은닉 상태 벡터의 차원에 따라 결정되는, 번역 모델 구축 방법
|
| 10 |
10
제 1 항에 있어서,상기 번역 모델은 입력 계층 및 출력 계층을 더 포함하고,상기 입력 계층, 상기 적어도 하나의 은닉 계층 및 상기 출력 계층의 각 파라미터를 중요도에 따라 전지하는 단계; 및상기 계층 별로 각 파라미터를 양자화하는 단계;를 더 포함하는 번역 모델 구축 방법
|
| 11 |
11
제 10 항에 있어서,상기 전지 및 양자화된 파라미터에 기반하여 상기 번역 모델의 재학습을 수행하는 단계를 더 포함하는 번역 모델 구축 방법
|
| 12 |
12
제 1 항에 있어서,각 은닉 계층은 일련의 은닉 상태 벡터로 표현되고,상기 번역 모델은 상기 참조 모델 보다 적은 개수의 은닉 계층을 포함하고, 상기 번역 모델의 은닉 상태 벡터는 상기 참조 모델의 은닉 상태 벡터 보다 적은 차원의 벡터로 표현되는, 번역 모델 구축 방법
|
| 13 |
13
사전구축된 참조 모델에 기반하여 번역 모델을 구축하는 방법에 있어서,번역 모델의 적어도 하나의 은닉 계층의 단어 확률 분포에 대하여 정의된 손실 함수를 이용하여 상기 참조 모델의 단어 확률 분포에 대한 파라미터 분포를 모사 학습하는 단계; 및각 은닉 계층을 표현하는 일련의 은닉 상태 벡터 및 학습가능한 행렬에 대하여 정의된 제 3 손실 함수를 이용하여 상기 참조 모델의 트리 탐색 구조를 모사 학습하는 단계를 포함하는 번역 모델 구축 방법
|
| 14 |
14
제 13 항에 있어서,상기 파라미터 분포를 모사 학습하는 단계 및 상기 트리 탐색 구조를 모사 학습하는 단계는 동시에 수행가능한, 번역 모델 구축 방법
|
| 15 |
15
사전구축된 참조 모델에 기반하여 번역 모델을 구축하는 장치에 있어서,상기 참조 모델의 단어 확률 분포에 대한 파라미터 분포 및 트리 탐색 구조를 모사 학습하여 모사된 번역 모델을 생성하는 모사 학습부;상기 모사된 번역 모델의 각 단계의 파라미터를 중요도에 따라 전지하고 양자화하는 전지 및 양자화부; 및모델 재학습을 진행하여 상기 전지 및 양자화된 번역 모델을 최적화하는 재학습부를 포함하는 번역 모델 구축 장치
|
