| 1 |
1
컴퓨팅 장치 내의 적어도 하나의 프로세서에 의해 수행되는 신경망 모델의 학습 방법으로서, 언어 생성을 위한 상기 신경망 모델의 학습 방법에 있어서,합산기 블록에서, 입력 워드를 벡터로 표현한 입력 워드 임베딩값과 상기 입력 워드의 다음에 등장할 정답 워드를 벡터로 표현한 타겟 워드 임베딩값에 적대적 교란값을 각각 합산하는 단계;순환 신경망 블록에서, 상기 적대적 교란값이 합산된 입력 워드 임베딩값에 대한 순환 신경망 연산을 수행하여 은닉값을 계산하는 단계;자가-주의집중 모델에서, 상기 계산된 은닉값에 대해 자가-주의집중(self-attention) 연산을 수행하여, 상기 계산된 은닉값에 상기 입력 워드의 주변 워드에 대한 컨텍스트 정보를 투영하는 단계; 및거리 최소화 연산기에서, 상기 컨텍스트 정보가 투영된 은닉값과 상기 적대적 교란값이 합산된 타겟 워드 임베딩값 간의 거리값을 최소화하는 연산을 통해, 상기 신경망 모델에 대한 적대적 학습을 수행하는 단계를 포함하는 언어 생성을 위한 신경망 모델의 학습 방법
|
| 2 |
2
제1항에서, 상기 합산하는 단계 이전에, 상기 순환 신경망 블록에서, 상기 입력 워드 임베딩값을 순환 신경망을 통해 변환한 값과 상기 타겟 워드 임베딩값 사이의 거리값을 일정 수준 이상의 값으로 만드는 역할을 하는 상기 적대적 교란값을 추정하는 단계를 더 포함하는 것인 언어 생성을 위한 신경망 모델의 학습 방법
|
| 3 |
3
제2항에서,상기 적대적 교란값을 추정하는 단계는,상기 합산기 블록에서, 상기 적대적 교란값과의 합산 없이, 상기 입력 워드 임베딩값을 상기 순환 신경망 블록으로 출력하는 단계; 및상기 순환 신경망 블록에서, 상기 입력 워드 임베딩값에 대한 순환 신경망 연산을 수행하여 초기 은닉값을 계산하고, 계산된 상기 초기 은닉값을 상기 적대적 교란값으로서 추정하는 단계를 포함하는 것인 언어 생성을 위한 신경망 모델의 학습 방법
|
| 4 |
4
제1항에서, 상기 합산기 블록에서, 상기 입력 워드의 주변 워드에 대응하는 주변 워드 임베딩값과 상기 주변 워드 임베딩 값에 대응하는 적대적 교란값을 합산하는 단계; 및 상기 순환 신경망 블록에서, 상기 대응하는 적대적 교란값이 합산된 주변 워드 임베딩값에 대한 순환 신경망 연산을 수행하여, 주변 은닉값을 계산하는 단계를 더 포함하고, 상기 은닉값에 상기 입력 워드의 주변 워드의 컨텍스트 정보를 투영하는 단계는, 상기 계산된 주변 은닉값을 상기 컨텍스트 정보로 이용하여, 상기 계산된 은닉값에 상기 계산된 주변 은닉값을 적용하는 단계; 를 포함하는 것인 언어 생성을 위한 신경망 모델의 학습 방법
|
| 5 |
5
제4항에서, 상기 계산된 은닉값에 상기 계산된 주변 은닉값을 투영하는 단계는, 상기 계산된 은닉값과 상기 계산된 주변 은닉값 간의 유사한 정도를 나타내는 확률값을 계산하는 단계;상기 확률값을 가중치로 이용하여 상기 계산된 은닉값과 상기 계산된 주변 은닉값을 합산하는 단계; 및상기 계산된 은닉값과 상기 계산된 주변 은닉값을 합산하여 획득한 합산 결과를 정규화하여, 상기 계산된 은닉값에 상기 계산된 주변 은닉값을 투영하는 단계를 포함하는 것인 언어 생성을 위한 신경망 모델의 학습 방법
|
| 6 |
6
제1항에서,상기 적대적 학습을 수행하는 단계는,손실 함수의 네거티브 로그우도(negative log-likelihood)를 이용하여 상기 컨텍스트 정보가 투영된 은닉값과 상기 적대적 교란값이 합산된 타겟 워드 임베딩값 간의 거리값을 최소화하는 연산을 통해, 상기 신경망 모델에 대한 적대적 학습을 수행하는 단계인 것인 언어 생성을 위한 신경망 모델의 학습 방법
|
| 7 |
7
제6항에서, 상기 손실함수는, von Mises-Fisher (vMF) 분포와 관련된 함수인 것인 언어 생성을 위한 신경망 모델의 학습 방법
|
| 8 |
8
제1항에서, 상기 자가-주의집중(self-attention) 연산은, 멀티-헤드 주의집중(multi-head attention) 연산인 것인 언어 생성을 위한 신경망 모델의 학습 방법
|
| 9 |
9
제1항에서, 상기 신경망 모델은,인코더와 디코더를 포함하는 시퀀스 투 시퀀스(sequence to sequence) 모델이고, 상기 적대적 학습을 수행하는 단계는, 상기 디코더에 대한 상기 적대적 학습을 수행하는 단계인 것인 신경망 모델의 학습 방법
|
| 10 |
10
신경망 모델의 학습을 수행하는 컴퓨팅 장치로서, 상기 컴퓨팅 장치는 상기 신경망 모델을 저장하는 저장 매체 및 상기 저장 매체와 연결되어 상기 저장 매체에 저장된 상기 신경망 모델을 실행시키는 프로세서를 포함하고, 상기 프로세서는,입력 워드를 벡터로 표현한 입력 워드 임베딩값과 상기 입력 워드의 다음에 등장할 정답 워드를 벡터로 표현한 타겟 워드 임베딩값에 적대적 교란값을 각각 합산하는 제1 연산 로직상기 적대적 교란값이 합산된 입력 워드 임베딩값에 대한 순환 신경망 연산을 수행하여 은닉값을 계산하는 제2 연산 로직;상기 계산된 은닉값에 대해 자가-주의집중(self-attention) 연산을 수행하여, 상기 계산된 은닉값에 상기 입력 워드의 주변 워드에 대한 컨텍스트 정보를 투영하기 위한 연산을 수행하는 제3 연산 로직; 및상기 컨텍스트 정보가 투영된 은닉값과 상기 적대적 교란값이 합산된 타겟 워드 임베딩값 간의 거리값을 최소화하는 연산을 통해, 상기 신경망 모델에 대한 적대적 학습을 수행하는 제4 연산 로직을 포함하는 컴퓨팅 장치
|
| 11 |
11
제10항에서, 상기 제2 연산 로직은, 상기 입력 워드 임베딩값을 순환 신경망을 통해 변환한 값과 상기 타겟 워드 임베딩값 사이의 거리값을 일정 수준으로 설정한 상기 적대적 교란값을 더 계산하는 것인 컴퓨팅 장치
|
| 12 |
12
제10항에서, 상기 제2 연산 로직은, 상기 적대적 교란값이 합산되지 않은 상기 입력 워드 임베딩값에 대해 순환 신경망 연산을 수행하여, 초기 은닉값을 계산하고, 상기 계산된 초기 은닉값을 상기 적대적 교란값으로 생성하는 것인 컴퓨팅 장치
|
| 13 |
13
제10항에서, 상기 제1 연산 로직은, 상기 입력 워드의 주변 워드에 대응하는 주변 워드 임베딩값과 상기 주변 워드 임베딩 값에 대응하는 적대적 교란값을 합산하고, 상기 제2 연산 로직은, 상기 대응하는 적대적 교란값이 합산된 주변 워드 임베딩값에 대한 순환 신경망 연산을 수행하여, 주변 은닉값을 계산하고, 상기 제3 연산 로직은, 상기 계산된 주변 은닉값을 상기 컨텍스트 정보로 이용하여, 상기 계산된 은닉값에 상기 계산된 주변 은닉값을 투영하기 위한 연산을 수행하는 것인 컴퓨팅 장치
|
| 14 |
14
제13항에서, 상기 제3 연산 로직은, 상기 계산된 은닉값과 상기 계산된 주변 은닉값 간의 유사한 정도를 나타내는 확률값을 계산한 후, 상기 확률값을 가중치로 이용하여 상기 계산된 은닉값과 상기 계산된 주변 은닉값을 합산하고, 상기 계산된 은닉값에 상기 계산된 주변 은닉값을 투영하기 위해, 상기 계산된 은닉값과 상기 계산된 주변 은닉값을 합산하여 획득한 합산 결과를 정규화하는 연산을 수행하는 것인 컴퓨팅 장치
|
| 15 |
15
제10항에서, 상기 제4 연산 로직은,상기 신경망 모델에 대한 적대적 학습을 수행하기 위해, von Mises-Fisher (vMF) 분포의 네거티브 로그우도를 이용하여 상기 컨텍스트 정보가 투영된 은닉값과 상기 적대적 교란값이 합산된 타겟 워드 임베딩값 간의 거리값을 최소화하는 연산을 수행하는 것인 컴퓨팅 장치
|
