| 1 |
1
컴퓨팅 장치에 의해 수행되는, 생성자-식별자 구조를 포함하는 언어 모델의 학습 방법으로서, 상기 언어 모델의 식별자의 성능을 결정하는 단계, 및결정된 상기 식별자 성능에 따라, 상기 언어 모델의 생성자에 포함된 하나 이상의 생성자 레이어 구간 중, 연산을 조기 종료할 적어도 하나의 생성자 레이어 구간을 결정하는 단계를 포함하는, 언어 모델의 학습 방법
|
| 2 |
2
제 1항에서,상기 생성자는, 적어도 일부의 토큰이 마스킹 처리 된 문장을 입력 받아, 상기 마스킹 처리 전의 원 문장을 추론하도록 학습되고,상기 식별자는,상기 생성자에서 출력된 문장을 입력 받아, 상기 출력된 문장 내 토큰들 각각에 대하여, 상기 원 문장의 토큰 및 상기 생성자에 의해 추론된 토큰 중 어느 것에 대응되는지를 추론하여 분류하도록 학습되는,언어 모델의 학습 방법
|
| 3 |
3
제 1항에서,상기 식별자의 성능을 결정하는 단계는, 상기 식별자에 포함된 하나 이상의 식별자 레이어 구간 중 적어도 일부에 대하여, 순차적으로 구간 점수를 산출하는 단계, 및기 설정된 학습 주기 동안 산출된 상기 구간 점수들에 기초하여, 상기 식별자의 성능을 결정하는 단계를 포함하는,언어 모델의 학습 방법
|
| 4 |
4
제 3항에서,상기 구간 점수는,상기 하나 이상의 식별자 레이어 구간 각각에서 수행되는 연산의 정확도(accuracy) 값을 포함하는,언어 모델의 학습 방법
|
| 5 |
5
제 3항에서,상기 구간 점수를 산출하는 단계는, 제 1 식별자 레이어 구간에 대한 제 1 구간 점수를 산출하는 단계, 및상기 제 1 구간 점수가 임계 값보다 낮은 경우, 상기 제 1 식별자 레이어 구간에 후행하는 식별자 레이어 구간에 대해 상기 구간 점수를 산출하고, 상기 제 1 구간 점수가 임계 값보다 높은 경우, 상기 제 1 식별자 레이어 구간에서 연산을 조기 종료하는 단계를 포함하는,언어 모델의 학습 방법
|
| 6 |
6
제 5항에서,상기 연산을 조기 종료하는 단계는, 상기 연산을 조기 종료한 식별자 레이어 구간을 포함하여 선행하는 식별자 레이어 구간들에 대해 오차를 역전파(backpropagate)하는 단계를 더 포함하는, 언어 모델의 학습 방법
|
| 7 |
7
제 5항에서,상기 임계 값은, 현재 학습 주기의 선행하는 학습 주기에서 결정된 상기 식별자의 성능 값에 대응되고, 상기 기 설정된 학습 주기 마다 갱신되는,언어 모델의 학습 방법
|
| 8 |
8
제 1항에서,상기 적어도 하나의 생성자 레이어 구간을 결정하는 단계는, 상기 식별자의 성능 및 초기 확률 값 중 적어도 하나에 기초하여, 상기 하나 이상의 생성자 레이어 구간 각각에 대한 조기 종료 확률 값을 산출하는 단계, 및산출된 상기 조기 종료 확률 값에 기초하여, 상기 연산을 조기 종료할 적어도 하나의 생성자 레이어 구간을 결정하는 단계를 포함하는, 언어 모델의 학습 방법
|
| 9 |
9
제 8항에서,상기 조기 종료 확률 값을 산출하는 단계는, 상기 초기 확률 값을 상기 조기 종료 확률 값으로 산출하는 단계, 상기 식별자의 성능에 기초하여, 확률 변동 값을 산출하는 단계, 및상기 확률 변동 값을 상기 조기 종료 확률 값에 적용하여, 갱신된 조기 종료 확률 값을 산출하는 단계를 포함하는,언어 모델의 학습 방법
|
| 10 |
10
제 9항에서,상기 조기 종료 확률 값은, 상기 식별자의 성능의 반영 정도에 관하여 사전 설정된 파라미터, 및 상기 하나 이상의 생성자 레이어 구간 각각의 사전 설정된 가중치 중 적어도 일부에 추가적으로 기초하여 산출되는, 언어 모델의 학습 방법
|
| 11 |
11
컴퓨팅 장치에 의해 수행되는, 생성자-식별자 구조를 포함하는 언어 모델의 학습 방법으로서, 상기 언어 모델의 식별자의 성능에 따라, 상기 언어 모델의 생성자에 포함된 하나 이상의 생성자 레이어 구간 중, 연산을 조기 종료할 적어도 하나의 생성자 레이어 구간을 결정하는 단계, 상기 적어도 하나의 생성자 레이어 구간에서 조기 종료되는 연산을 통해 획득되는 출력 값을 상기 식별자에 입력하는 단계, 및상기 식별자의 상기 출력 값에 대한 연산에 기초하여, 상기 식별자에 포함된 하나 이상의 식별자 레이어 구간 중 연산을 조기 종료할 식별자 레이어 구간, 및 상기 식별자의 성능 중 적어도 하나를 결정하는 단계를 포함하는,언어 모델의 학습 방법
|
| 12 |
12
제 11항에서,상기 생성자는, 적어도 일부의 토큰이 마스킹 처리 된 문장을 입력 받아, 상기 마스킹 처리 전의 원 문장을 추론하여 출력하도록 학습되고,상기 식별자는,상기 생성자에서 출력된 문장을 입력 받아, 상기 출력된 문장 내 토큰들 각각에 대하여, 상기 원 문장의 토큰 및 상기 생성자에 의해 추론된 토큰 중 어느 것에 대응되는지를 추론하여 분류하도록 학습되는,언어 모델의 학습 방법
|
| 13 |
13
제 11항에서,상기 적어도 하나의 생성자 레이어 구간을 결정하는 단계는,상기 식별자의 성능 및 초기 확률 값 중 적어도 하나에 기초하여, 상기 하나 이상의 생성자 레이어 구간 각각에 대한 조기 확률 값을 산출하는 단계, 및산출된 상기 조기 종료 확률 값에 기초하여, 연산을 조기 종료할 상기 적어도 하나의 생성자 레이어 구간을 결정하는 단계를 포함하는,언어 모델의 학습 방법
|
| 14 |
14
제 13항에서,상기 조기 종료 확률 값을 산출하는 단계는,상기 초기 확률 값을 상기 조기 종료 확률 값으로 산출하는 단계, 상기 식별자의 성능에 기초하여, 확률 변동 값을 산출하는 단계, 및상기 확률 변동 값을 상기 조기 종료 확률 값에 적용하여, 갱신된 조기 종료 확률 값을 산출하는 단계를 포함하는,언어 모델의 학습 방법
|
| 15 |
15
제 14항에서,상기 조기 종료 확률 값은,상기 식별자의 성능의 반영 정도에 관하여 사전 설정된 파라미터, 및 상기 하나 이상의 생성자 레이어 구간 각각의 사전 설정된 가중치 중 적어도 일부에 추가적으로 기초하여 산출되는, 언어 모델의 학습 방법
|
| 16 |
16
제 11항에서,상기 식별자의 성능 중 적어도 하나를 결정하는 단계는,상기 하나 이상의 식별자 레이어 구간 중 적어도 일부에 대하여, 순차적으로 구간 점수를 산출하는 단계, 및기 설정된 학습 주기 동안 산출된 상기 구간 점수들에 기초하여, 상기 식별자의 성능을 결정하는 단계를 포함하는, 언어 모델의 학습 방법
|
| 17 |
17
제 16항에서,상기 구간 점수는,상기 하나 이상의 식별자 레이어 구간 각각에서 수행되는 연산의 정확도(accuracy) 값을 포함하는,언어 모델의 학습 방법
|
| 18 |
18
제 16항에서,상기 구간 점수를 산출하는 단계는, 제 1 식별자 레이어 구간에 대한 제 1 구간 점수를 산출하는 단계, 및상기 제 1 구간 점수가 임계 값보다 낮은 경우, 상기 제 1 식별자 레이어 구간에 후행하는 식별자 레이어 구간에 대해 상기 구간 점수를 산출하고, 상기 제 1 구간 점수가 임계 값보다 높은 경우, 상기 제 1 식별자 레이어 구간에서 연산을 조기 종료하는 단계를 포함하는,언어 모델의 학습 방법
|
| 19 |
19
제 18항에서,상기 연산을 조기 종료하는 단계는,상기 연산을 조기 종료한 식별자 레이어 구간을 포함하여 선행하는 식별자 레이어 구간들에 대해 오차를 역전파(backpropagate)하는 단계를 더 포함하는,언어 모델의 학습 방법
|
| 20 |
20
제 18항에서,상기 임계 값은,현재 학습 주기의 선행하는 학습 주기에서 결정된 상기 식별자의 성능 값에 대응되고, 상기 기 설정된 학습 주기 마다 갱신되는,언어 모델의 학습 방법
|
