| 1 |
1
파일 내에서 바이트열 데이터를 추출하는 추출부; 및상기 추출된 바이트열 데이터에서 미리 설정된 개수만큼의 토큰을 입력 데이터로 선택하고, 선택된 입력 데이터를 이용하여 언어 모델을 학습시키는 언어 모델 학습부;를 포함하는 바이트열 데이터를 이용한 언어 모델 학습 0장치
|
| 2 |
2
제 1 항에 있어서,상기 언어 모델 학습부는,선택된 입력 데이터를 이용하여 언어 모델 학습시, 토큰의 위치 정보를 반영하지 않는 것을 특징으로 하는 바이트열 데이터를 이용한 언어 모델 학습 장치
|
| 3 |
3
제 2 항에 있어서, 상기 선택된 입력 데이터는, 상기 추출된 바이트열 데이터 상에서 슬라이딩 윈도우(sliding window) 방식으로 입력 데이터를 취하는 것을 특징으로 하는 바이트열 데이터를 이용한 언어 모델 학습 장치
|
| 4 |
4
제 1 항에 있어서,상기 언어 모델 학습부는, 상기 추출된 바이트열 데이터에서 미리 설정된 개수만큼의 토큰을 입력 데이터로 선택하고, 선택된 입력 데이터를 이용하여 언어 모델을 학습시, MLM(Masked Language Model) 또는 NPS(Next Sentence Prediction) 학습 기법 중 어느 하나를 이용하여 언어 모델을 학습시키는 것을 특징으로 하는 바이트열 데이터를 이용한 언어 모델 학습 장치
|
| 5 |
5
제 4 항에 있어서,상기 언어 모델 학습부는, 상기 추출된 바이트열 데이터에서 미리 설정된 개수만큼의 토큰을 입력 데이터로 선택하고, 선택된 입력 데이터를 이용하여 언어 모델을 학습시, MLM(Masked Language Model) 학습 기법을 이용하여 언어 모델을 학습시키는 경우, 바이트열의 바이트 값이 2진수일 때는, 2진수는 마스크 대상에 포함시키지 않는 것을 특징으로 하는 바이트열 데이터를 이용한 언어 모델 학습 장치
|
| 6 |
6
제 4 항에 있어서,상기 언어 모델 학습부는, 상기 추출된 바이트열 데이터에서 미리 설정된 개수만큼의 토큰을 입력 데이터로 선택하고, 선택된 입력 데이터를 이용하여 언어 모델을 학습시, MLM(Masked Language Model) 학습 기법을 이용하여 언어 모델을 학습시키는 경우,바이트열에 포함된 2진수의 바이트 값이 미리 설정된 비율 이상 등장하는 경우, 해당 바이트열은 학습 대상에서 제외시키는 것을 특징으로 하는 바이트열 데이터를 이용한 언어 모델 학습 장치
|
| 7 |
7
제 4 항에 있어서,상기 언어 모델 학습부는, 상기 추출된 바이트열 데이터에서 미리 설정된 개수만큼의 토큰을 입력 데이터로 선택하고, 선택된 입력 데이터를 이용하여 언어 모델을 학습시, MLM(Masked Language Model) 학습 기법을 이용하여 언어 모델을 학습시키는 경우, 바이트열의 바이트 값이 2진수일 때는, 2진수가 연속으로 미리 설정된 횟수 이상 등장할 경우에는 마스크 대상에 포함될 확률이 상기 미리 설정된 횟수에 반비례하도록 조절하는 것을 특징으로 하는 바이트열 데이터를 이용한 언어 모델 학습 장치
|
| 8 |
8
제 4 항에 있어서,상기 언어 모델 학습부는, 상기 추출된 바이트열 데이터에서 미리 설정된 개수만큼의 토큰을 입력 데이터로 선택하고, 선택된 입력 데이터를 이용하여 언어 모델을 학습시, NPS(Next Sentence Prediction) 학습 기법을 이용하여 언어 모델을 학습시키는 경우, 선택된 입력 데이터의 앞, 뒤에 위치하는 바이트열 데이터를 연결하여 언어 모델 학습을 시키는 것을 특징으로 하는 바이트열 데이터를 이용한 언어 모델 학습 장치
|
