| 1 |
1
언어 모델의 사전 학습을 위해 입력 도메인 데이터에 대한 전처리를 수행하는 단계;상기 전처리된 데이터에 기초하여 입력 도메인의 사전 학습 모델을 생성하는 단계;상기 입력 도메인 데이터에 포함된 타겟 도메인 데이터에 기초하여 주어, 서술어, 목적어의 데이터 세트들을 포함하는 타겟 도메인 지식 그래프를 생성하는 단계;상기 사전 학습 모델 및 상기 타겟 도메인 지식 그래프에 기초하여 지식 임베딩(knowledge embedding)을 생성하는 단계; 및상기 지식 임베딩에 기초하여, 개체명을 식별하도록 상기 사전 학습 모델을 미세 조정(fine-tune)하는 단계를 포함하는,개체명 인식 모델 학습 방법
|
| 2 |
2
제1항에 있어서,상기 전처리를 수행하는 단계는,입력 도메인 데이터에서 텍스트 데이터를 추출하는 단계;상기 추출된 텍스트 데이터에서 불용어를 삭제하는 단계;상기 불용어가 삭제된 텍스트 데이터를 토큰화(tokenization)하여 단어 집합(vocabulary)을 생성하는 단계; 및상기 단어 집합에 기초하여 사전 학습 데이터를 생성하는 단계를 포함하고,상기 사전 학습 모델을 생성하는 단계는,상기 사전 학습 데이터에 기초하여 상기 입력 도메인의 상기 사전 학습 모델을 생성하는 단계를 포함하는,개체명 인식 모델 학습 방법
|
| 3 |
3
제2항에 있어서,상기 불용어는,상기 입력 도메인에 따라 다르게 정의되는 의미상의 불용어를 포함하는,개체명 인식 모델 학습 방법
|
| 4 |
4
제1항에 있어서,상기 지식 그래프는,상기 타겟 도메인의 개체명들을 포함하는 미리 구축된 개체명 사전에 기초하여 생성되는,개체명 인식 모델 학습 방법
|
| 5 |
5
제2항에 있어서,상기 지식 임베딩(knowledge embedding)을 생성하는 단계는,상기 타겟 도메인 데이터에서 타겟 도메인 텍스트 데이터를 추출하는 단계;상기 추출된 타겟 도메인 텍스트 데이터에서 불용어를 삭제하여 타겟 도메인 문장을 추출하는 단계;상기 단어 집합을 이용하여 상기 타겟 도메인 문장을 토큰화하는 단계;상기 타겟 도메인 지식 그래프의 상기 데이터 세트에 기초하여 미리 결정된 최대 경로 수 및 최대 깊이에 따라 상기 토큰화된 타겟 도메인 문장을 확장하는 단계;상기 확장된 타겟 도메인 문장에 포함된 토큰의 깊이에 대한 정보를 포함하는 세그먼트 인덱스 및 상기 확장된 타겟 도메인 문장에 포함된 토큰의 위치 정보를 포함하는 포지션 인덱스를 상기 확장된 타겟 도메인 문장에 포함된 각각의 토큰에 매핑하는 단계; 및상기 확장된 타겟 도메인 문장에 포함된 토큰들, 상기 토큰들에 대응되는 상기 세그먼트 인덱스 및 상기 포지션 인덱스에 기초하여 상기 지식 임베딩을 생성하는 단계를 포함하는,개체명 인식 모델 학습 방법
|
| 6 |
6
제5항에 있어서,상기 토큰화된 타겟 도메인 문장을 확장하는 단계는,상기 확장된 타겟 도메인 문장에 포함된 토큰들의 깊이 및 경로 수가 각각 상기 최대 깊이 및 상기 최대 경로 수를 초과하지 않는 범위에서 상기 토큰화된 타겟 도메인 문장을 확장하는 단계를 포함하는,개체명 인식 모델 학습 방법
|
| 7 |
7
제5항에 있어서,상기 타겟 도메인 문장을 확장하는 단계는,상기 토큰화된 타겟 도메인 문장에 포함된 토큰들 중 상기 데이터 세트의 주어와 대응되는 토큰에 상기 데이터 세트의 서술어 토큰 및 목적어 토큰을 부가하여 상기 토큰화된 타겟 도메인 문장을 확장하는 단계를 포함하는, 개체명 인식 모델 학습 방법
|
| 8 |
8
제5항에 있어서,상기 최대 깊이 및 상기 최대 경로 수는,상기 미세 조정에 이용될 수 있는 것으로 미리 결정된 상기 확장된 타겟 도메인 문장의 최대 길이에 기초하여 결정되는,개체명 인식 모델 학습 방법
|
| 9 |
9
제5항에 있어서,상기 매핑하는 단계는,상기 확장된 타겟 도메인 문장에 포함된 각 토큰에 0 부터 상기 최대 깊이에 대응되는 음이 아닌 정수 중 상기 각 토큰의 깊이 정보와 대응되는 값을 상기 세그먼트 인덱스로 매핑하는 단계; 및상기 확장된 타겟 도메인 문장의 첫 번째 토큰부터 각 경로의 마지막 토큰까지 각 토큰에 순차적으로 0 부터 음이 아닌 정수 값을 상기 포지션 인덱스로 매핑하는 단계를 포함하고,상기 확장된 타겟 도메인 문장에 포함된 토큰들은,상기 세그먼트 인덱스와 상기 포지션 인덱스에 의해 서로 구분되는,개체명 인식 모델 학습 방법
|
| 10 |
10
제8항에 있어서,상기 최대 깊이 및 상기 최대 경로 수에 따라 상기 개체명을 식별하도록 미세 조정된 모델의 정확도, 재현율 및 F1-스코어가 결정되는,개체명 인식 모델 학습 방법
|
| 11 |
11
제5항에 있어서,상기 지식 임베딩은,상기 세그먼트 인덱스에 기초하여 생성된 세그먼트 임베딩, 상기 포지션 인덱스에 기초하여 생성된 포지션 임베딩 및 상기 확장된 타겟 도메인 문장에 포함된 토큰들에 기초하여 생성된 토큰 임베딩을 포함하는,개체명 인식 모델 학습 방법
|
| 12 |
12
제1항에 있어서,상기 타겟 도메인 지식 그래프는,상기 타겟 도메인 데이터에서 추출된 서술어를 기준으로 상기 서술어 앞 및 뒤의 일정한 크기의 윈도우를 설정하여 상기 윈도우 내에 포함된 단어들 중 주어 또는 목적어에 대응되는 단어를 추출함으로써 생성되는,개체명 인식 모델 학습 방법
|
| 13 |
13
제4항에 있어서,상기 타겟 도메인 지식 그래프는,상기 타겟 도메인 데이터에서 추출된 서술어를 기준으로 상기 서술어 앞, 뒤의 일정한 크기의 윈도우를 설정하여 상기 윈도우 내에 포함된 단어들 중 주어 또는 목적어에 대응될 수 있는 후보 단어들을 추출하고, 상기 후보 단어들 중 상기 타겟 도메인의 개체명에 해당되는 단어들을 결정하고, 상기 개체명에 해당되는 단어들을 상기 주어 또는 상기 목적어로 결정함으로써 생성되고,상기 개체명에 해당되는 단어들은 타겟 도메인의 개체명들을 포함하는 미리 구축된 상기 개체명 사전에 기초하여 결정되는,개체명 인식 모델 학습 방법
|
| 14 |
14
제13항에 있어서,상기 타겟 도메인 지식 그래프는,상기 주어 및 상기 서술어와의 관계에 기초하여 상기 윈도우 바깥 범위에서 상기 목적어가 될 수 있는 후보 단어들을 더 추출하고, 상기 개체명 사전에 기초하여 상기 더 추출된 후보 단어들 중에서 상기 타겟 도메인의 개체명에 해당되는 단어들을 상기 목적어로 결정함으로써 생성되는,개체명 인식 모델 학습 방법
|
| 15 |
15
언어 모델의 사전 학습을 위해 입력 도메인 데이터에 대한 전처리를 수행하는 전처리기;상기 전처리된 데이터에 기초하여 입력 도메인의 사전 학습 모델을 생성하는 사전 학습기; 및상기 사전 학습 모델 및 타겟 도메인 지식 그래프에 기초하여 지식 임베딩(knowledge embedding)을 생성하고, 상기 지식 임베딩에 기초하여, 개체명을 식별하도록 상기 사전 학습 모델을 미세 조정(fine-tune)하는 미세 조정기를 포함하고,상기 타겟 도메인 지식 그래프는,상기 입력 도메인 데이터에 포함된 타겟 도메인 데이터에 기초하여 생성된 주어, 서술어, 목적어의 데이터 세트들을 포함하는 것인,개체명 인식 모델 학습 장치
|
| 16 |
16
제15항에 있어서,상기 전처리기는,입력 도메인 데이터에서 텍스트 데이터를 추출하고, 상기 추출된 텍스트 데이터에서 불용어를 삭제하고, 상기 불용어가 삭제된 텍스트 데이터를 토큰화(tokenization)하여 단어 집합(vocabulary)을 생성하고 및 상기 단어 집합에 기초하여 사전 학습 데이터를 생성하고,상기 사전 학습기는,상기 사전 학습 데이터에 기초하여 상기 입력 도메인의 상기 사전 학습 모델을 생성하는,개체명 인식 모델 학습 장치
|
| 17 |
17
제16항에 있어서,상기 불용어는,상기 입력 도메인에 따라 다르게 정의되는 의미상의 불용어를 포함하는,개체명 인식 모델 학습 장치
|
| 18 |
18
제15항에 있어서,상기 지식 그래프는,상기 타겟 도메인의 개체명들을 포함하는 미리 구축된 개체명 사전에 기초하여 생성되는,개체명 인식 모델 학습 장치
|
| 19 |
19
제16항에 있어서,상기 미세 조정기는,상기 타겟 도메인 데이터에서 타겟 도메인 텍스트 데이터를 추출하고, 상기 추출된 타겟 도메인 텍스트 데이터에서 불용어를 삭제하여 타겟 도메인 문장을 추출하고, 상기 단어 집합을 이용하여 상기 타겟 도메인 문장을 토큰화하고, 상기 타겟 도메인 지식 그래프의 상기 데이터 세트에 기초하여 미리 결정된 최대 경로 수 및 최대 깊이에 따라 상기 토큰화된 타겟 도메인 문장을 확장하고, 상기 타겟 도메인 문장의 확장 여부에 관한 정보를 포함하는 세그먼트 인덱스 및 상기 확장된 타겟 도메인 문장에 포함된 토큰의 위치 정보를 포함하는 포지션 인덱스를 상기 확장된 타겟 도메인 문장에 포함된 각각의 토큰에 매핑하고, 및 상기 확장된 타겟 도메인 문장에 포함된 토큰들, 상기 토큰들에 대응되는 상기 세그먼트 인덱스 및 상기 포지션 인덱스에 기초하여 상기 지식 임베딩을 생성하는,개체명 인식 모델 학습 장치
|
| 20 |
20
제19항에 있어서,상기 미세 조정기는,상기 확장된 타겟 도메인 문장에 포함된 토큰들의 깊이 및 경로 수가 각각 상기 최대 깊이 및 상기 최대 경로 수를 초과하지 않는 범위에서 상기 토큰화된 타겟 도메인 문장을 확장하는,개체명 인식 모델 학습 장치
|
| 21 |
21
제19항에 있어서,상기 미세 조정기는,상기 토큰화된 타겟 도메인 문장에 포함된 토큰들 중 상기 데이터 세트의 주어와 대응되는 토큰에 상기 데이터 세트의 서술어 토큰 및 목적어 토큰을 부가하여 상기 토큰화된 타겟 도메인 문장을 확장하는,개체명 인식 모델 학습 장치
|
| 22 |
22
제19항에 있어서,상기 최대 깊이 및 상기 최대 경로 수는,상기 미세 조정에 이용될 수 있는 것으로 미리 결정된 상기 확장된 타겟 도메인 문장의 최대 길이에 기초하여 결정되는,개체명 인식 모델 학습 장치
|
| 23 |
23
제19항에 있어서상기 미세 조정기는,상기 확장된 타겟 도메인 문장에 포함된 각 토큰에 0 부터 상기 최대 깊이에 대응되는 음이 아닌 정수 중 상기 각 토큰의 깊이 정보와 대응되는 값을 상기 세그먼트 인덱스로 매핑하고, 상기 확장된 타겟 도메인 문장의 첫 번째 토큰부터 각 경로의 마지막 토큰까지 각 토큰에 순차적으로 0 부터 음이 아닌 정수 값을 상기 포지션 인덱스로 매핑하고,상기 확장된 타겟 도메인 문장에 포함된 토큰들은,상기 세그먼트 인덱스와 상기 포지션 인덱스에 의해 서로 구분되는,개체명 인식 모델 학습 장치
|
| 24 |
24
제22항에 있어서,상기 최대 깊이 및 상기 최대 경로 수에 따라 상기 개체명을 식별하도록 미세 조정된 모델의 정확도, 재현율 및 F1-스코어가 결정되는,개체명 인식 모델 학습 장치
|
| 25 |
25
제19항에 있어서,상기 지식 임베딩은,상기 세그먼트 인덱스에 기초하여 생성된 세그먼트 임베딩, 상기 포지션 인덱스에 기초하여 생성된 포지션 임베딩 및 상기 확장된 타겟 도메인 문장에 포함된 토큰들에 기초하여 생성된 토큰 임베딩을 포함하는,개체명 인식 모델 학습 장치
|
| 26 |
26
제15항에 있어서,상기 타겟 도메인 지식 그래프는,상기 타겟 도메인 데이터에서 추출된 서술어를 기준으로 상기 서술어 앞, 뒤의 일정한 크기의 윈도우를 설정하여 상기 윈도우 내에 포함된 단어들 중 주어 또는 목적어에 대응되는 단어를 추출함으로써 생성되는,개체명 인식 모델 학습 장치
|
| 27 |
27
제18항에 있어서,상기 타겟 도메인 지식 그래프는,상기 타겟 도메인 데이터에서 추출된 서술어를 기준으로 상기 서술어 앞, 뒤의 일정한 크기의 윈도우를 설정하여 상기 윈도우 내에 포함된 단어들 중 주어 또는 목적어에 대응될 수 있는 후보 단어들을 추출하고, 상기 후보 단어들 중 상기 타겟 도메인의 개체명에 해당되는 단어들을 결정하고, 상기 개체명에 해당되는 단어들을 상기 주어 또는 상기 목적어로 결정함으로써 생성되고,상기 개체명에 해당되는 단어들은 타겟 도메인의 개체명들을 포함하는 미리 구축된 상기 개체명 사전에 기초하여 결정되는,개체명 인식 모델 학습 장치
|
| 28 |
28
제27항에 있어서,상기 타겟 도메인 지식 그래프는,상기 주어 및 상기 서술어와의 관계에 기초하여 상기 윈도우 바깥 범위에서 상기 목적어가 될 수 있는 후보 단어들을 더 추출하고, 상기 개체명 사전에 기초하여 상기 더 추출된 후보 단어들 중에서 상기 타겟 도메인의 개체명에 해당되는 단어들을 상기 목적어로 결정함으로써 생성되는,개체명 인식 모델 학습 장치
|
