| 1 |
1
표 데이터에 특화된 언어모형 구축을 위한 사전 학습을 하는 사전 학습부;구축된 테이블 특화 언어 모형으로 기계독해 데이터에 대해 학습하는 미세 조정 학습부;미세조정 학습된 테이블 특화 기계독해 모형에 테이블과 사용자의 질문을 입력하고 질문에 대한 답을 출력하는 정답 추론부;를 포함하는 것을 특징으로 하는 정형 및 비정형 및 반정형 정보를 사용한 표에 특화된 기계독해 시스템
|
| 2 |
2
제 1 항에 있어서, 사전 학습부는,사전학습을 위한 표 데이터를 입력하는 입력부와,입력부를 통한 입력 데이터 중 정형 데이터인 표 데이터를 사전학습 모형에 넣기 편한 형태인 평면 상태를 만들어주는 표 데이터 평면화 정제부와,표 데이터를 위해 특화된 임베딩을 수행하는 표 데이터 특화 임베딩 적용부와, 표 데이터 특화 임베딩 적용부에서 출력된 표현 값을 입력받아 행과 열의 표현 벡터를 구하여 토큰 표현 벡터에 합산하는 셀 표현 연산부와,표 데이터 특화 임베딩 적용부에서 생성된 임베딩 벡터를 기반으로 표 특화 언어 모형을 학습하는 학습부를 포함하는 것을 특징으로 하는 정형 및 비정형 및 반정형 정보를 사용한 표에 특화된 기계독해 시스템
|
| 3 |
3
제 2 항에 있어서, 표 데이터 특화 임베딩 적용부는,표에 특화된 질의응답 사전학습 언어모형을 만들기 위해서 비정형 또는 반정형 데이터에 표와 같은 셀의 행, 열 번호와 순위 정보, 개체명(named entity)정보의 임베딩을 수행하는 것을 특징으로 하는 정형 및 비정형 및 반정형 정보를 사용한 표에 특화된 기계독해 시스템
|
| 4 |
4
제 3 항에 있어서, 표 데이터에 특화된 임베딩은 숫자, 수량, 시간의 대소 비교가 가능한 표 데이터를 행의 방향으로 순위를 매기고 해당 순위에 대한 임베딩을 부여하는 순위 임베딩과,표 데이터의 각 셀의 숫자, 수량, 시간, 국가, 인물 이름에 대한 개체명을 분류하고 해당 개체명에 대한 임베딩을 부여하는 개체명 임베딩이 포함되는 것을 특징으로 하는 정형 및 비정형 및 반정형 정보를 사용한 표에 특화된 기계독해 시스템
|
| 5 |
5
제 2 항에 있어서, 셀 표현 연산부는,평문 언어 모형에서 출력된 표현 값을 셀 단위의 표현 값으로 치환하고 표의 셀 정보가 반영된 표현 값을 생성하는 것을 특징으로 하는 정형 및 비정형 및 반정형 정보를 사용한 표에 특화된 기계독해 시스템
|
| 6 |
6
제 2 항에 있어서, 학습부는, 표 데이터에 적합한 언어 모형을 생성하기 위해 마스킹 언어 모형을 이용하여 표 데이터에 대한 사전학습을 하는 것을 특징으로 하는 정형 및 비정형 및 반정형 정보를 사용한 표에 특화된 기계독해 시스템
|
| 7 |
7
제 6 항에 있어서, 마스킹 언어 모형은 사전학습을 위해 입력된 데이터의 일부를 마스킹하고 마스킹된 문장을 입력받았을 때 마스킹 되기 전의 토큰을 예측하도록 하는 것을 특징으로 하는 정형 및 비정형 및 반정형 정보를 사용한 표에 특화된 기계독해 시스템
|
| 8 |
8
제 1 항에 있어서, 정답 추론부는,질의와 질의에 대한 정답을 찾기 위한 표 데이터를 입력하는 질의 입력부와, 질의 입력부를 통해 입력된 데이터 중 정형 데이터인 표 데이터를 사전학습 모형에 넣기 편한 형태인 평면 상태를 만들어주는 표 데이터 평면화 정제부와,사전학습된 표 데이터 특화 언어모형에 평면화된 질문과 테이블을 입력하고 입력 토큰들의 표현 백터를 출력받는 표 데이터 특화 사전학습 언어모형 출력부와,언어모형에서 출력된 표현 벡터를 이용하여 정답의 시작과 끝을 예측하고 답을 출력하는 응답 출력부를 포함하는 것을 특징으로 하는 정형 및 비정형 및 반정형 정보를 사용한 표에 특화된 기계독해 시스템
|
| 9 |
9
제 8 항에 있어서, 응답 출력부는,사전학습된 표 데이터 특화 언어모형에 표 데이터와 질문을 입력하고 입력된 표에서 질문에 대한 정답의 범위를 찾는 것을 특징으로 하는 정형 및 비정형 및 반정형 정보를 사용한 표에 특화된 기계독해 시스템
|
| 10 |
10
사전 학습부에서 표 데이터에 특화된 언어모형 구축을 위한 사전학습을 수행하는 단계;미세 조정 학습부에서 구축된 테이블 특화 언어 모형으로 기계독해 데이터에 대해 학습하는 미세 조정 학습을 수행하는 단계;정답 추론부에서 미세조정 학습된 테이블 특화 기계독해 모형에 테이블과 사용자의 질문을 입력하고 질문에 대한 답을 출력하는 정답 추론 단계;를 포함하는 것을 특징으로 하는 정형 및 비정형 및 반정형 정보를 사용한 표에 특화된 기계독해 방법
|
| 11 |
11
제 10 항에 있어서, 사전학습을 수행하는 단계에서,사전 학습부의 표 데이터 평면화 정체부에서 반-구조화된 표 데이터를 언어 모형에 입력할 수 있는 평면화된 토큰의 배열 형태로 변환하고,사전 학습부의 표 데이터 특화 임베딩 적용부가 표 데이터 평면화 정체부에서 생성된 표 데이터에 대해서 표 데이터에 특화된 임베딩을 생성하는 것을 특징으로 하는 정형 및 비정형 및 반정형 정보를 사용한 표에 특화된 기계독해 방법
|
| 12 |
12
제 11 항에 있어서, 표 데이터에 특화된 임베딩은,숫자, 수량, 시간의 대소 비교가 가능한 표 데이터를 행의 방향으로 순위를 매기고 해당 순위에 대한 임베딩을 부여하는 순위 임베딩과,표 데이터의 각 셀의 숫자, 수량, 시간, 국가, 인물 이름에 대한 개체명을 분류하고 해당 개체명에 대한 임베딩을 부여하는 개체명 임베딩이 포함되는 것을 특징으로 하는 정형 및 비정형 및 반정형 정보를 사용한 표에 특화된 기계독해 방법
|
| 13 |
13
제 10 항에 있어서, 사전학습을 수행하는 단계에서,사전 학습부의 학습부에서 표 데이터에 적합한 언어 모형을 생성하기 위해 마스킹 언어 모형을 이용하여 표 데이터에 대한 사전학습을 하는 것을 특징으로 하는 정형 및 비정형 및 반정형 정보를 사용한 표에 특화된 기계독해 방법
|
| 14 |
14
제 13 항에 있어서, 마스킹 언어 모형은 사전학습을 위해 입력된 데이터의 일부를 마스킹하고 마스킹된 문장을 입력받았을 때 마스킹 되기 전의 토큰을 예측하도록 하는 것을 특징으로 하는 정형 및 비정형 및 반정형 정보를 사용한 표에 특화된 기계독해 방법
|
| 15 |
15
제 10 항에 있어서, 사전학습을 수행하는 단계에서 사전학습 언어모형의 입력은,토큰 사전에서의 입력된 토큰의 번호 Token ids, 각 토큰의 입력된 순서 Position ids, 질의와 관련된 토큰은 0을 부여하고 표와 관련된 토큰은 1을 부여하여 각 토큰의 종류를 나타내는 Segments ids 및,각 토큰이 해당하는 행과 열의 번호를 나타내는 Column ids와 Row ids, 행을 기준으로 대/소 비교가 가능한 셀들에 대해서 대소 비교를 하고 큰 순서대로 순위를 부여한 것을 나타내는 Rank ids, 개체명에 대한 번호를 나타내는 Name ids를 포함하는 것을 특징으로 하는 정형 및 비정형 및 반정형 정보를 사용한 표에 특화된 기계독해 방법
|
| 16 |
16
제 10 항에 있어서, 정답 추론 단계의 질의응답 과정에서 정답 추론부의 표 데이터 특화 사전학습 언어모형 출력부는 사전학습한 언어모형에 표 데이터 평면화 정제부에서 정제한 질문과 표 데이터를 입력하여 입력한 각 토큰에 대한 표현값을 출력하는 것을 특징으로 하는 정형 및 비정형 및 반정형 정보를 사용한 표에 특화된 기계독해 방법
|
| 17 |
17
제 16 항에 있어서, 정답 추론 단계의 질의응답 과정에서 표 데이터 특화 사전학습 언어모형에서 출력된 표현 값을 이용하여 정답 출력을 위한 예측 값을 출력하고,입력된 테이블에서 정답에 해당하는 토큰들의 시작 위치와 끝의 위치에 대한 확률을 출력하며, [CLS] 토큰의 표현을 이용하여 입력된 테이블에 질문에 대한 정답을 포함하고 있을 확률을 출력하는 것을 특징으로 하는 정형 및 비정형 및 반정형 정보를 사용한 표에 특화된 기계독해 방법
|
