| 1 |
1
텍스트의 문맥 정보를 사전학습하여 구축된 언어모델로부터 임베딩 행렬(embedding matrix)를 추출하는 임베딩 행렬 추출단계;상기 임베딩 행렬이 적용된 추상 요약 모델을 정의하고 학습 데이터셋을 기초로 텍스트 요약문 생성을 위한 요약 학습을 수행하여 상기 추상 요약 모델을 구축하는 추상 요약 모델 구축단계; 및상기 추상 요약 모델을 이용하여 입력 텍스트에 대한 요약문을 생성하는 텍스트 요약문 생성단계;를 포함하는 사전학습 언어모델을 활용한 트랜스포머 기반 텍스트 요약 방법
|
| 2 |
2
제1항에 있어서, 상기 임베딩 행렬 추출단계는사전학습된 코버트(KoBERT) 모델의 입력 계층(layer)에서 토큰 임베딩 행렬을 상기 임베딩 행렬로서 추출하는 단계를 포함하는 것을 특징으로 하는 사전학습 언어모델을 활용한 트랜스포머 기반 텍스트 요약 방법
|
| 3 |
3
제2항에 있어서, 상기 임베딩 행렬 추출단계는상기 입력 계층의 임베딩 계층들에서 적어도 토큰 임베딩 행렬을 포함하는 임베딩 조합을 통해 상기 임베딩 행렬을 생성하는 단계를 포함하는 것을 특징으로 하는 사전학습 언어모델을 활용한 트랜스포머 기반 텍스트 요약 방법
|
| 4 |
4
제1항에 있어서, 상기 추상 요약 모델 구축단계는트랜스포머(transformer) 모델을 상기 추상 요약 모델로서 정의하고 상기 트랜스포머 모델의 임베딩 계층에 상기 임베딩 행렬을 적용하는 단계를 포함하는 것을 특징으로 하는 사전학습 언어모델을 활용한 트랜스포머 기반 텍스트 요약 방법
|
| 5 |
5
제4항에 있어서, 상기 추상 요약 모델 구축단계는상기 트랜스포머 모델의 인코더 임베딩 행렬과 디코더(decoder) 임베딩 행렬을 각각 상기 임베딩 행렬로 대체하는 단계를 포함하는 것을 특징으로 하는 사전학습 언어모델을 활용한 트랜스포머 기반 텍스트 요약 방법
|
| 6 |
6
제4항에 있어서, 상기 추상 요약 모델 구축단계는상기 학습 데이터셋의 원문 텍스트를 상기 트랜스포머 모델의 인코더(encoder)에 입력하는 단계;상기 인코더의 임베딩 계층을 통해 상기 원문 텍스트에 대한 단어 벡터를 생성하는 단계;상기 단어 벡터를 상기 인코더의 인코더 계층에 통과시켜 상기 디코더에 전달하는 단계;상기 디코더를 통해 상기 원문 텍스트에 대응되는 요약 텍스트를 생성하는 단계; 및상기 원문 텍스트의 정답 텍스트와 상기 요약 텍스트 간의 차이를 비교하여 상기 인코더 및 상기 디코더를 갱신하는 단계를 포함하는 것을 특징으로 하는 사전학습 언어모델을 활용한 트랜스포머 기반 텍스트 요약 방법
|
| 7 |
7
제1항에 있어서, 상기 텍스트 요약문 생성단계는상기 입력 텍스트를 복수의 부분 텍스트들로 분할하는 단계;상기 복수의 부분 텍스트들 각각을 상기 추상 요약 모델에 입력하여 복수의 부분 요약문들을 생성하는 단계; 및상기 복수의 부분 요약문들을 통합하여 상기 요약문을 생성하는 단계를 포함하는 것을 특징으로 하는 사전학습 언어모델을 활용한 트랜스포머 기반 텍스트 요약 방법
|
| 8 |
8
제1항에 있어서,상기 요약문의 품질을 평가하는 요약문 품질 평가단계;를 더 포함하는 것을 특징으로 하는 사전학습 언어모델을 활용한 트랜스포머 기반 텍스트 요약 방법
|
| 9 |
9
제8항에 있어서, 상기 요약문 품질 평가단계는상기 요약문과 사용자에 의해 입력된 정답문 사이의 단어 일치 정도에 따라 적어도 하나의 평가 지표를 산출하는 단계를 포함하는 것을 특징으로 하는 사전학습 언어모델을 활용한 트랜스포머 기반 텍스트 요약 방법
|
| 10 |
10
텍스트의 문맥 정보를 사전학습하여 구축된 언어모델로부터 임베딩 행렬(embedding matrix)를 추출하는 임베딩 행렬 추출부;상기 임베딩 행렬이 적용된 추상 요약 모델을 정의하고 학습 데이터셋을 기초로 텍스트 요약문 생성을 위한 요약 학습을 수행하여 상기 추상 요약 모델을 구축하는 추상 요약 모델 구축부; 및상기 추상 요약 모델을 이용하여 입력 텍스트에 대한 요약문을 생성하는 텍스트 요약문 생성부;를 포함하는 사전학습 언어모델을 활용한 트랜스포머 기반 텍스트 요약 장치
|
| 11 |
11
제10항에 있어서, 상기 임베딩 행렬 추출부는사전학습된 코버트(KoBERT) 모델의 입력 계층(layer)에서 토큰 임베딩 행렬을 상기 임베딩 행렬로서 추출하는 것을 특징으로 하는 사전학습 언어모델을 활용한 트랜스포머 기반 텍스트 요약 장치
|
| 12 |
12
제10항에 있어서, 상기 추상 요약 모델 구축부는트랜스포머(transformer) 모델을 상기 추상 요약 모델로서 정의하고 상기 트랜스포머 모델의 임베딩 계층에 상기 임베딩 행렬을 적용하는 것을 특징으로 하는 사전학습 언어모델을 활용한 트랜스포머 기반 텍스트 요약 장치
|
| 13 |
13
제12항에 있어서, 상기 추상 요약 모델 구축부는상기 트랜스포머 모델의 인코더 임베딩 행렬과 디코더(decoder) 임베딩 행렬을 각각 상기 임베딩 행렬로 대체하는 것을 특징으로 하는 사전학습 언어모델을 활용한 트랜스포머 기반 텍스트 요약 장치
|
