| 1 |
1
적어도 하나의 프로세서를 구비하는 텍스트 처리 장치가 바꿔 쓰기(paraphrase generation) 모델을 학습하는 방법에 있어서,텍스트 처리 장치가 입력 텍스트 및 상기 입력 텍스트와 같은 의미를 갖는 바꿔 쓰기 레이블의 입력 데이터셋을 병렬 데이터로서 입력받는 단계;상기 텍스트 처리 장치가 입력 문장과 의미는 같지만 표현이 상이한 문장을 생성하는 바꿔 쓰기 모델을 이용하여 상기 입력 텍스트로부터 바꿔 쓴 예측 텍스트를 생성하는 단계;상기 텍스트 처리 장치가 입력 문장의 범주를 예측하는 분류 모델을 이용하여 상기 입력 텍스트 및 상기 예측 텍스트로부터 각각 범주 결과를 획득하는 단계;상기 텍스트 처리 장치가 상기 예측 텍스트 및 상기 바꿔 쓰기 레이블로부터 바꿔 쓰기 생성에 관한 손실 값을 산출하고, 상기 범주 결과들로부터 분류에 관한 손실 값을 산출하며, 산출된 손실 값들로부터 총 손실 값을 산출하는 단계; 및상기 텍스트 처리 장치가 산출된 상기 총 손실 값에 기초하여 상기 바꿔 쓰기 모델을 학습하는 단계;를 포함하는, 바꿔 쓰기 모델의 학습 방법
|
| 2 |
2
제 1 항에 있어서,상기 텍스트 처리 장치가 입력 텍스트 및 분류 레이블의 쌍으로 구성된 분류 데이터셋을 입력받아 입력 텍스트의 의미에 관한 정보를 범주 값으로 예측하도록 상기 분류 모델을 미리 학습하는 단계;를 더 포함하는, 바꿔 쓰기 모델의 학습 방법
|
| 3 |
3
제 1 항에 있어서,상기 예측 텍스트를 생성하는 단계는,인코더(encoder)를 통해 상기 입력 문장을 특징(feature)으로 변환하는 단계; 및디코더(decoder)를 통해 변환된 특징으로부터 의미는 같지만 표현이 상이한 토큰(token)으로 구성된 시퀀스(sequence)를 생성하되, 문맥(context)에 따른 어텐션(attention)에 기반하여 상기 입력 텍스트로부터 바꿔 쓴 예측 텍스트를 생성하는 단계;를 포함하는, 바꿔 쓰기 모델의 학습 방법
|
| 4 |
4
제 1 항에 있어서,상기 범주 결과를 획득하는 단계는,선형 임베딩(linear embedding)을 통해 상기 입력 텍스트 및 상기 예측 텍스트 각각으로부터 임베딩 데이터를 생성하고 데이터의 차원을 변경하는 단계;컨벌루션 신경망(Convolutional Neural Networks, CNN)을 통해 상기 임베딩 데이터로부터 특징을 추출하는 단계;추출된 상기 특징의 데이터 타입을 평탄화(flatten)하여 완전 연결 계층(fully connected layer)의 형태로 변환하는 단계; 및투영(projection)을 통해 데이터의 차원을 축소하여 범주 결과로서 분류 값을 출력하는 단계;를 포함하는, 바꿔 쓰기 모델의 학습 방법
|
| 5 |
5
제 1 항에 있어서,상기 총 손실 값을 산출하는 단계는,상기 예측 텍스트 및 상기 바꿔 쓰기 레이블의 차이로부터 바꿔 쓰기 생성에 관한 제 1 손실 값을 산출하는 단계;상기 범주 결과들 간의 차이로부터 문장의 의미를 나타내는 분류에 관한 제 2 손실 값을 산출하는 단계; 및산출된 상기 제 1 손실 값 및 상기 제 2 손실 값으로부터 손실 함수를 구성하여 총 손실 값을 산출하는 단계;를 포함하는, 바꿔 쓰기 모델의 학습 방법
|
| 6 |
6
제 5 항에 있어서,상기 제 1 손실 값 및 상기 제 2 손실 값은 각각 크로스 엔트로피(cross entropy)를 이용하여 산출되는, 바꿔 쓰기 모델의 학습 방법
|
| 7 |
7
제 5 항에 있어서,상기 제 1 손실 값 및 상기 제 2 손실 값은 각각 쿨백-라이블러 발산(Kullback-Leibler divergence, KLD)을 이용하여 산출되는, 바꿔 쓰기 모델의 학습 방법
|
| 8 |
8
제 5 항에 있어서,상기 손실 함수는,상기 제 1 손실 값과 상기 제 2 손실 값을 승산하되, 계산된 손실 값에 대한 신뢰도를 나타내는 테스트 정확도를 가중치로서 더 승산하고, 승산 결과를 상기 제 1 손실 값에 가산함으로써 설정되는, 바꿔 쓰기 모델의 학습 방법
|
| 9 |
9
제 8 항에 있어서,상기 손실 함수를 복수 개의 분류 모델에 적용하되,상기 손실 함수는,상기 분류 모델에 대하여 각각에 대응하는 데이터셋을 기반으로 분류 학습을 진행하여 계산된 손실 값에 대한 신뢰도를 나타내는 테스트 정확도를 획득하고, 상기 분류 모델 별로 상기 제 2 손실 값을 산출하여 대응하는 테스트 정확도와 각각 승산하고, 상기 분류 모델 별로 승산된 값을 모두 가산한 후 상기 제 1 손실 값과 승산하고 상기 분류 모델의 수로 제산하며, 제산 결과를 상기 제 1 손실 값에 가산함으로써 설정되는, 바꿔 쓰기 모델의 학습 방법
|
| 10 |
10
제 1 항에 있어서,상기 바꿔 쓰기 모델을 학습하는 단계는,산출된 상기 총 손실 값에 기초하여 역전파(backpropagation)함으로써 상기 바꿔 쓰기 모델의 가중치를 갱신하는, 바꿔 쓰기 모델의 학습 방법
|
| 11 |
11
적어도 하나의 프로세서를 구비하는 텍스트 처리 장치가 텍스트 데이터를 증강하는 방법에 있어서,텍스트 처리 장치가 복수 개의 기초 텍스트 데이터를 입력받는 단계; 및상기 텍스트 처리 장치가 입력된 기초 텍스트 데이터로부터 미리 학습된 바꿔 쓰기(paraphrase generation) 모델을 이용하여 입력된 기초 텍스트 데이터와 의미는 같지만 표현이 상이한 대량의 텍스트 데이터를 생성하는 단계;를 포함하고,상기 미리 학습된 바꿔 쓰기 모델은,입력 텍스트 및 상기 입력 텍스트와 같은 의미를 갖는 바꿔 쓰기 레이블의 입력 데이터셋을 병렬 데이터로서 입력받고, 바꿔 쓰기 모델을 이용하여 상기 입력 텍스트로부터 바꿔 쓴 예측 텍스트를 생성하고, 입력 문장의 범주를 예측하는 분류 모델을 이용하여 상기 입력 텍스트 및 상기 예측 텍스트로부터 각각 범주 결과를 획득하고, 상기 예측 텍스트 및 상기 바꿔 쓰기 레이블로부터 바꿔 쓰기 생성에 관한 손실 값을 산출하고, 상기 범주 결과들로부터 분류에 관한 손실 값을 산출하고, 산출된 손실 값들로부터 총 손실 값을 산출하며, 산출된 상기 총 손실 값에 기초하여 상기 바꿔 쓰기 모델을 학습함으로써 설정되는, 텍스트 데이터의 증강 방법
|
| 12 |
12
제 11 항에 있어서,상기 미리 학습된 바꿔 쓰기 모델은,상기 예측 텍스트 및 상기 바꿔 쓰기 레이블의 차이로부터 바꿔 쓰기 생성에 관한 제 1 손실 값을 산출하고, 상기 범주 결과들 간의 차이로부터 문장의 의미를 나타내는 분류에 관한 제 2 손실 값을 산출하며, 산출된 상기 제 1 손실 값 및 상기 제 2 손실 값으로부터 손실 함수를 구성하여 총 손실 값을 산출하는, 텍스트 데이터의 증강 방법
|
| 13 |
13
제 12 항에 있어서,상기 손실 함수는,상기 분류 모델에 대하여 각각에 대응하는 데이터셋을 기반으로 분류 학습을 진행하여 계산된 손실 값에 대한 신뢰도를 나타내는 테스트 정확도를 획득하고, 상기 분류 모델 별로 상기 제 2 손실 값을 산출하여 대응하는 테스트 정확도와 각각 승산하고, 상기 분류 모델 별로 승산된 값을 모두 가산한 후 상기 제 1 손실 값과 승산하고 상기 분류 모델의 수로 제산하며, 제산 결과를 상기 제 1 손실 값에 가산함으로써 설정되는, 텍스트 데이터의 증강 방법
|
| 14 |
14
제 1 항 내지 제 13 항 중에 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체
|
| 15 |
15
입력 문장과 의미는 같지만 표현이 상이한 문장을 생성하는 바꿔 쓰기(paraphrase generation) 모델 및 입력 문장의 범주를 예측하는 분류 모델을 저장하는 메모리; 및상기 분류 모델을 이용하여 상기 바꿔 쓰기 모델을 학습하는 프로그램을 실행하는 프로세서;를 포함하고,상기 프로세서에 의해 실행되는 프로그램은,입력 텍스트 및 상기 입력 텍스트와 같은 의미를 갖는 바꿔 쓰기 레이블의 입력 데이터셋을 병렬 데이터로서 입력받고, 상기 바꿔 쓰기 모델을 이용하여 상기 입력 텍스트로부터 바꿔 쓴 예측 텍스트를 생성하고, 상기 분류 모델을 이용하여 상기 입력 텍스트 및 상기 예측 텍스트로부터 각각 범주 결과를 획득하고, 상기 예측 텍스트 및 상기 바꿔 쓰기 레이블로부터 바꿔 쓰기 생성에 관한 손실 값을 산출하고, 상기 범주 결과들로부터 분류에 관한 손실 값을 산출하며, 산출된 손실 값들로부터 총 손실 값을 산출하며, 산출된 상기 총 손실 값에 기초하여 상기 바꿔 쓰기 모델을 학습하는 명령을 포함하는, 텍스트 처리 장치
|
| 16 |
16
제 15 항에 있어서,상기 프로세서에 의해 실행되는 프로그램은,인코더(encoder)를 통해 상기 입력 문장을 특징(feature)으로 변환하고,디코더(decoder)를 통해 변환된 특징으로부터 의미는 같지만 표현이 상이한 토큰(token)으로 구성된 시퀀스(sequence)를 생성하되, 문맥(context)에 따른 어텐션(attention)에 기반하여 상기 입력 텍스트로부터 바꿔 쓴 예측 텍스트를 생성하는 명령을 포함하는, 텍스트 처리 장치
|
| 17 |
17
제 15 항에 있어서,상기 프로세서에 의해 실행되는 프로그램은,선형 임베딩(linear embedding)을 통해 상기 입력 텍스트 및 상기 예측 텍스트 각각으로부터 임베딩 데이터를 생성하고 데이터의 차원을 변경하고, 컨벌루션 신경망(Convolutional Neural Networks, CNN)을 통해 상기 임베딩 데이터로부터 특징을 추출하고, 추출된 상기 특징의 데이터 타입을 평탄화(flatten)하여 완전 연결 계층(fully connected layer)의 형태로 변환하며, 투영(projection)을 통해 데이터의 차원을 축소하여 범주 결과로서 분류 값을 출력함으로써, 상기 범주 결과를 획득하는 명령을 포함하는, 텍스트 처리 장치
|
| 18 |
18
제 15 항에 있어서,상기 프로세서에 의해 실행되는 프로그램은,상기 예측 텍스트 및 상기 바꿔 쓰기 레이블의 차이로부터 바꿔 쓰기 생성에 관한 제 1 손실 값을 산출하고, 상기 범주 결과들 간의 차이로부터 문장의 의미를 나타내는 분류에 관한 제 2 손실 값을 산출하며, 산출된 상기 제 1 손실 값 및 상기 제 2 손실 값으로부터 손실 함수를 구성하여 총 손실 값을 산출하는 명령을 포함하는, 텍스트 처리 장치
|
| 19 |
19
제 18 항에 있어서,상기 손실 함수는,상기 분류 모델에 대하여 각각에 대응하는 데이터셋을 기반으로 분류 학습을 진행하여 계산된 손실 값에 대한 신뢰도를 나타내는 테스트 정확도를 획득하고, 상기 분류 모델 별로 상기 제 2 손실 값을 산출하여 대응하는 테스트 정확도와 각각 승산하고, 상기 분류 모델 별로 승산된 값을 모두 가산한 후 상기 제 1 손실 값과 승산하고 상기 분류 모델의 수로 제산하며, 제산 결과를 상기 제 1 손실 값에 가산함으로써 설정되는, 텍스트 처리 장치
|
| 20 |
20
제 15 항에 있어서,상기 프로세서에 의해 실행되는 프로그램은,산출된 상기 총 손실 값에 기초하여 역전파(backpropagation)함으로써 상기 바꿔 쓰기 모델의 가중치를 갱신하는, 텍스트 처리 장치
|
