| 1 |
1
서포트 셋과 쿼리 셋의 텍스트 데이터를 학습 데이터 셋에 대해 BERT와 선형변환을 거쳐 벡터로 변환하는 텍스트 데이터 인코더;상기 서포트 셋의 벡터를 입력받아 클래스 프로토타입을 산출하는 클래스 프로토타입 산출부;상기 클래스 프로토타입과 상기 쿼리 셋의 벡터의 태스크 기반 관련성 점수를 연산하는 태스크 기반 관련성 모듈;메모리 프로토타입이 저장된 메모리부;상기 메모리부에 저장된 메모리 프로토타입에 상기 클래스 프로토타입의 정보를 반영하여 업데이트된 메모리 프로토타입을 산출하는 메모리 프로토타입 산출부;상기 업데이트된 메모리 프로토타입과 상기 쿼리 셋의 벡터의 메모리 기반 관련성 점수를 연산하는 메모리 기반 관련성 모듈; 및상기 클래스 관련성 점수와 상기 메모리 관련성 점수를 기초로 상기 쿼리 셋의 각 벡터의 각 클래스에 대한 분류 확률을 출력하는 적응적 분류기를 포함하는 동적 메모리 기반의 신경망을 이용한 Few-Shot 텍스트 분류 장치
|
| 2 |
2
제1항에 있어서,상기 BERT는 학습 데이터 셋인 Meta-Train 셋에 대한 추가 사전학습된 것인 동적 메모리 기반의 신경망을 이용한 Few-Shot 텍스트 분류 장치
|
| 3 |
3
제2항에 있어서,상기 BERT의 파라미터 중 마지막 2개의 트랜스포머 레이어는 학습되고 나머지 파라미터는 고정된 동적 메모리 기반의 신경망을 이용한 Few-Shot 텍스트 분류 장치
|
| 4 |
4
제2항에 있어서,상기 BERT의 추가 사전학습 태스크는 Masked Language Model(MLM) 태스크와 Next Sentence Prediction(NSP) 태스크인 동적 메모리 기반의 신경망을 이용한 Few-Shot 텍스트 분류 장치
|
| 5 |
5
제1항에 있어서,상기 적응적 분류기는 상기 태스크 관련성 점수와 상기 메모리 관련성 점수를 기초로 신경망을 통해 상기 클래스 관련성 점수와 상기 메모리 관련성 점수의 비율을 계산하는 동적 메모리 기반의 신경망을 이용한 Few-Shot 텍스트 분류 장치
|
| 6 |
6
제1항에 있어서,상기 메모리 프로토타입 산출부는 상기 업데이트된 메모리 프로토타입을 상기 메모리부에 저장하는 동적 메모리 기반의 신경망을 이용한 Few-Shot 텍스트 분류 장치
|
| 7 |
7
서포트 셋과 쿼리 셋의 텍스트 데이터를 BERT와 선형변환을 거쳐 벡터로 변환하는 단계;상기 서포트 셋의 벡터로부터 클래스 프로토타입을 산출하는 단계;저장된 메모리 프로토타입에 상기 클래스 프로토타입의 정보를 반영하여 업데이트된 메모리 프로토타입을 산출하는 단계;상기 클래스 프로토타입과 상기 쿼리 셋의 벡터의 태스크 기반 관련성 점수를 연산하는 단계;상기 업데이트된 메모리 프로토타입과 상기 쿼리 셋의 벡터의 메모리 기반 관련성 점수를 연산하는 단계; 및상기 태스크 관련성 점수와 상기 메모리 관련성 점수를 기초로 상기 쿼리 셋의 각 벡터의 각 클래스에 대한 분류 확률을 출력하는 단계를 포함하는 동적 메모리 기반의 신경망을 이용한 Few-Shot 텍스트 분류 방법
|
| 8 |
8
제7항에 있어서,상기 클래스 프로토타입을 산출하는 단계 이후, 메모리부에 저장된 메모리 프로토타입이 없으면, 상기 클래스 프로토타입을 메모리 프로토타입으로 상기 메모리부에 저장하는 단계를 더 포함하는 동적 메모리 기반의 신경망을 이용한 Few-Shot 텍스트 분류 방법
|
| 9 |
9
제7항에 있어서,상기 업데이트된 메모리 프로토타입을 산출하는 단계 이후, 현재 단계가 Meta-train 단계인지 여부를 판단하는 단계; 및상기 현재 단계가 Meta-train 단계인 경우, 상기 업데이트된 메모리 프로토타입을 메모리부에 저장하는 단계를 더 포함하는 동적 메모리 기반의 신경망을 이용한 Few-Shot 텍스트 분류 방법
|
| 10 |
10
제7항에 있어서,상기 BERT는 학습 데이터 셋인 Meta-Train 셋에 대한 추가 사전학습된 것인 동적 메모리 기반의 신경망을 이용한 Few-Shot 텍스트 분류 방법
|
| 11 |
11
제10항에 있어서,상기 BERT의 파라미터 중 마지막 2개의 트랜스포머 레이어는 학습되고 나머지 파라미터는 고정된 동적 메모리 기반의 신경망을 이용한 Few-Shot 텍스트 분류 방법
|
| 12 |
12
제10항에 있어서,상기 BERT의 추가 사전학습 태스크는 Masked Language Model(MLM) 태스크와 Next Sentence Prediction(NSP) 태스크인 동적 메모리 기반의 신경망을 이용한 Few-Shot 텍스트 분류 방법
|
| 13 |
13
BERT를 학습데이터 셋인 Meta-Train 셋에 대한 추가 사전학습하는 단계;상기 BERT의 파라미터 중 마지막 2개의 트랜스포머 레이어는 학습하고 나머지 파라미터는 고정하는 단계;서포트 셋과 쿼리 셋의 텍스트 데이터를 상기 BERT와 선형변환을 거쳐 벡터로 변환하는 단계;상기 서포트 셋의 벡터로부터 클래스 프로토타입을 산출하는 단계;저장된 메모리 프로토타입에 상기 클래스 프로토타입의 정보를 반영하여 업데이트된 메모리 프로토타입을 산출하는 단계;상기 클래스 프로토타입과 상기 쿼리 셋의 벡터의 태스크 기반 관련성 점수를 연산하는 단계;상기 업데이트된 메모리 프로토타입과 상기 쿼리 셋의 벡터의 메모리 기반 관련성 점수를 연산하는 단계; 및상기 태스크 관련성 점수와 상기 메모리 관련성 점수를 기초로 상기 쿼리 셋의 각 벡터의 각 클래스에 대한 분류 확률을 출력하는 단계를 포함하는 동적 메모리 기반의 신경망을 이용한 Few-Shot 텍스트 분류 방법
|
| 14 |
14
제13항에 있어서,상기 BERT의 추가 사전학습 태스크는 Masked Language Model(MLM) 태스크와 Next Sentence Prediction(NSP) 태스크인 동적 메모리 기반의 신경망을 이용한 Few-Shot 텍스트 분류 방법
|
