| 1 |
1
컴퓨터 장치에서 수행되는 어텐션 기반 딥러닝 모델 구축 방법에 있어서,상기 컴퓨터 장치가 포함하는 적어도 하나의 프로세서의 의해, 범주형 변수와 연속형 변수로 혼합된 정형 데이터인 표 형식 데이터를 임베딩 값으로 변환하는 단계; 및상기 적어도 하나의 프로세서의 의해, 상기 임베딩 값을 이용하여 트랜스포머 블록(transformer block)과 선형 계층 블록(linear layer block) 및 블록 간 어텐션 공유를 위한 공유 함수(sharing function)로 구성된 네트워크 모델을 학습하는 단계를 포함하는 어텐션 기반 딥러닝 모델 구축 방법
|
| 2 |
2
제1항에 있어서,상기 변환하는 단계는,상기 범주형 변수에 대해 임베딩 행렬의 인덱스 정보를 이용하여 임베딩 값으로 변환하고,상기 연속형 변수에 대해 선형 계층을 통해 임베딩 행렬의 크기만큼 투영하여 소프트맥스와 임베딩 행렬의 행렬 곱을 통해 임베딩 값으로 변환하는 것을 특징으로 하는 어텐션 기반 딥러닝 모델 구축 방법
|
| 3 |
3
제1항에 있어서,상기 변환하는 단계는,상기 표 형식 데이터에 토큰 값을 추가한 학습 데이터를 상기 임베딩 값으로 변환하는 것을 특징으로 하는 어텐션 기반 딥러닝 모델 구축 방법
|
| 4 |
4
제1항에 있어서,상기 트랜스포머 블록과 상기 선형 계층 블록은 데이터를 학습하는 방향을 기준으로 적어도 둘 이상의 서브 블록(sub-block)으로 구성되는 것을 특징으로 하는 어텐션 기반 딥러닝 모델 구축 방법
|
| 5 |
5
제1항에 있어서,상기 트랜스포머 블록과 상기 선형 계층 블록은 속성 방향 서브 블록(feature-wise sub-block)과 차원 방향 서브 블록(dimension -wise sub-block)을 포함하는 것을 특징으로 하는 어텐션 기반 딥러닝 모델 구축 방법
|
| 6 |
6
제1항에 있어서,상기 트랜스포머 블록은 셀프 어텐션 계층(self-attention layer), 피드포워드 계층(feed-forward layer), 각 계층의 잔차 연결(residual connection), 및 계층 정규화(layer normalization)로 구성되는 것을 특징으로 하는 어텐션 기반 딥러닝 모델 구축 방법
|
| 7 |
7
제1항에 있어서,상기 선형 계층 블록은 MLP(Multi-layer Perceptron) 모델 구조를 기반으로 게이팅 유닛(gating unit)이 멀티 헤드(multi-head) 구조로 구성되는 것을 특징으로 하는 어텐션 기반 딥러닝 모델 구축 방법
|
| 8 |
8
제5항에 있어서,상기 학습하는 단계는,상기 트랜스포머 블록과 상기 선형 계층 블록 간에 서로 같은 방향의 어텐션 행렬을 상기 공유 함수를 통해 하나의 행렬인 공유 어텐션 행렬로 변환하여 다음 스택으로 전달하는 단계를 포함하는 어텐션 기반 딥러닝 모델 구축 방법
|
| 9 |
9
제5항에 있어서,상기 학습하는 단계는,상기 트랜스포머 블록의 결과 값, 상기 선형 계층 블록의 결과 값, 상기 트랜스포머 블록의 속성 방향 서브 블록과 차원 방향 서브 블록에서 계산된 어텐션 행렬, 및 상기 선형 계층 블록의 속성 방향 서브 블록과 차원 방향 서브 블록에서 계산된 어텐션 행렬을 반환하는 단계;상기 공유 함수를 통해 상기 트랜스포머 블록과 상기 선형 계층 블록의 속성 방향 서브 블록에서 계산된 어텐션 행렬을 하나의 행렬인 속성 방향 공유 어텐션 행렬로 변환하고 상기 트랜스포머 블록과 상기 선형 계층 블록의 차원 방향 서브 블록에서 계산된 어텐션 행렬을 하나의 행렬인 차원 방향 공유 어텐션 행렬로 변환하는 단계; 및상기 속성 방향 공유 어텐션 행렬과 상기 차원 방향 공유 어텐션 행렬을 다음 스택으로 전달하는 단계를 포함하고,이전 스택에서 전달받은 상기 속성 방향 공유 어텐션 행렬과 상기 차원 방향 공유 어텐션 행렬은 상기 트랜스포머 블록과 상기 선형 계층 블록의 셀프 어텐션 계층에서 연산되는 어텐션 행렬과 합해지는 것을 특징으로 하는 어텐션 기반 딥러닝 모델 구축 방법
|
| 10 |
10
제1항에 있어서,상기 어텐션 기반 딥러닝 모델 구축 방법은,상기 적어도 하나의 프로세서의 의해, 상기 표 형식 데이터에 대해 상기 네트워크 모델을 통해 얻은 문맥적(Contextual) 임베딩 값을 이용하여 파인튜닝(Fine Tuning)과 사전학습(Pre-training) 중 적어도 하나를 수행하는 단계를 더 포함하는 어텐션 기반 딥러닝 모델 구축 방법
|
| 11 |
11
컴퓨터로 구현되는 어텐션 기반 딥러닝 모델 구축 시스템에 있어서,메모리에 포함된 컴퓨터 판독가능한 명령들을 실행하도록 구성된 적어도 하나의 프로세서를 포함하고,상기 적어도 하나의 프로세서는,범주형 변수와 연속형 변수로 혼합된 정형 데이터인 표 형식 데이터를 임베딩 값으로 변환하는 과정; 및상기 임베딩 값을 이용하여 트랜스포머 블록(transformer block)과 선형 계층 블록(linear layer block) 및 블록 간 어텐션 공유를 위한 공유 함수(sharing function)로 구성된 네트워크 모델을 학습하는 과정을 처리하는 어텐션 기반 딥러닝 모델 구축 시스템
|
| 12 |
12
제11항에 있어서,상기 적어도 하나의 프로세서는,상기 범주형 변수에 대해 임베딩 행렬의 인덱스 정보를 이용하여 임베딩 값으로 변환하고,상기 연속형 변수에 대해 선형 계층을 통해 임베딩 행렬의 크기만큼 투영하여 소프트맥스와 임베딩 행렬의 행렬 곱을 통해 임베딩 값으로 변환하는 것을 특징으로 하는 어텐션 기반 딥러닝 모델 구축 시스템
|
| 13 |
13
제11항에 있어서,상기 적어도 하나의 프로세서는,상기 표 형식 데이터에 토큰 값을 추가한 학습 데이터를 상기 임베딩 값으로 변환하는 것을 특징으로 하는 어텐션 기반 딥러닝 모델 구축 시스템
|
| 14 |
14
제11항에 있어서,상기 트랜스포머 블록과 상기 선형 계층 블록은 데이터를 학습하는 방향을 기준으로 적어도 둘 이상의 서브 블록(sub-block)으로 구성되는 것을 특징으로 하는 어텐션 기반 딥러닝 모델 구축 시스템
|
| 15 |
15
제11항에 있어서,상기 트랜스포머 블록과 상기 선형 계층 블록은 속성 방향 서브 블록(feature-wise sub-block)과 차원 방향 서브 블록(dimension -wise sub-block)을 포함하는 것을 특징으로 하는 어텐션 기반 딥러닝 모델 구축 시스템
|
| 16 |
16
제11항에 있어서,상기 트랜스포머 블록은 셀프 어텐션 계층(self-attention layer), 피드포워드 계층(feed-forward layer), 각 계층의 잔차 연결(residual connection), 및 계층 정규화(layer normalization)로 구성되는 것을 특징으로 하는 어텐션 기반 딥러닝 모델 구축 시스템
|
| 17 |
17
제11항에 있어서,상기 선형 계층 블록은 MLP(Multi-layer Perceptron) 모델 구조를 기반으로 게이팅 유닛(gating unit)이 멀티 헤드(multi-head) 구조로 구성되는 것을 특징으로 하는 어텐션 기반 딥러닝 모델 구축 시스템
|
| 18 |
18
제15항에 있어서,상기 적어도 하나의 프로세서는,상기 트랜스포머 블록과 상기 선형 계층 블록 간에 서로 같은 방향의 어텐션 행렬을 상기 공유 함수를 통해 하나의 행렬인 공유 어텐션 행렬로 변환하여 다음 스택으로 전달하는 것을 특징으로 하는 어텐션 기반 딥러닝 모델 구축 시스템
|
| 19 |
19
제15항에 있어서,상기 적어도 하나의 프로세서는,상기 트랜스포머 블록의 결과 값, 상기 선형 계층 블록의 결과 값, 상기 트랜스포머 블록의 속성 방향 서브 블록과 차원 방향 서브 블록에서 계산된 어텐션 행렬, 및 상기 선형 계층 블록의 속성 방향 서브 블록과 차원 방향 서브 블록에서 계산된 어텐션 행렬을 반환하고,상기 공유 함수를 통해 상기 트랜스포머 블록과 상기 선형 계층 블록의 속성 방향 서브 블록에서 계산된 어텐션 행렬을 하나의 행렬인 속성 방향 공유 어텐션 행렬로 변환하고 상기 트랜스포머 블록과 상기 선형 계층 블록의 차원 방향 서브 블록에서 계산된 어텐션 행렬을 하나의 행렬인 차원 방향 공유 어텐션 행렬로 변환하고,상기 속성 방향 공유 어텐션 행렬과 상기 차원 방향 공유 어텐션 행렬을 다음 스택으로 전달하고,이전 스택에서 전달받은 상기 속성 방향 공유 어텐션 행렬과 상기 차원 방향 공유 어텐션 행렬은 상기 트랜스포머 블록과 상기 선형 계층 블록의 셀프 어텐션 계층에서 연산되는 어텐션 행렬과 합해지는 것을 특징으로 하는 어텐션 기반 딥러닝 모델 구축 시스템
|
| 20 |
20
어텐션 기반 딥러닝 모델 구축 방법을 컴퓨터에 실행시키기 위해 컴퓨터 판독가능한 기록 매체에 저장되는 컴퓨터 프로그램에 있어서,상기 어텐션 기반 딥러닝 모델 구축 방법은,범주형 변수와 연속형 변수로 혼합된 정형 데이터인 표 형식 데이터를 임베딩 값으로 변환하는 단계; 및상기 임베딩 값을 이용하여 트랜스포머 블록(transformer block)과 선형 계층 블록(linear layer block) 및 블록 간 어텐션 공유를 위한 공유 함수(sharing function)로 구성된 네트워크 모델을 학습하는 단계를 포함하는, 컴퓨터 프로그램
|
