| 1 |
1
인공 신경망 모델에 지식 증류를 적용하는 컴퓨터 시스템의 방법에 있어서, 대규모 네트워크를 통해, 문장을 학습하는 단계; 및상기 대규모 네트워크와 지식 연결되는 복수의 소규모 네트워크들을 통해, 상기 대규모 네트워크로부터 전달되는 정보에 기반하여 학습하는 단계를 포함하고, 상기 정보는,상기 대규모 네트워크로부터 출력되는 단어 임베딩 벡터들의 분포를 기반으로 정의되는 컨텍스트 지식을 포함하는,컴퓨터 시스템의 방법
|
| 2 |
2
제 1 항에 있어서, 상기 컨텍스트 지식은, 상기 단어 임베딩 벡터들 사이의 거리 및 각도를 기반으로 결정되는, 컴퓨터 시스템의 방법
|
| 3 |
3
제 1 항에 있어서, 상기 단어 임베딩 벡터들은,복수의 계층들로 분포되고, 상기 계층들의 각각에는, 상이한 단어들에 대한 단어 임베딩 벡터들이 배치되고, 상기 계층들에 걸쳐, 동일한 단어에 대한 단어 임베딩 벡터들이 배치되는,컴퓨터 시스템의 방법
|
| 4 |
4
제 3 항에 있어서, 상기 컨텍스트 지식은,상기 계층들의 각각에서의 상기 상이한 단어들에 대한 단어 임베딩 벡터들 사이의 단어 관계를 포함하는,컴퓨터 시스템의 방법
|
| 5 |
5
제 4 항에 있어서, 상기 계층들의 각각의 상기 상이한 단어들에 대한 단어 임베딩 벡터들 사이에서 페어들과 트리플들이 결정되고, 상기 단어 관계는,상기 페어들을 각각 구성하는 단어 임베딩 벡터들 사이의 거리들로 정의되는 페어-와이즈 관계와 상기 트리플들을 각각 구성하는 단어 임베딩 벡터들 사이의 각도들로 정의되는 트리플-와이즈 관계의 합으로 정의되는,컴퓨터 시스템의 방법
|
| 6 |
6
제 3 항에 있어서, 상기 컨텍스트 지식은,상기 계층들에 걸친 상기 동일한 단어에 대한 단어 임베딩 벡터들 사이의 계층 변환 관계를 포함하는,컴퓨터 시스템의 방법
|
| 7 |
7
제 6 항에 있어서, 상기 계층들에 걸쳐 상기 동일한 단어에 대한 단어 임베딩 벡터들 사이에서 페어들과 트리플들이 결정되고, 상기 계층 변환 관계는,상기 페어들을 각각 구성하는 단어 임베딩 벡터들 사이의 거리들로 정의되는 페어-와이즈 관계와 상기 트리플들을 각각 구성하는 단어 임베딩 벡터들 사이의 각도들로 정의되는 트리플-와이즈 관계의 합으로 정의되는,컴퓨터 시스템의 방법
|
| 8 |
8
제 3 항에 있어서, 상기 단어 임베딩 벡터들의 상기 계층들의 수는,상기 대규모 네트워크에서의 계층들의 수로 결정되고,상기 컨텍스트 지식은,상기 대규모 네트워크에서의 계층들의 수와 상기 소규모 네트워크들의 각각에서의 계층들의 수가 상이하면, 상기 단어 임베딩 벡터들의 상기 계층들의 수를 상기 소규모 네트워크들의 각각에서의 계층들의 수와 일치시키는,컴퓨터 시스템의 방법
|
| 9 |
9
제 5 항 또는 제 7 항에 있어서, 상기 페어-와이즈 관계 및 상기 트리플-와이즈 관계는,상기 대규모 네트워크와 상기 소규모 네트워크들 사이에서 일치되는,컴퓨터 시스템의 방법
|
| 10 |
10
인공 신경망 모델에 지식 증류를 적용하는 컴퓨터 시스템에 있어서,메모리; 및상기 메모리와 연결되고, 상기 메모리에 저장된 적어도 하나의 명령을 실행하도록 구성되는 프로세서를 포함하고, 상기 프로세서는,문장을 학습하는 대규모 네트워크, 및 상기 대규모 네트워크와 지식 연결되고, 상기 대규모 네트워크로부터 전달되는 정보에 기반하여 학습하는 복수의 소규모 네트워크들을 포함하는 인공 신경망 모델을 포함하고, 상기 정보는, 상기 대규모 네트워크로부터 출력되는 단어 임베딩 벡터들의 분포를 기반으로 정의되는 컨텍스트 지식을 포함하는,컴퓨터 시스템
|
| 11 |
11
제 10 항에 있어서, 상기 프로세서는,상기 단어 임베딩 벡터들 사이의 거리 및 각도를 기반으로, 상기 컨텍스트 지식을 결정하도록 구성되는, 컴퓨터 시스템
|
| 12 |
12
제 10 항에 있어서, 상기 단어 임베딩 벡터들은,복수의 계층들로 분포되고, 상기 계층들의 각각에는, 상이한 단어들에 대한 단어 임베딩 벡터들이 배치되고, 상기 계층들에 걸쳐, 동일한 단어에 대한 단어 임베딩 벡터들이 배치되는,컴퓨터 시스템
|
| 13 |
13
제 12 항에 있어서, 상기 컨텍스트 지식은,상기 계층들의 각각에서의 상기 상이한 단어들에 대한 단어 임베딩 벡터들 사이의 단어 관계를 포함하는,컴퓨터 시스템
|
| 14 |
14
제 13 항에 있어서, 상기 프로세서는,상기 계층들의 각각의 상기 상이한 단어들에 대한 단어 임베딩 벡터들 사이에서 페어들과 트리플들을 결정하고, 상기 페어들을 각각 구성하는 단어 임베딩 벡터들 사이의 거리들로 정의되는 페어-와이즈 관계와 상기 트리플들을 각각 구성하는 단어 임베딩 벡터들 사이의 각도들로 정의되는 트리플-와이즈 관계의 합으로, 상기 단어 관계를 결정하도록 구성되는,컴퓨터 시스템
|
| 15 |
15
제 12 항에 있어서, 상기 컨텍스트 지식은,상기 계층들에 걸친 상기 동일한 단어에 대한 단어 임베딩 벡터들 사이의 계층 변환 관계를 포함하는,컴퓨터 시스템
|
| 16 |
16
제 15 항에 있어서, 상기 프로세서는,상기 계층들에 걸쳐 상기 동일한 단어에 대한 단어 임베딩 벡터들 사이에서 페어들과 트리플들을 결정하고, 상기 페어들을 각각 구성하는 단어 임베딩 벡터들 사이의 거리들로 정의되는 페어-와이즈 관계와 상기 트리플들을 각각 구성하는 단어 임베딩 벡터들 사이의 각도들로 정의되는 트리플-와이즈 관계의 합으로, 상기 계층 변환 관계를 결정하도록 구성되는,컴퓨터 시스템
|
| 17 |
17
제 12 항에 있어서, 상기 단어 임베딩 벡터들의 상기 계층들의 수는,상기 대규모 네트워크에서의 계층들의 수로 결정되고,상기 컨텍스트 지식은,상기 대규모 네트워크에서의 계층들의 수와 상기 소규모 네트워크들의 각각에서의 계층들의 수가 상이하면, 상기 단어 임베딩 벡터들의 상기 계층들의 수를 상기 소규모 네트워크들의 각각에서의 계층들의 수와 일치시키는,컴퓨터 시스템
|
| 18 |
18
제 14 항 또는 제 16 항에 있어서,상기 페어-와이즈 관계 및 상기 트리플-와이즈 관계는,상기 대규모 네트워크와 상기 소규모 네트워크들 사이에서 일치되는,컴퓨터 시스템
|
| 19 |
19
인공 신경망 모델에 지식 증류를 적용하는 방법을 컴퓨터 시스템에 실행시키기 위한 하나 이상의 프로그램을 저장하는 비-일시적인 컴퓨터 판독 가능한 기록 매체에 있어서,상기 방법은,대규모 네트워크를 통해, 문장을 학습하는 단계; 및상기 대규모 네트워크와 지식 연결되는 복수의 소규모 네트워크들을 통해, 상기 대규모 네트워크로부터 전달되는 정보에 기반하여 학습하는 단계를 포함하고, 상기 정보는,상기 대규모 네트워크로부터 출력되는 단어 임베딩 벡터들의 분포를 기반으로 정의되는 컨텍스트 지식을 포함하는,비-일시적인 컴퓨터 판독 가능한 기록 매체
|
| 20 |
20
제 19 항에 있어서,상기 컨텍스트 지식은, 상기 단어 임베딩 벡터들 사이의 거리 및 각도를 기반으로 결정되는, 비-일시적인 컴퓨터 판독 가능한 기록 매체
|
