| 1 |
1
단어 임베딩(word embedding)을 수행하는 전자장치에 있어서,저장부; 및기설정된 크기를 갖는 슬라이딩 윈도우에 포함되는 복수의 단어에 대한 복수의 임베딩 벡터 값을 제1 인공 신경망으로부터 출력하여 상기 복수의 임베딩 벡터 값의 평균 값을 획득하고, 상기 복수의 임베딩 벡터 값의 상기 평균을 제2 인공 신경망으로 입력하고, 상기 제2 인공 신경망이 상기 슬라이딩 윈도우 내 중심 단어의 임베딩 벡터 값을 출력하도록 학습하는 프로세서;를 포함하는, 전자장치
|
| 2 |
2
제1항에 있어서,상기 슬라이딩 윈도우에 포함되는 상기 복수의 단어 중 하나의 임베딩 벡터 값은,상기 복수의 단어 중 상기 하나에 대한 적어도 하나의 서브워드(subword)에 대한 벡터 값 및 상기 복수의 단어 중 상기 하나에 대한 벡터 값을 합한 값인, 전자장치
|
| 3 |
3
제2항에 있어서,상기 제1 인공 신경망은 FastText 모듈이고,상기 서브워드는 상기 FastText 모듈에서 정의되는 n-gram인, 전자장치
|
| 4 |
4
제3항에 있어서,상기 FastText 모듈은,단어 집합 크기의 영벡터에서 해당 단어의 인덱스 위치만 1 값을 갖는 원-핫 인코딩(one-hot encoding)의 결과를 입력으로 하는, 전자장치
|
| 5 |
5
제3항에 있어서,상기 FastText 모듈은,상기 슬라이딩 윈도우가 5로 설정되고, 임베딩 벡터의 크기가 300차원으로 설정된, 전자장치
|
| 6 |
6
제1항에 있어서,상기 슬라이딩 윈도우 내 상기 중심 단어는,훈련 데이터 집합에 포함된 등록 어휘 또는 상기 훈련 데이터 집합에 미포함된 미등록 어휘(out-of-vocabulary; OOV) 중 하나인, 전자장치
|
| 7 |
7
제6항에 있어서,상기 슬라이딩 윈도우 내 상기 중심 단어가 상기 미등록 어휘인 경우, 상기 중심 단어의 임베딩 벡터 값은 영-벡터로 설정되는, 전자장치
|
| 8 |
8
제1항에 있어서,상기 제2 인공 신경망은 희소 오토인코더(sparse autoencoder) 모듈인, 전자장치
|
| 9 |
9
제1항에 있어서,상기 슬라이딩 윈도우 내 중심 단어의 상기 임베딩 벡터 값은, 실수 값인, 전자장치
|
| 10 |
10
제1항에 있어서,상기 슬라이딩 윈도우에 포함되는 상기 복수의 단어는, 단일 문장에 포함되는, 전자장치
|
| 11 |
11
단어 임베딩(word embedding)을 수행하는 전자장치의 동작방법에 있어서,기설정된 크기를 갖는 슬라이딩 윈도우에 포함되는 복수의 단어에 대한 복수의 임베딩 벡터 값을 제1 인공 신경망으로부터 출력하여 상기 복수의 임베딩 벡터 값의 평균 값을 획득하는 과정; 및상기 복수의 임베딩 벡터 값의 상기 평균을 제2 인공 신경망으로 입력하고, 상기 제2 인공 신경망이 상기 슬라이딩 윈도우 내 중심 단어의 임베딩 벡터 값을 출력하도록 학습하는 과정;을 포함하는, 전자장치의 동작방법
|
| 12 |
12
제11항에 있어서,상기 슬라이딩 윈도우에 포함되는 상기 복수의 단어 중 하나의 임베딩 벡터 값은,상기 복수의 단어 중 상기 하나에 대한 적어도 하나의 서브워드(subword)에 대한 벡터 값 및 상기 복수의 단어 중 상기 하나에 대한 벡터 값을 합한 값인, 전자장치의 동작방법
|
| 13 |
13
제12항에 있어서,상기 제1 인공 신경망은, FastText 모듈이고,상기 서브워드는, 상기 FastText 모듈에서 정의되는 n-gram인, 전자장치의 동작방법
|
| 14 |
14
제13항에 있어서,상기 FastText 모듈은,단어 집합 크기의 영벡터에서 해당 단어의 인덱스 위치만 1 값을 갖는 원-핫 인코딩(one-hot encoding)의 결과를 입력으로 하는, 전자장치의 동작방법
|
| 15 |
15
제13항에 있어서,상기 FastText 모듈은,상기 슬라이딩 윈도우가 5로 설정되고, 임베딩 벡터의 크기가 300차원으로 설정된, 전자장치의 동작방법
|
| 16 |
16
제11항에 있어서,상기 슬라이딩 윈도우 내 상기 중심 단어는,훈련 데이터 집합에 포함된 등록 어휘 또는 상기 훈련 데이터 집합에 미포함된 미등록 어휘(out-of-vocabulary; OOV) 중 하나인, 전자장치의 동작방법
|
| 17 |
17
제16항에 있어서,상기 슬라이딩 윈도우 내 상기 중심 단어가 상기 미등록 어휘인 경우, 상기 중심 단어의 임베딩 벡터 값은 영-벡터로 설정되는, 전자장치의 동작방법
|
| 18 |
18
제11항에 있어서,상기 제2 인공 신경망은 희소 오토인코더(sparse autoencoder) 모듈인, 전자장치의 동작방법
|
| 19 |
19
제11항에 있어서,상기 슬라이딩 윈도우 내 중심 단어의 상기 임베딩 벡터 값은, 실수 값인, 전자장치의 동작방법
|
| 20 |
20
제11항에 있어서,상기 슬라이딩 윈도우에 포함되는 상기 복수의 단어는, 단일 문장에 포함되는, 전자장치의 동작방법
|
| 21 |
21
전자장치의 프로세서에 의해 실행되는 경우 상기 전자장치의 동작을 수행하도록 하는 컴퓨터 명령을 저장하는 비일시적 컴퓨터 판독 가능 매체에 있어서, 상기 동작은,기설정된 크기를 갖는 슬라이딩 윈도우에 포함되는 복수의 단어에 대한 복수의 임베딩 벡터 값을 제1 인공 신경망으로부터 출력하여 상기 복수의 임베딩 벡터 값의 평균 값을 획득하는 과정; 및상기 복수의 임베딩 벡터 값의 상기 평균을 제2 인공 신경망으로 입력하고, 상기 제2 인공 신경망이 상기 슬라이딩 윈도우 내 중심 단어의 임베딩 벡터 값을 출력하도록 학습하는 과정;을 포함하는, 비일시적 컴퓨터 판독 가능 매체
|
