| 1 |
1
문서 임베딩(document embedding)을 생성하는 장치에 있어서,뉴럴 네트워크(neural network)를 구현하기 위한 프로그램을 저장하는 메모리; 및상기 프로그램을 실행함으로써 상기 문서 임베딩을 생성하는 프로세서를 포함하고,상기 프로세서는,제1 도메인 및 제2 도메인 중 어느 하나에 포함되는 문서들 각각의 문서 임베딩 초기값, 및 상기 문서들에 포함되는 전체 워드들 각각의 워드 임베딩 초기값을 설정하고,상기 뉴럴 네트워크에 대하여 상기 제1 도메인 및 상기 제2 도메인 간의 도메인 적응(domain adaptation)을 위한 제1 트레이닝을 수행함으로써 상기 워드 임베딩 초기값을 워드 임베딩 최종값으로 업데이트하고,상기 워드 임베딩 최종값에 기초하여 상기 뉴럴 네트워크에 대하여 상기 도메인 적응을 위한 제2 트레이닝을 수행함으로써 상기 문서 임베딩 초기값을 문서 임베딩 최종값으로 업데이트하는, 장치
|
| 2 |
2
제 1항에 있어서,상기 프로세서는,상기 문서들 각각을 순차적으로 학습 대상 문서로 설정하고,상기 학습 대상 문서에 포함되는 워드들 각각을 순차적으로 중심 워드로, 상기 중심 워드로부터 일정 범위 내에 위치하는 워드들을 컨텍스트 워드(context word)들로 설정하고,상기 학습 대상 문서가 어떤 도메인에 포함되는지에 따라 상기 제1 도메인 및 상기 제2 도메인 중 어느 하나로부터 네거티브 샘플(negative sample)들을 추출하고,상기 중심 워드, 상기 컨텍스트 워드들 및 상기 네거티브 샘플들 상호간의 유사도에 기초하여 상기 제1 트레이닝을 수행하는, 장치
|
| 3 |
3
제 2항에 있어서,상기 프로세서는,상기 학습 대상 문서가 상기 제1 도메인에 포함되는 경우 상기 제1 도메인의 워드 빈도(word frequency)에 기초하여 설정되는 노이즈 분포에 따라 상기 네거티브 샘플들을 추출하고,상기 학습 대상 문서가 상기 제2 도메인에 포함되는 경우 상기 제2 도메인의 워드 빈도에 기초하여 설정되는 노이즈 분포에 따라 상기 네거티브 샘플들을 추출하는, 장치
|
| 4 |
4
제 2항에 있어서,상기 프로세서는,상기 중심 워드의 워드 임베딩 및 상기 컨텍스트 워드들 각각의 워드 임베딩 간의 거리는 감소하고, 상기 중심 워드의 워드 임베딩 및 상기 네거티브 샘플들 각각의 워드 임베딩 간의 거리는 증가하도록 상기 제1 트레이닝을 수행하는, 장치
|
| 5 |
5
제 1항에 있어서,상기 프로세서는,상기 문서들 각각을 순차적으로 학습 대상 문서로 설정하고,상기 학습 대상 문서가 어떤 도메인에 포함되는지에 따라 상기 제1 도메인 및 상기 제2 도메인 중 어느 하나로부터 네거티브 샘플들을 추출하고,상기 학습 대상 문서에 포함되는 워드들 각각의 워드 임베딩 최종값 및 상기 네거티브 샘플들 각각의 워드 임베딩 최종값에 기초하여 상기 학습 대상 문서의 문서 임베딩을 업데이트함으로써 상기 제2 트레이닝을 수행하는, 장치
|
| 6 |
6
제 5항에 있어서,상기 프로세서는,상기 학습 대상 문서가 상기 제1 도메인에 포함되는 경우 상기 제1 도메인의 워드 빈도에 기초하여 설정되는 노이즈 분포에 따라 상기 네거티브 샘플들을 추출하고,상기 학습 대상 문서가 상기 제2 도메인에 포함되는 경우 상기 제2 도메인의 워드 빈도에 기초하여 설정되는 노이즈 분포에 따라 상기 네거티브 샘플들을 추출하는, 장치
|
| 7 |
7
제 1항에 있어서,상기 프로세서는,상기 문서들에 포함되는 전체 워드들 중 등장 횟수가 미니멈 카운트(minimum count) 이상인 워드들에 대해서만 상기 워드 임베딩 초기값을 설정하는, 장치
|
| 8 |
8
제 1항에 있어서,상기 뉴럴 네트워크는,중심 워드로부터 일정 범위 내에 위치하는 컨텍스트 워드들에 대한 원 핫벡터(one-hot vector)들을 출력하는 입력 레이어;상기 원 핫 벡터들 및 입력 임베딩 행렬에 대한 제1 연산의 결과를 출력하는 히든 레이어; 및상기 제1 연산의 결과 및 출력 임베딩 행렬에 대한 제2 연산의 결과로서 상기 전체 워드들 각각이 상기 중심 워드에 해당할 확률을 출력하는 출력 레이어를 포함하는, 장치
|
| 9 |
9
뉴럴 네트워크(neural network)를 구현하기 위한 프로그램을 실행함으로써 문서 임베딩(document embedding)을 생성하는 방법에 있어서,제1 도메인 및 제2 도메인 중 어느 하나에 포함되는 문서들 각각에 대한 문서 임베딩 초기값, 및 상기 문서들에 포함되는 전체 워드들 각각에 대한 워드 임베딩 초기값을 설정하는 단계;상기 뉴럴 네트워크에 대하여 상기 제1 도메인 및 상기 제2 도메인 간의 도메인 적응(domain adaptation)을 위한 제1 트레이닝을 수행함으로써 상기 워드 임베딩 초기값을 워드 임베딩 최종값으로 업데이트하는 단계; 및상기 워드 임베딩 최종값에 기초하여 상기 뉴럴 네트워크에 대하여 상기 도메인 적응을 위한 제2 트레이닝을 수행함으로써 상기 문서 임베딩 초기값을 문서 임베딩 최종값으로 업데이트하는 단계를 포함하는, 방법
|
| 10 |
10
제 9항에 있어서,상기 워드 임베딩 최종값으로 업데이트하는 단계는,상기 문서들 각각을 순차적으로 학습 대상 문서로 설정하는 단계;상기 학습 대상 문서에 포함되는 워드들 각각을 순차적으로 중심 워드로, 상기 중심 워드로부터 일정 범위 내에 위치하는 워드들을 컨텍스트 워드(context word)들로 설정하는 단계;상기 학습 대상 문서가 어떤 도메인에 포함되는지에 따라 상기 제1 도메인 및 상기 제2 도메인 중 어느 하나로부터 네거티브 샘플(negative sample)들을 추출하는 단계; 및상기 중심 워드, 상기 컨텍스트 워드들 및 상기 네거티브 샘플들 상호간의 유사도에 기초하여 상기 제1 트레이닝을 수행하는 단계를 포함하는, 방법
|
| 11 |
11
제 10항에 있어서,상기 네거티브 샘플들을 추출하는 단계는,상기 학습 대상 문서가 상기 제1 도메인에 포함되는 경우 상기 제1 도메인의 워드 빈도(word frequency)에 기초하여 설정되는 노이즈 분포에 따라 상기 네거티브 샘플들을 추출하는 단계; 및상기 학습 대상 문서가 상기 제2 도메인에 포함되는 경우 상기 제2 도메인의 워드 빈도에 기초하여 설정되는 노이즈 분포에 따라 상기 네거티브 샘플들을 추출하는 단계를 포함하는, 방법
|
| 12 |
12
제 10항에 있어서,상기 제1 트레이닝을 수행하는 단계는,상기 중심 워드의 워드 임베딩 및 상기 컨텍스트 워드들 각각의 워드 임베딩 간의 거리는 감소하고, 상기 중심 워드의 워드 임베딩 및 상기 네거티브 샘플들 각각의 워드 임베딩 간의 거리는 증가하도록 상기 제1 트레이닝을 수행하는 단계를 포함하는, 방법
|
| 13 |
13
제 9항에 있어서,상기 문서 임베딩 최종값으로 업데이트하는 단계는,상기 문서들 각각을 순차적으로 학습 대상 문서로 설정하는 단계;상기 학습 대상 문서가 어떤 도메인에 포함되는지에 따라 상기 제1 도메인 및 상기 제2 도메인 중 어느 하나로부터 네거티브 샘플들을 추출하는 단계; 및상기 학습 대상 문서에 포함되는 워드들 각각의 워드 임베딩 최종값 및 상기 네거티브 샘플들 각각의 워드 임베딩 최종값에 기초하여 상기 학습 대상 문서의 문서 임베딩을 업데이트함으로써 상기 제2 트레이닝을 수행하는 단계를 포함하는, 방법
|
| 14 |
14
제 13항에 있어서,상기 네거티브 샘플들을 추출하는 단계는,상기 학습 대상 문서가 상기 제1 도메인에 포함되는 경우 상기 제1 도메인의 워드 빈도에 기초하여 설정되는 노이즈 분포에 따라 상기 네거티브 샘플들을 추출하는 단계; 및상기 학습 대상 문서가 상기 제2 도메인에 포함되는 경우 상기 제2 도메인의 워드 빈도에 기초하여 설정되는 노이즈 분포에 따라 상기 네거티브 샘플들을 추출하는 단계를 포함하는, 방법
|
| 15 |
15
제 1항에 있어서,상기 워드 임베딩 초기값을 설정하는 단계는,상기 문서들에 포함되는 전체 워드들 중 등장 횟수가 미니멈 카운트(minimum count) 이상인 워드들에 대해서만 상기 워드 임베딩 초기값을 설정하는 단계를 포함하는, 방법
|
| 16 |
16
제 9항에 있어서,상기 뉴럴 네트워크는,중심 워드로부터 일정 범위 내에 위치하는 컨텍스트 워드들에 대한 원 핫벡터(one-hot vector)들을 출력하는 입력 레이어;상기 원 핫 벡터들 및 입력 임베딩 행렬에 대한 제1 연산의 결과를 출력하는 히든 레이어; 및상기 제1 연산의 결과 및 출력 임베딩 행렬에 대한 제2 연산의 결과로서 상기 전체 워드들 각각이 상기 중심 워드에 해당할 확률을 출력하는 출력 레이어를 포함하는, 장치
|
