| 1 |
1
비대칭 통신 기반의 분산 학습 시스템에 있어서,로컬 데이터를 이용하여 학습 모델을 학습함에 따라 계산된 학습 결과에 기초하여 업데이트된 글로벌 파라미터와 워커의 로컬 파라미터를 가중 평균(weighted average)하여 로컬 파라미터를 업데이트하는 복수의 워커; 및상기 복수의 워커에서 계산된 학습 결과에 기초하여 업데이트된 글로벌 파라미터를 비대칭 통신을 통해 기 정의된 업데이트 룰에 따라 복수의 워커로 전송하는 파라미터 서버를 포함하는 분산 학습 시스템
|
| 2 |
2
제1항에 있어서,상기 복수의 워커는, 상기 로컬 데이터를 이용하여 학습 모델을 학습시킴에 따라 그레디언트를 계산하고, 상기 계산한 그레이디언트로 상기 복수의 워커의 각각에 대한 로컬 파라미터를 업데이트하는 것을 특징으로 하는 분산 학습 시스템
|
| 3 |
3
제1항에 있어서,상기 복수의 워커는, 상기 파라미터 서버로부터 업데이트된 글로벌 파라미터가 전송될 경우, 상기 업데이트된 글로벌 파라미터와 워커의 로컬 파라미터를 가중 평균(weighted average)하여 워커의 로컬 파라미터를 업데이트하는 것을 특징으로 하는 분산 학습 시스템
|
| 4 |
4
제1항에 있어서,상기 복수의 워커는, 상기 파라미터 서버로부터 업데이트된 글로벌 파라미터가 전송되지 않을 경우, 상기 학습에 대한 다음 학습 과정을 진행하는것을 특징으로 하는 분산 학습 시스템
|
| 5 |
5
제1항에 있어서,상기 파라미터 서버는, 상기 복수의 워커에서 계산된 그레이디언트를 수집하고, 상기 수집된 그레디언트를 이용하여 글로벌 파라미터를 업데이트하는 것을 특징으로 하는 분산 학습 시스템
|
| 6 |
6
제5항에 있어서,상기 파라미터 서버는, 상기 복수의 워커에 대하여 수집된 그레디언트를 이용하여 분산 학습에서 손실함수를 최소화하는 글로벌 파라미터를 탐색하고, 상기 탐색된 글로벌 파라미터를 업데이트 주기마다 상기 복수의 워커에게 전송하는 것을 특징으로 하는 분산 학습 시스템
|
| 7 |
7
워커에서 수행되는 비대칭 통신 기반의 분산 학습 방법에 있어서,로컬 데이터를 이용하여 학습 모델을 학습함에 따라 학습 결과를 계산하는 단계;상기 계산된 학습 결과를 파라미터 서버로 전달하는 단계; 및 상기 파라미터 서버로부터 업데이트된 글로벌 파라미터를 비대칭 통신을 통해 기 정의된 파라미터 업데이트 룰에 기초하여 수신하는 단계 를 포함하고,상기 수신하는 단계에서, 상기 업데이트된 글로벌 파라미터와 워커의 로컬 파라미터가 가중 평균(weighted average)되어 상기 워커의 로컬 파라미터가 업데이트되는분산 학습 방법
|
| 8 |
8
제7항에 있어서,상기 계산하는 단계는,제1 학습 과정에서 상기 복수의 워커가 로컬 데이터를 이용하여 학습 모델을 학습시킴에 따라 그레디언트를 계산하고, 상기 계산한 그레이디언트로 상기 복수의 워커의 각각에 대한 로컬 파라미터를 업데이트하는 단계를 포함하는 분산 학습 방법
|
| 9 |
9
제7항에 있어서,상기 수신하는 단계는,상기 파라미터 서버로부터 업데이트된 글로벌 파라미터가 전송됨을 수신할 경우, 상기 업데이트된 글로벌 파라미터와 워커의 로컬 파라미터를 가중 평균(weighted average)하여 워커의 로컬 파라미터를 업데이트하고, 상기 파라미터 서버로부터 업데이트된 글로벌 파라미터가 전송되지 않을 경우, 제2 학습 과정을 진행하는 단계를 포함하는 분산 학습 방법
|
| 10 |
10
파라미터 서버에 의해 수행되는 비대칭 분산 학습 방법에 있어서, 복수의 워커에서 로컬 데이터를 이용하여 학습 모델을 학습함에 따라 계산된 학습 결과를 수집하는 단계;상기 수집된 학습 결과를 이용하여 글로벌 파라미터를 업데이트하는 단계; 및 기 설정된 업데이트 룰에 기초하여 비대칭 통신을 통해 상기 업데이트된 글로벌 파라미터를 복수의 워커로 전송하는 단계를 포함하고,상기 전송하는 단계에서, 상기 복수의 워커로 전송된 업데이트된 글로벌 파라미터와 상기 복수의 워커의 로컬 파라미터가 가중 평균(weighted average)되어 상기 복수의 워커의 로컬 파라미터가 업데이트되는를 포함하는 분산 학습 방법
|
| 11 |
11
제10항에 있어서,상기 업데이트하는 단계는,상기 복수의 워커에서 계산된 그레이디언트를 수집하고, 상기 수집된 그레디언트를 이용하여 분산 학습에서 손실함수를 최소화하는 글로벌 파라미터를 탐색하는 단계 를 포함하는 분산 학습 방법
|
| 12 |
12
제10항에 있어서,상기 전송하는 단계는,상기 수집된 그레디언트를 이용하여 분산 학습에서 손실함수를 최소화하기 위하여 탐색된 글로벌 파라미터를 업데이트 주기마다 상기 복수의 워커에게 전송하는 단계를 포함하는 분산 학습 방법
|
