| 1 |
1
워커 및 애그리게이터를 이용한 P-to-P 통신 기반의 비동기식 분산 딥러닝 수행 방법으로서,(a) 대상 노드의 애그리게이터가, 상기 대상 노드의 워커로부터 모델 파라미터에 기초하여 계산된 그래디언트를 수신하는 단계;(b) 상기 대상 노드의 애그리게이터가, 상기 대상 노드에서 학습된 미니 배치에 대한 제1크기 정보를 학습 정보 테이블에 기록하는 단계;(c) 상기 대상 노드의 애그리게이터가, 이웃 노드의 애그리게이터로부터 상기 이웃 노드에서 학습된 미니 배치에 대한 제2크기 정보를 수신하고, 상기 제2크기 정보에 기초하여 상기 학습 정보 테이블을 갱신하는 단계; 및(d) 상기 대상 노드의 애그리게이터가, 상기 학습 정보 테이블이 미리 설정된 그래디언트 공유 기준을 충족하는지 여부에 기초하여 상기 모델 파라미터를 갱신하는 단계,를 포함하는, 분산 딥러닝 수행 방법
|
| 2 |
2
제1항에 있어서,상기 (d) 단계에서 상기 그래디언트 공유 기준은,상기 갱신된 학습 정보 테이블에 기초하여 상기 대상 노드 및 상기 이웃 노드에서 누적하여 학습된 미니 배치의 크기가 미리 설정된 임계 크기 이상인 것으로 판단되면 충족되는 것인, 분산 딥러닝 수행 방법
|
| 3 |
3
제1항에 있어서,상기 (d) 단계에서 상기 그래디언트 공유 기준은,상기 갱신된 학습 정보 테이블에 기초하여 상기 대상 노드 및 상기 이웃 노드 각각이 적어도 1회 이상 미니 배치의 학습을 완료한 것으로 판단되면 충족되는 것인, 분산 딥러닝 수행 방법
|
| 4 |
4
제1항에 있어서,상기 (d) 단계는,(d1) 상기 이웃 노드의 애그리게이터로부터 상기 이웃 노드에서 계산된 그래디언트를 수신하는 단계; 및(d2) 상기 대상 노드의 워커로부터 수신한 그래디언트 및 상기 이웃 노드에서 계산된 그래디언트에 기초하여 상기 모델 파라미터를 갱신하는 단계,를 포함하는 것인, 분산 딥러닝 수행 방법
|
| 5 |
5
제1항에 있어서,상기 (a) 내지 (d) 단계는,소정의 딥러닝 모델에 대한 학습이 완료될 때까지 반복 수행되는 것을 특징으로 하는, 분산 딥러닝 수행 방법
|
| 6 |
6
제1항에 있어서,상기 (d) 단계 이후에,(e) 상기 대상 노드의 애그리게이터가, 상기 대상 노드의 워커로 상기 갱신된 모델 파라미터를 전송하는 단계,를 더 포함하는 것인, 분산 딥러닝 수행 방법
|
| 7 |
7
워커 및 애그리게이터를 이용한 P-to-P 통신 기반의 비동기식 분산 딥러닝 수행 방법으로서,(a) 어느 하나의 노드에 속하는 복수의 워커 중 대상 워커가, 모델 파라미터에 기초하여 제1그래디언트를 계산하는 단계;(b) 상기 대상 워커가, 상기 복수의 워커 중 이웃 워커로부터 상기 이웃 워커가 계산한 제2그래디언트를 수신하는 단계; 및(c) 상기 대상 워커가, 상기 어느 하나의 노드의 애그리게이터로 상기 제1그래디언트 및 상기 제2그래디언트를 전송하는 단계,를 포함하는 것인, 분산 딥러닝 수행 방법
|
| 8 |
8
제7항에 있어서,상기 (a) 내지 (c) 단계는,소정의 딥러닝 모델에 대한 학습이 완료될 때까지 반복 수행되되,상기 (a) 단계 이전에,상기 대상 워커가, 상기 애그리게이터에 의해 상기 모델 파라미터가 갱신된 경우, 상기 애그리게이터로부터 상기 갱신된 모델 파라미터를 수신하는 단계,를 더 포함하고,상기 (a) 단계는,상기 갱신된 모델 파라미터에 기초하여 수행되는 것인, 분산 딥러닝 수행 방법
|
| 9 |
9
P-to-P 통신 기반의 비동기식 분산 딥러닝 수행 시스템의 애그리게이터 장치로서,상기 애그리게이터 장치는 워커 및 애그리게이터를 포함하는 복수의 노드 중 대상 노드의 애그리게이터이고,상기 대상 노드의 워커로부터 모델 파라미터에 기초하여 계산된 그래디언트를 수신하는 워커 통신부;상기 대상 노드에서 학습된 미니 배치에 대한 제1크기 정보를 학습 정보 테이블에 기록하고, 이웃 노드의 애그리게이터로부터 상기 이웃 노드에서 학습된 미니 배치에 대한 제2크기 정보를 수신하여 상기 학습 정보 테이블을 갱신하는 테이블 관리부; 및상기 학습 정보 테이블이 미리 설정된 그래디언트 공유 기준을 충족하는지 여부에 기초하여 상기 모델 파라미터를 갱신하는 파라미터 갱신부,를 포함하는, 애그리게이터 장치
|
| 10 |
10
제9항에 있어서,상기 파라미터 갱신부는,상기 갱신된 학습 정보 테이블에 기초하여 상기 대상 노드 및 상기 이웃 노드에서 누적하여 학습된 미니 배치의 크기가 미리 설정된 임계 크기 이상이면 상기 그래디언트 공유 기준을 충족하는 것으로 판단하는 것인, 애그리게이터 장치
|
| 11 |
11
제9항에 있어서,상기 파라미터 갱신부는,상기 갱신된 학습 정보 테이블에 기초하여 상기 대상 노드 및 상기 이웃 노드 각각이 적어도 1회 이상 미니 배치의 학습을 완료한 것으로 판단되면 상기 그래디언트 공유 기준을 충족하는 것으로 판단하는 것인, 애그리게이터 장치
|
| 12 |
12
제9항에 있어서,상기 파라미터 갱신부는,상기 이웃 노드의 애그리게이터로부터 상기 이웃 노드에서 계산된 그래디언트를 수신하고, 상기 대상 노드의 워커로부터 수신한 그래디언트 및 상기 이웃 노드에서 계산된 그래디언트에 기초하여 상기 모델 파라미터를 갱신하는 것인, 애그리게이터 장치
|
| 13 |
13
제9항에 있어서,상기 워커 통신부는,상기 대상 노드의 워커로 상기 갱신된 모델 파라미터를 전송하는 것인, 애그리게이터 장치
|
| 14 |
14
P-to-P 통신 기반의 비동기식 분산 딥러닝 수행 시스템의 워커 장치로서,상기 워커 장치는 상기 분산 딥러닝 수행 시스템의 어느 하나의 노드에 속하는 복수의 워커 중 대상 워커이고,모델 파라미터에 기초하여 제1그래디언트를 계산하는 그래디언트 계산부;상기 복수의 워커 중 이웃 워커로부터 상기 이웃 워커가 계산한 제2그래디언트를 수신하는 그래디언트 수신부; 및상기 어느 하나의 노드의 애그리게이터로 상기 제1그래디언트 및 상기 제2그래디언트를 전송하는 그래디언트 송신부,를 포함하는, 워커 장치
|
