| 1 |
1
연합 학습 방법으로서,단말에 의해, 서버로부터 글로벌 모델의 제 1 세트의 파라미터에 대한 글로벌 파라미터 값을 획득하는 단계;상기 단말에 의해, 로컬 데이터에 기반하여 로컬 모델을 훈련하여, 상기 제 1 세트의 파라미터 중 적어도 일부에 대응하는 제 2 세트의 파라미터에 대한 로컬 파라미터 값을 결정하는 단계;상기 단말에 의해, 상기 글로벌 파라미터 값 및 상기 로컬 파라미터 값에 기반하여 상기 제 2 세트의 파라미터에 대한 로컬 업데이트 값을 결정하는 단계; 및상기 단말에 의해, 상기 제 2 세트의 파라미터에 대한 로컬 업데이트 값을 상기 서버에게 전송하는 단계를 포함하고,상기 로컬 파라미터 값을 결정하는 단계는,상기 단말에 의해, 상기 로컬 업데이트 값과 연계된 정규화항(regularizer) 및 상기 정규화항에 대한 가중치에 의해 정의되는 연산항을 포함하는 로컬 목적 함수에 기반하여 상기 로컬 파라미터 값을 결정하는,연합 학습 방법
|
| 2 |
2
제 1 항에 있어서,상기 로컬 파라미터 값을 결정하는 단계는,상기 단말에 의해, 상기 단말의 로컬 데이터의 양에 기반하여 상기 가중치를 결정하는 단계를 포함하는,연합 학습 방법
|
| 3 |
3
제 1 항에 있어서,상기 로컬 업데이트 값을 결정하는 단계는,상기 단말에 의해, 상기 글로벌 파라미터 값 및 상기 로컬 파라미터 값의 차분값을 상기 로컬 업데이트 값으로 결정하는 단계를 포함하는,연합 학습 방법
|
| 4 |
4
제 1 항에 있어서,상기 로컬 업데이트 값은 희소 행렬(sparse matrix) 또는 희소 벡터(sparse vector)로 표현되는,연합 학습 방법
|
| 5 |
5
제 1 항에 있어서,상기 정규화항은 상기 글로벌 파라미터 값 및 상기 제 2 세트의 파라미터에 대한 로컬 파라미터 값에 기반한 L1-norm으로 정의되는,연합 학습 방법
|
| 6 |
6
연합 학습 방법으로서,서버에 의해, 글로벌 모델의 제 1 세트의 파라미터에 대한 글로벌 파라미터 값을 복수의 단말에게 전송하는 단계;상기 서버에 의해, 상기 복수의 단말 중 적어도 일부로부터 상기 제 1 세트의 파라미터 중 적어도 일부에 대응하는 제 2 세트의 파라미터에 대한 로컬 업데이트 값을 수신하는 단계; 및상기 서버에 의해, 상기 로컬 업데이트 값에 기반하여 상기 글로벌 모델을 업데이트하는 단계를 포함하고,상기 로컬 업데이트 값은,상기 글로벌 파라미터 값 및상기 로컬 업데이트 값과 연계된 정규화항 및 상기 정규화항에 대한 가중치에 의해 정의되는 연산항을 포함하는 로컬 목적 함수에 기반하여 결정된 상기 제 2 세트의 파라미터에 대한 로컬 파라미터 값에 기반하여 상기 단말에 의해 결정된 값인,연합 학습 방법
|
| 7 |
7
제 6 항에 있어서,상기 가중치는, 연합 학습이 진행되는 동안 모든 로컬 모델에 있어 동일하게 결정되거나 상기 단말의 로컬 데이터의 양에 기반하여 결정되는,연합 학습 방법
|
| 8 |
8
제 6 항에 있어서,상기 로컬 업데이트 값은, 상기 글로벌 파라미터 값 및 상기 로컬 파라미터 값의 차분값에 따라 결정되는,연합 학습 방법
|
| 9 |
9
제 6 항에 있어서,상기 정규화항은 상기 글로벌 파라미터 값 및 상기 로컬 파라미터 값에 기반한 L1-norm으로 정의되는,연합 학습 방법
|
| 10 |
10
단말로서,로컬 데이터 및 로컬 모델을 저장하는 메모리; 및프로세서를 포함하고,상기 프로세서는,서버로부터 글로벌 모델의 제 1 세트의 파라미터에 대한 글로벌 파라미터 값을 획득하고,상기 로컬 데이터에 기반하여 상기 로컬 모델을 훈련하여, 상기 제 1 세트의 파라미터 중 적어도 일부에 대응하는 제 2 세트의 파라미터에 대한 로컬 파라미터 값을 결정하고,상기 글로벌 파라미터 값 및 상기 로컬 파라미터 값에 기반하여 상기 제 2 세트의 파라미터에 대한 로컬 업데이트 값을 결정하고,상기 제 2 세트의 파라미터에 대한 로컬 업데이트 값을 상기 서버에게 전송하고,상기 로컬 파라미터 값을 결정하기 위하여,상기 로컬 업데이트 값과 연계된 정규화항(regularizer) 및 상기 정규화항에 대한 가중치에 의해 정의되는 연산항을 포함하는 로컬 목적 함수를 이용하도록 구성되는,단말
|
| 11 |
11
제 10 항에 있어서,상기 프로세서는,상기 로컬 파라미터 값을 결정하기 위하여,연합 학습이 진행되는 동안 모든 로컬 모델에 있어 동일하게 상기 가중치를 결정하거나 또는 상기 로컬 데이터의 양에 기반하여 상기 가중치를 결정하도록 구성되는,단말
|
| 12 |
12
제 10 항에 있어서,상기 프로세서는,상기 로컬 업데이트 값을 결정하기 위하여,상기 글로벌 파라미터 값 및 상기 로컬 파라미터 값의 차분값을 상기 로컬 업데이트 값으로 결정하도록 구성되는,단말
|
| 13 |
13
제 10 항에 있어서,상기 로컬 업데이트 값은 희소 행렬 또는 희소 벡터로 표현되는,단말
|
| 14 |
14
제 10 항에 있어서,상기 정규화항은 상기 글로벌 파라미터 값 및 상기 제 2 세트의 파라미터에 대한 로컬 파라미터 값에 기반한 L1-norm으로 정의되는,단말
|
| 15 |
15
서버로서,글로벌 모델을 저장하는 메모리; 및프로세서를 포함하고,상기 프로세서는,상기 글로벌 모델의 제 1 세트의 파라미터에 대한 글로벌 파라미터 값을 복수의 단말에게 전송하고,상기 복수의 단말 중 적어도 일부로부터 상기 제 1 세트의 파라미터 중 적어도 일부에 대응하는 제 2 세트의 파라미터에 대한 로컬 업데이트 값을 수신하고,상기 로컬 업데이트 값에 기반하여 상기 글로벌 모델을 업데이트하도록 구성되고,상기 로컬 업데이트 값은,상기 글로벌 파라미터 값 및상기 로컬 업데이트 값과 연계된 정규화항 및 상기 정규화항에 대한 가중치에 의해 정의되는 연산항을 포함하는 로컬 목적 함수에 기반하여 결정된 상기 제 2 세트의 파라미터에 대한 로컬 파라미터 값에 기반하여 상기 단말에 의해 결정된 값인,서버
|
| 16 |
16
제 15 항에 있어서,상기 프로세서는,연합 학습이 진행되는 동안 모든 로컬 모델에 있어 동일하게 상기 가중치를 결정하거나 상기 단말의 로컬 데이터의 양에 기반하여 상기 가중치를 결정하도록 구성되는,서버
|
| 17 |
17
제 15 항에 있어서,상기 로컬 업데이트 값은, 상기 글로벌 파라미터 값 및 상기 로컬 파라미터 값의 차분값에 따라 각 단말에 의해 결정되는,서버
|
| 18 |
18
제 15 항에 있어서,상기 정규화항은 상기 글로벌 파라미터 값 및 상기 로컬 파라미터 값에 기반한 L1-norm으로 정의되는,서버
|
