| 1 |
1
기 저장된 제1 로컬 모델로부터 복수의 제2 로컬 모델을 생성하고, 상기 복수의 제2 로컬 모델의 파라미터를 중첩 코딩하여 서버로 전송하는 단말; 및중첩 코딩된 복수의 제2 로컬 모델의 파라미터를 수신하여 디코딩하고, 디코딩된 파라미터를 집계(aggregates)하여 글로벌 모델을 생성하며, 상기 글로벌 모델의 파라미터를 상기 단말로 전송하는 서버를 포함하고, 상기 단말은, 상기 글로벌 모델의 파라미터에 기초하여 상기 제1 로컬 모델을 업데이트하고, 상기 제1 로컬 모델로부터 너비 변경이 가능한 인공지능 알고리즘을 기초로 상기 복수의 제2 로컬 모델을 생성하되,상기 복수의 제2 로컬 모델의 너비는 상기 제1 로컬 모델의 너비 이하이며,상기 복수의 제2 로컬 모델은, 상기 제1 로컬 모델의 절반 너비를 갖는 하프(Half) 제2 로컬 모델 및 상기 제1 로컬 모델의 전체 너비를 갖는 풀(full) 제2 로컬 모델 중 적어도 하나를 포함하고, 상기 하프 제2 로컬 모델은, 상기 제1 로컬 모델의 왼쪽 절반에 대응되는 LH-제2 로컬 모델 및 상기 제1 로컬 모델의 오른쪽 절반에 대응되는 RH-제2 로컬 모델을 포함하는 것을 특징으로 하는 연합 학습 시스템
|
| 2 |
2
삭제
|
| 3 |
3
삭제
|
| 4 |
4
제1항에 있어서, 상기 서버는, 상기 중첩 코딩된 복수의 제2 로컬 모델의 파라미터를 연속적으로 디코딩하되
|
| 5 |
5
제4항에 있어서, 상기 서버는, 상기 디코딩 성공 확률에 따라 상기 LH-제2 로컬 모델 및 RH-제2 로컬 모델 중 하나의 파라미터만을 획득하거나 상기 풀 제2 로컬 모델의 파라미터를 획득하는 것을 특징으로 하는 연합 학습 시스템
|
| 6 |
6
제1항에 있어서, 상기 단말은, 상기 글로벌 모델의 파라미터를 기초로 인플레이스 지식 정제(IPKD, inplace knowledge distillation)를 사용하여 상기 제1 로컬 모델을 업데이트하고, 상기 IPKD는, 상기 제1 로컬 모델보다 작은 너비를 갖는 상기 제2 로컬 모델이 상기 제1 로컬 모델과 유사한 로짓(logit)을 산출하도록 하는 방식인 것을 특징으로 하는 연합 학습 시스템
|
| 7 |
7
단말이 기 저장된 제1 로컬 모델로부터 복수의 제2 로컬 모델을 생성하는 단계; 상기 단말이 상기 복수의 제2 로컬 모델의 파라미터를 중첩 코딩하여 서버로 전송하는 단계; 상기 서버가 중첩 코딩된 복수의 제2 로컬 모델의 파라미터를 디코딩하고, 디코딩된 파라미터를 집계(aggregates)하여 글로벌 모델을 생성하는 단계; 상기 서버가 글로벌 모델의 파라미터를 상기 단말로 전송하는 단계; 및상기 단말이 상기 글로벌 모델의 파라미터에 기초하여 상기 제1 로컬 모델을 업데이트하는 단계를 포함하고, 상기 복수의 제2 로컬 모델을 생성하는 단계에서는, 상기 단말이 상기 제1 로컬 모델로부터 너비 변경이 가능한 인공지능 알고리즘을 기초로 상기 복수의 제2 로컬 모델을 생성하되, 상기 복수의 제2 로컬 모델의 너비는 상기 제1 로컬 모델의 너비 이하이며, 상기 복수의 제2 로컬 모델은, 상기 제1 로컬 모델의 절반 너비를 갖는 하프(Half) 제2 로컬 모델 및 상기 제1 로컬 모델의 전체 너비를 갖는 풀(full) 제2 로컬 모델 중 적어도 하나를 포함하고, 상기 하프 제2 로컬 모델은, 상기 제1 로컬 모델의 왼쪽 절반에 대응되는 LH-제2 로컬 모델 및 상기 제1 로컬 모델의 오른쪽 절반에 대응되는 RH-제2 로컬 모델을 포함하는 것을 특징으로 하는 연합 학습 방법
|
| 8 |
8
삭제
|
| 9 |
9
삭제
|
| 10 |
10
제7항에 있어서, 상기 디코딩된 파라미터를 집계(aggregates)하여 글로벌 모델을 생성하는 단계에서는, 상기 서버가 상기 중첩 코딩된 복수의 제2 로컬 모델의 파라미터를 연속적으로 디코딩하되
|
