| 1 |
1
로컬 디바이스에 의한 분산형 인공지능의 학습 방법에 있어서, 상기 로컬 디바이스가 로컬 데이터셋에 기반하여 로컬 모델을 학습함으로써 상기 로컬 모델의 파라미터를 업데이트하는 단계; 상기 로컬 디바이스가 상기 로컬 모델의 파라미터의 기울기(gradient)를 압축하여 압축된 기울기 정보를 생성하는 단계;상기 로컬 디바이스가 상기 압축된 기울기 정보를 파라미터 서버로 전송하는 단계; 상기 파라미터 서버가 상기 로컬 디바이스로부터 수신되는 상기 압축된 기울기 정보에 기반하여 상기 로컬 모델의 파라미터의 기울기를 복원하는 단계; 및 상기 파라미터 서버가 상기 복원된 로컬 모델의 파라미터의 기울기에 기반하여 글로벌 모델의 파라미터를 업데이트하는 단계; 를 포함하는,분산형 인공지능의 학습 방법
|
| 2 |
2
제1항에 있어서,상기 압축된 기울기 정보를 생성하는 단계는, 상기 로컬 모델의 파라미터의 기울기를 형성하는 고차원 로컬 원시 벡터를 복수개의 저차원 S-희소 서브 벡터들로 변환하는 블록 희소화 단계; 및 상기 복수개의 저차원 S-희소 서브 벡터들을 디지털 비트 시퀀스 형태로 변환하는 디지털 인코딩 단계;를 포함하는, 분산형 인공지능의 학습 방법
|
| 3 |
3
제2항에 있어서,상기 블록 희소화 단계는, 상기 고차원 로컬 원시 벡터를 L개의 서브 벡터들로 구분하는 단계; 및 상기 L개의 서브 벡터들 각각에 대해 가장 큰 S개의 원소를 선택하고 나머지 원소들을 제거하여 상기 저차원 S-희소 서브 벡터들을 생성하는 단계;를 포함하는, 분산형 인공지능의 학습 방법
|
| 4 |
4
제2항에 있어서,상기 블록 희소화 단계는, 상기 디지털 인코딩 단계를 거친 압축된 기울기 정보를 복원하는 단계;상기 고차원 로컬 원시 벡터에서 상기 복원된 기울기 정보를 뺀 나머지 정보를 저장하는 단계; 및상기 저장된 나머지 원소들을 다음 차수의 상기 고차원 로컬 원시 벡터에 부가하는 단계;를 포함하는, 분산형 인공지능의 학습 방법
|
| 5 |
5
제3항에 있어서,상기 저차원 S-희소 서브 벡터들을 생성하는 단계는, 상기 L개의 서브 벡터들 각각에 대해 병렬적으로 수행되는, 분산형 인공지능의 학습 방법
|
| 6 |
6
제3항에 있어서,상기 저차원 S-희소 서브 벡터들을 생성하는 단계는, 원시 벡터 복원 성능이 고려된 최적화 목적 함수를 최대화하는 양자화 레벨 Q과 관련되는 최적 희소화 레벨 S에 기반하여 수행되는, 분산형 인공지능의 학습 방법
|
| 7 |
7
제2항에 있어서,상기 디지털 인코딩 단계는, 상기 복수개의 저차원 S-희소 서브 벡터들을 복수개의 S 차원 선형 변환된 벡터로 변환하는 단계; 및 상기 복수개의 S 차원 선형 변환된 벡터의 각 원소를 디지털 형태로 변환하는 스칼라 양자화 단계;를 포함하는, 분산형 인공지능의 학습 방법
|
| 8 |
8
제7항에 있어서,상기 복수개의 저차원 S-희소 서브 벡터들을 복수개의 S 차원 선형 변환된 벡터로 변환하는 단계는상기 복수개의 저차원 S-희소 서브 벡터들 각각에서 0이 아닌 원소를 선택하여 S 차원 벡터를 생성하는 단계;상기 S 차원 벡터의 경험적 평균 및 분산 값을 도출하는 단계;상기 도출된 경험적 평균 및 분산 값을 이용하여 S 차원 벡터를 정규화된 벡터로 변환하는 단계; 및 상기 정규화된 벡터를 S 차원 직교 행렬 또는 이에 준하는 행렬을 이용하여 선형 변환된 벡터로 변환하는 단계;를 포함하는, 분산형 인공지능의 학습 방법
|
| 9 |
9
제8항에 있어서,상기 S 차원 직교 행렬은 하다마드 행렬 또는 랜덤 기우시안 행렬인, 분산형 인공지능의 학습 방법
|
| 10 |
10
제7항에 있어서,상기 스칼라 양자화 단계는, 원시 벡터 복원 성능이 고려된 최적화 목적 함수를 최대화하는 양자화 레벨 Q에 기반하여 수행되는, 분산형 인공지능의 학습 방법
|
| 11 |
11
제10항에 있어서,상기 양자화 레벨 Q는, 허용된 통신 오버헤드를 고려하여 결정되는,분산형 인공지능의 학습 방법
|
| 12 |
12
제7항에 있어서,상기 디지털 인코딩 단계는, 상기 복수개의 저차원 S-희소 서브 벡터들 내에서 0이 아닌 S개의 값들이 존재하는 위치를 디지털 비트 시퀀스로 나타내는 위치 인코딩 단계;를 더 포함하는, 분산형 인공지능의 학습 방법
|
| 13 |
13
제1항에 있어서,상기 파라미터 서버가 상기 로컬 모델의 파라미터의 기울기를 복원하는 단계는, 양자화된 값 벡터에 선형 최소평균제곱오류 추정 기법을 적용하여 정규화된 벡터의 추정치를 얻는 단계;를 포함하는, 분산형 인공지능의 학습 방법
|
| 14 |
14
제13항에 있어서,상기 파라미터 서버가 상기 로컬 모델의 파라미터의 기울기를 복원하는 단계는, 상기 정규화된 벡터의 추정치에 대하여 정규화 과정에서 얻은 경험적인 평균 및 분산값을 이용하여 역정규화를 수행하는 단계;를 더 포함하는, 분산형 인공지능의 학습 방법
|
| 15 |
15
파라미터 서버 및 로컬 디바이스에 의한 분산형 인공지능의 학습 방법에 있어서,상기 파라미터 서버가 글로벌 모델의 파라미터를 압축하여 압축된 글로벌 모델 파라미터 정보를 생성하는 단계;상기 파라미터 서버가 상기 압축된 글로벌 모델 파라미터 정보를 상기 로컬 디바이스로 전송하는 단계;상기 로컬 디바이스가 상기 파라미터 서버로부터 수신되는 상기 압축된 글로벌 모델 파라미터 정보에 기반하여 상기 글로벌 모델의 파라미터를 복원하는 단계; 및 상기 로컬 디바이스가 상기 복원된 상기 글로벌 모델의 파라미터를 로컬 모델로서 저장하는 단계;를 포함하는, 분산형 인공지능의 학습 방법
|
| 16 |
16
제15항에 있어서, 상기 압축된 글로벌 모델 파라미터 정보를 생성하는 단계는, 상기 글로벌 모델의 파라미터를 형성하는 고차원 글로벌 원시 벡터를 복수개의 저차원 S-희소 서브 벡터들로 변환하는 블록 희소화 단계; 및 상기 복수개의 저차원 S-희소 서브 벡터들을 디지털 비트 시퀀스 형태로 변환하는 디지털 인코딩 단계;를 포함하는, 분산형 인공지능의 학습 방법
|
| 17 |
17
적어도 하나 이상의 명령을 저장하는 메모리(memory); 및 상기 적어도 하나 이상의 명령을 수행하는 프로세서(processor);를 포함하고, 상기 프로세서는 상기 적어도 하나 이상의 명령을 수행함으로써, 로컬 데이터셋에 기반하여 로컬 모델을 학습함으로써 상기 로컬 모델의 파라미터를 업데이트하고,상기 로컬 모델의 파라미터의 기울기(gradient)를 압축하여 압축된 기울기 정보를 생성하고, 상기 로컬 디바이스가 상기 압축된 기울기 정보를 파라미터 서버로 전송하고,상기 파라미터 서버로부터 글로벌 모델의 파라미터를 수신하는, 분산형 인공지능의 학습 장치
|
| 18 |
18
제17항에 있어서, 상기 파라미터 서버로부터 수신되는 상기 글로벌 모델의 파라미터는, 상기 글로벌 모델의 파라미터가 압축된 정보인, 분산형 인공지능의 학습 장치
|
| 19 |
19
제17항에 있어서, 상기 프로세서는, 상기 글로벌 모델의 파라미터에 기반하여 상기 로컬 모델의 파라미터를 업데이트하고, 새로운 로컬 데이터셋에 기반하여 상기 로컬 모델을 학습함으로써 상기 로컬 모델의 파라미터를 다시 업데이트하는, 분산형 인공지능의 학습 장치
|
| 20 |
20
제17항에 있어서,상기 프로세서는 상기 압축된 기울기 정보를 생성함에 있어서, 블록 희소화 과정에 의하여 상기 로컬 모델의 파라미터의 기울기를 형성하는 고차원 로컬 원시 벡터를 복수개의 저차원 S-희소 서브 벡터들로 변환하고,디지털 인코딩 과정에 의하여 상기 복수개의 저차원 S-희소 서브 벡터들을 디지털 비트 시퀀스 형태로 변환하는, 분산형 인공지능의 학습 장치
|
