| 1 |
1
기계 학습 모델을 학습하는 단계;상기 기계 학습 모델의 제1 모델 파라미터를 상기 기계 학습 모델에 포함된 복수의 1차원 컨볼루션 레이어에 입력하여 상기 복수의 1차원 컨볼루션 레이어의 1*5의 컨벌루션 마스크(convolutional mask) 및 공유 가중치(shared weights)를 사용하여 상기 제1 모델 파라미터의 특징(feature)을 추출하는 단계;상기 제1 모델 파라미터의 특징에 기초하여 맥스풀링(max pooling layer)를 사용하여 압축된 제1 모델 파라미터를 생성하는 단계;상기 압축된 제1 모델 파라미터를 파라미터 서버로 전송하는 단계;상기 파라미터 서버에서 상기 압축된 제1 모델 파라미터에 기초하여 생성한 일반 모델 파라미터를 수신하는 단계;상기 일반 모델 파라미터를 복원하여 제2 모델 파라미터를 획득하는 단계;상기 제2 모델 파라미터에 기초하여 상기 기계 학습 모델을 초기화하는 단계를 포함하고,상기 특징은,상기 기계 학습 모델에 포함된 복수의 1차원 컨볼루션 레이어 간의 상호관계 및 연관성을 포함하는 로우 레벨 특징; 및상기 제1 모델 파라미터의 공간적 분포 패턴을 포함하는 하이 레벨 특징을 포함하며,상기 일반 모델 파라미터는,상기 파라미터 서버가 수신한 상기 압축된 제1 모델 파라미터의 성분 별 평균에 기초하여 생성된 것이고,상기 성분 별 평균은,동일한 인덱스의 성분들 중 0이 아닌 성분들의 평균인 것인, 학습 방법
|
| 2 |
2
삭제
|
| 3 |
3
삭제
|
| 4 |
4
삭제
|
| 5 |
5
제1항에 있어서,상기 획득하는 단계는,뉴럴 네트워크를 통해 상기 제2 모델 파라미터를 획득하는 단계를 포함하는, 학습 방법
|
| 6 |
6
제1항에 있어서,상기 제1 모델 파라미터 및 상기 제2 모델 파라미터는,1차원 벡터인, 학습 방법
|
| 7 |
7
복수의 클라이언트로부터 압축된 모델 파라미터들을 수신하는 단계;상기 압축된 모델 파라미터들의 성분 별 평균에 기초하여 일반 모델 파라미터를 생성하는 단계;상기 일반 모델 파라미터를 상기 복수의 클라이언트로 전송하는 단계를 포함하고,상기 압축된 모델 파라미터들은,상기 복수의 클라이언트가 기계 학습 모델의 제1 모델 파라미터를 상기 기계 학습 모델에 포함된 복수의 1차원 컨볼루션 레이어에 입력하여 상기 복수의 1차원 컨볼루션 레이어의 1*5의 컨벌루션 마스크(convolutional mask) 및 공유 가중치(shared weights)를 사용하여 상기 제1 모델 파라미터의 특징(feature)을 추출하고, 상기 제1 모델 파라미터의 특징에 기초하여 맥스풀링(max pooling layer)를 사용하여 생성된 것이며,상기 특징은,상기 기계 학습 모델에 포함된 복수의 1차원 컨볼루션 레이어 간의 상호관계 및 연관성을 포함하는 로우 레벨 특징; 및상기 제1 모델 파라미터의 공간적 분포 패턴을 포함하는 하이 레벨 특징을 포함하며,상기 성분 별 평균은,동일한 인덱스의 성분들 중 0이 아닌 성분들의 평균인 것인, 학습 방법
|
| 8 |
8
삭제
|
| 9 |
9
제7항에 있어서,생성하는 단계는,상기 압축된 모델 파라미터들 중 일부를 선택하는 단계; 및상기 일부에 기초하여 상기 일반 모델 파라미터를 생성하는 단계를 포함하는, 학습 방법
|
| 10 |
10
하드웨어와 결합되어 제1항, 제5항, 제6항, 제7항, 및 제9항 중 어느 하나의 항의 방법을 실행시키기 위하여 컴퓨터 판독 가능한 기록 매체에 저장된 컴퓨터 프로그램
|
| 11 |
11
연합 학습을 수행하는 전자 장치에 있어서,인스트럭션들을 포함하는 메모리; 및상기 인스트럭션들을 실행하기 위한 프로세서를 포함하고,상기 프로세서에 의해 상기 인스트럭션들이 실행될 때, 상기 프로세서는,기계 학습 모델을 학습하고,상기 기계 학습 모델의 제1 모델 파라미터를 상기 기계 학습 모델에 포함된 복수의 1차원 컨볼루션 레이어에 입력하여 상기 복수의 1차원 컨볼루션 레이어의 1*5의 컨벌루션 마스크(convolutional mask) 및 공유 가중치(shared weights)를 사용하여 상기 제1 모델 파라미터의 특징(feature)을 추출하고,상기 제1 모델 파라미터의 특징에 기초하여 맥스풀링(max pooling layer)를 사용하여 압축된 제1 모델 파라미터를 생성하고,상기 압축된 상기 제1 모델 파라미터를 파라미터 서버로 전송하고,상기 파라미터 서버에서 상기 압축된 제1 모델 파라미터에 기초하여 생성한 일반 모델 파라미터를 수신하고,상기 일반 모델 파라미터를 복원하여 제2 모델 파라미터를 획득하고,상기 제2 모델 파라미터에 기초하여 상기 기계 학습 모델을 초기화하며,상기 특징은,상기 기계 학습 모델에 포함된 복수의 1차원 컨볼루션 레이어 간의 상호관계 및 연관성을 포함하는 로우 레벨 특징; 및상기 제1 모델 파라미터의 공간적 분포 패턴을 포함하는 하이 레벨 특징을 포함하며,상기 일반 모델 파라미터는,상기 파라미터 서버가 수신한 상기 압축된 제1 모델 파라미터의 성분 별 평균에 기초하여 생성된 것이고,상기 성분 별 평균은,동일한 인덱스의 성분들 중 0이 아닌 성분들의 평균인 것인, 전자 장치
|
| 12 |
12
삭제
|
| 13 |
13
삭제
|
| 14 |
14
삭제
|
| 15 |
15
제11항에 있어서,상기 프로세서는,뉴럴 네트워크를 통해 상기 제2 모델 파라미터를 획득하는, 전자 장치
|
| 16 |
16
제11항에 있어서,상기 제1 모델 파라미터 및 상기 제2 모델 파라미터는,1차원 벡터인, 전자 장치
|
| 17 |
17
연합 학습을 수행하는 서버에 있어서,인스트럭션들을 포함하는 메모리; 및상기 인스트럭션들을 실행하기 위한 프로세서를 포함하고,상기 프로세서에 의해 상기 인스트럭션들이 실행될 때, 상기 프로세서는,복수의 클라이언트로부터 압축된 모델 파라미터들을 수신하고,상기 압축된 모델 파라미터들의 성분 별 평균에 기초하여 일반 모델 파라미터를 생성하고,상기 일반 모델 파라미터를 상기 복수의 클라이언트로 전송하고,상기 압축된 모델 파라미터들은,상기 복수의 클라이언트가 기계 학습 모델의 제1 모델 파라미터를 상기 기계 학습 모델에 포함된 복수의 1차원 컨볼루션 레이어에 입력하여 상기 복수의 1차원 컨볼루션 레이어의 1*5의 컨벌루션 마스크(convolutional mask) 및 공유 가중치(shared weights)를 사용하여 상기 제1 모델 파라미터의 특징(feature)을 추출하고, 상기 제1 모델 파라미터의 특징에 기초하여 맥스풀링(max pooling layer)를 사용하여 생성된 것이며,상기 특징은,상기 기계 학습 모델에 포함된 복수의 1차원 컨볼루션 레이어 간의 상호관계 및 연관성을 포함하는 로우 레벨 특징; 및상기 제1 모델 파라미터의 공간적 분포 패턴을 포함하는 하이 레벨 특징을 포함하며,상기 성분 별 평균은,동일한 인덱스의 성분들 중 0이 아닌 성분들의 평균인 것인, 서버
|
| 18 |
18
삭제
|
| 19 |
19
제17항에 있어서,상기 프로세서는,상기 압축된 모델 파라미터들 중 일부를 선택하고,상기 일부에 기초하여 상기 일반 모델 파라미터를 생성하는, 서버
|
