| 1 |
1
분산 클라우드 환경에서의 뉴럴 네트워크 파라미터 처리 방법에 있어서,저장된 웨이트 벡터 집합을 포함하는 체크포인트 데이터를 획득하는 단계;상기 체크포인트 데이터를 복수의 체크포인트 데이터 블록들로 분할하는 단계; 학습 결과 데이터를 획득하는 단계; 상기 학습 결과 데이터를 복수의 학습 결과 데이터 블록들로 분할하는 단계; 상기 복수의 체크포인트 데이터 블록들과 상기 복수의 학습 결과 데이터 블록들 간의 변화량을 판단하는 단계; 및상기 판단 결과에 기초하여 상기 체크포인트 데이터를 업데이트하는 단계;를 포함하는, 방법
|
| 2 |
2
제1항에 있어서, 상기 복수의 체크포인트 데이터 블록과 상기 복수의 학습 결과 데이터 블록 간의 변화량을 판단하는 단계는,상기 복수의 체크포인트 데이터 블록 중 제1 데이터 블록과 상기 복수의 학습 결과 데이터 블록 중 제2 데이터 블록의 차이를 비교하는 것인, 방법
|
| 3 |
3
제2항에 있어서, 상기 제1 데이터 블록과 상기 제2 데이터 블록은 대응되는 데이터 블록인 것인, 방법
|
| 4 |
4
제2항에 있어서, 상기 제1 데이터 블록 및 상기 제2 데이터 블록은 동일한 뉴런에 의해 생성된 웨이트 벡터 집합을 포함하는 것인, 방법
|
| 5 |
5
제1항에 있어서, 상기 방법은,상기 복수의 체크포인트 데이터 블록 각각의 업데이트 시점을 저장하는 단계;를 더 포함하는, 방법
|
| 6 |
6
제5항에 있어서, 상기 방법은, 상기 업데이트 시점에 기초하여 상기 복수의 체크포인트 데이터 블록 각각과 대응하는 소정의 가중치를 결정하는 단계;를 더 포함하고, 상기 복수의 체크포인트 데이터 블록과 상기 복수의 학습 결과 데이터 블록 간의 변화량을 판단하는 단계는,상기 소정의 가중치 및 상기 복수의 체크포인트 데이터 블록과 상기 복수의 학습 결과 데이터 블록 간의 차이를 고려하여, 상기 복수의 체크포인트 데이터 블록과 상기 복수의 학습 결과 데이터 블록 간의 변화량을 판단하는 것인, 방법
|
| 7 |
7
제6항에 있어서,상기 업데이트 시점에 기초하여 상기 복수의 체크포인트 데이터 블록 각각과 대응하는 소정의 가중치를 결정하는 단계는,업데이트 되지 않은 시간이 길수록 상기 소정의 가중치의 크기가 큰 것인, 방법
|
| 8 |
8
제9항에 있어서, 상기 판단 결과에 기초하여 상기 체크포인트 데이터를 업데이트하는 단계는, 상기 복수의 체크포인트 데이터 블록과 상기 복수의 학습 결과 데이터 블록 각각의 변화량의 크기에 따라 상기 복수의 체크포인트 데이터 블록 중 소정의 개수의 블록을 업데이트하는 것인, 방법
|
| 9 |
9
제8항에 있어서, 상기 소정의 개수는,파라미터 서버로부터 수신된 정보, 네트워크 성능, 네트워크의 트래픽 상황, 사용자 입력, 디바이스의 성능, 뉴럴 네트워크의 연산량, 파라미터의 크기, 네트워크의 성능 중 적어도 하나에 기초하여 결정되는 것인, 방법
|
| 10 |
10
제8항에 있어서, 상기 판단 결과에 기초하여 상기 체크포인트 데이터를 업데이트하는 단계는, 파라미터 서버에 저장된 상기 체크포인트 데이터를 업데이트 하는 것인, 방법
|
| 11 |
11
제10항에 있어서,상기 학습 결과 데이터는, 디바이스에서 생성된 것인, 방법
|
| 12 |
12
제1항에 있어서,상기 체크포인트 데이터를 복수의 체크포인트 데이터 블록들로 분할하는 단계는,상기 체크포인트 데이터를 1000개의 체크포인트 데이터 블록들로 분할하는 것이고,상기 학습 결과 데이터를 복수의 학습 결과 데이터 블록들로 분할하는 단계는,상기 학습 결과 데이터를 1000개의 학습 결과 데이터 블록들로 분할하는 것인, 방법
|
| 13 |
13
제10항에 있어서, 상기 판단 결과에 기초하여 상기 체크포인트 데이터를 업데이트하는 단계는,상기 판단된 변화량이 소정의 임계값보다 큰 경우에만 상기 체크포인트 데이터를 업데이트 하는 것인, 방법
|
| 14 |
14
제13항에 있어서, 상기 소정의 임계값은,파라미터 서버로부터 수신된 정보, 네트워크 성능, 네트워크의 트래픽 상황, 사용자 입력, 디바이스의 성능, 뉴럴 네트워크의 연산량, 파라미터의 크기, 네트워크의 성능 중 적어도 하나에 기초하여 결정되는 것인, 방법
|
| 15 |
15
분산 클라우드 환경에서의 뉴럴 네트워크 파라미터를 처리하는 디바이스에 있어서, 메모리;통신부; 및저장된 웨이트 벡터 집합을 포함하는 체크포인트 데이터를 획득하고, 상기 체크포인트 데이터를 복수의 체크포인트 데이터 블록들로 분할하고, 학습 결과 데이터를 획득하고, 상기 학습 결과 데이터를 복수의 학습 결과 데이터 블록들로 분할하고, 상기 복수의 체크포인트 데이터 블록과 상기 복수의 학습 결과 데이터 블록 간의 변화량을 판단하고, 상기 판단 결과에 기초하여 상기 체크포인트 데이터를 업데이트하는 제어부;를 포함하는, 디바이스
|
