| 1 |
1
워커 노드(20), 세션 노드(30) 및 마스터 노드(40)를 포함하는 머신 러닝 실행 관리 플랫폼에서의 워커 노드 관리 방법에 있어서,상기 세션 노드(30)에서 노드 리스트(31)에 기록된 워커 노드(20)들 중 삭제 대상이 되는 노드를 삭제 리스트(32)에 등록시키는 삭제 노드 등록 단계(S10)와;상기 마스터 노드(40)로부터 태스크의 할당을 요청받은 세션 노드(30)에서 머신 러닝을 수행할 최선순위 워커 노드(20)를 검색하는 워커 노드 검색 단계(S20)와;상기 세션 노드(30)에서 상기 최선순위 워커 노드(20)를 나타내는 우선 순위 ID와 상기 삭제 리스트(32)에 등록된 삭제 등록 ID를 비교하는 노드 유효성 판단 단계(S30)와;상기 우선 순위 ID와 삭제 등록 ID가 동일한 경우, 상기 세션 노드(30)에서 상기 최선순위 워커 노드(20)를 상기 노드 리스트(31)로부터 삭제하는 노드 리스트 정리 단계(S40)와;상기 우선 순위 ID와 삭제 등록 ID가 다른 경우, 상기 세션 노드(30)에서 상기 우선 순위 ID에 해당하는 워커 노드(20)에서 머신 러닝이 이루어지도록 태스크를 할당하는 태스크 할당 단계(S50); 및머신 러닝 수행 명령에 따라 상기 태스크가 할당된 워커 노드(20)에서 머신 러닝을 수행하는 머신 러닝 단계(S60);를 포함하는 것을 특징으로 하는 머신 러닝 실행 관리 플랫폼에서의 워커 노드 관리 방법
|
| 2 |
2
제1항에 있어서,상기 세션 노드(30)에서 상기 워커 노드(20)들의 성능을 분석하는 워커 노드 분석 단계(S1); 및상기 분석된 워커 노드(20)의 성능 순서에 따라 힙 자료 구조(heap data structure)로 이루어진 상기 노드 리스트(31)를 생성하는 노드 리스트 생성 단계(S2);를 더 포함하는 것을 특징으로 하는 머신 러닝 실행 관리 플랫폼에서의 워커 노드 관리 방법
|
| 3 |
3
제2항에 있어서,상기 세션 노드(30)는 상기 워커 노드(20)의 성능을 CPU와 GPU의 연산처리능력인 플롭으로 분류하되, 기가플롭(GFlops)을 단위로 하여 상기 노드 리스트(31)를 정렬하는 것을 특징으로 하는 머신 러닝 실행 관리 플랫폼에서의 워커 노드 관리 방법
|
| 4 |
4
제1항에 있어서,상기 세션 노드(30)에서 상기 삭제 등록 ID가 기록되는 삭제 리스트 테이블을 생성하는 삭제 테이블 생성 단계(S3); 및상기 마스터 노드(40)에서 상기 삭제 리스트 테이블에 등록되는 삭제 대상 워커 노드(20)를 검출하는 제외 노드 분석 단계(S4);를 더 포함하는 것을 특징으로 하는 머신 러닝 실행 관리 플랫폼에서의 워커 노드 관리 방법
|
| 5 |
5
제4항에 있어서,상기 삭제 리스트 테이블은 해시(hash) 함수에 의해 생성된 키 값에 따라 매핑이 이루어지는 해시맵 구조의 테이블인 것을 특징으로 하는 머신 러닝 실행 관리 플랫폼에서의 워커 노드 관리 방법
|
| 6 |
6
제1항에 있어서,상기 마스터 노드(40)로부터 머신 러닝이 수행되는 태스크(task)를 워커 노드에 할당하도록 요청받는 노드 할당 요청 단계(S20a)를 더 포함하되,상기 마스터 노드(40)는 상기 머신 러닝이 수행되는 프레임워크(frame work)로 구성된 워커 노드(20)를 관리하는 세션 노드(30)에 상기 태스크의 할당을 요청하는 것을 특징으로 하는 머신 러닝 실행 관리 플랫폼에서의 워커 노드 관리 방법
|
| 7 |
7
제5항에 있어서,상기 삭제 노드 등록 단계(S10)에서,상기 마스터 노드(40)는 임의 제외되거나 장애가 발생한 워커 노드(20)를 추출하여 상기 세션 노드(30)에 삭제를 요청하고,상기 세션 노드(30)는 상기 삭제 등록 ID를 상기 해시맵 구조의 삭제 리스트(32)에 등록시키는 것을 특징으로 하는 머신 러닝 실행 관리 플랫폼에서의 워커 노드 관리 방법
|
| 8 |
8
제2항에 있어서,상기 워커 노드 검색 단계(S20)에서,상기 세션 노드(30)는 상기 힙 자료 구조로 이루어진 노드 리스트(31) 중 최상위의 루트 노드(root node)를 상기 최선순위 워커 노드(20)로 검색하는 것을 특징으로 하는 머신 러닝 실행 관리 플랫폼에서의 워커 노드 관리 방법
|
| 9 |
9
제8항에 있어서,상기 노드 유효성 판단 단계(S30)에서는,상기 세션 노드(30)에서 상기 루트 노드에 해당되는 워커 노드(20)의 우선 순위 ID와 상기 삭제 리스트(32)에 등록된 삭제 등록 ID를 비교하는 것을 특징으로 하는 머신 러닝 실행 관리 플랫폼에서의 워커 노드 관리 방법
|
| 10 |
10
제8항에 있어서,상기 노드 리스트 정리 단계(S40)는,상기 우선 순위 ID와 삭제 등록 ID가 동일한 경우, 상기 노드 리스트(31)에 대해 상기 루트 노드를 삭제하는 pop 연산을 진행 후 상기 노드 리스트(31)를 힙 자료 구조 방식으로 재구성하는 것을 특징으로 하는 머신 러닝 실행 관리 플랫폼에서의 워커 노드 관리 방법
|
| 11 |
11
제10항에 있어서,상기 pop 연산에서 삭제된 루트 노드의 삭제 등록 ID를 상기 삭제 리스트(32)에서 제외시키는 삭제 리스트 업데이트 단계(S41)를 더 포함하는 것을 특징으로 하는 머신 러닝 실행 관리 플랫폼에서의 워커 노드 관리 방법
|
| 12 |
12
제8항에 있어서,상기 태스크 할당 단계(S50)에서,상기 세션 노드(30)는 상기 루트 노드에 해당하는 워커 노드(20)에 상기 태스크를 할당하는 것을 특징으로 하는 머신 러닝 실행 관리 플랫폼에서의 워커 노드 관리 방법
|
| 13 |
13
제12항에 있어서,상기 세션 노드(30)는 상기 루트 노드에 해당하는 워커 노드(20)에 태스크를 할당하며, 상기 루트 노드를 삭제하는 pop 연산을 진행 후 상기 노드 리스트(31)를 힙 자료 구조 방식으로 재구성하는 것을 특징으로 하는 머신 러닝 실행 관리 플랫폼에서의 워커 노드 관리 방법
|
| 14 |
14
제1항 내지 제13항 중 어느 하나의 항과 같은 워커 노드 관리 방법이 수행되는 머신 러닝 실행 관리 플랫폼 시스템에 있어서,머신 러닝이 수행되는 태스크를 입력받는 외부 입력 모듈(10)과;상기 입력된 태스크에 대해 머신 러닝을 수행하며, 다수개가 노드 리스트(31)에 등록되어 있는 워커 노드(20)와;상기 노드 리스트(31)에 기록된 상기 워커 노드(20)들 중 삭제 대상이 되는 노드를 삭제 리스트(32)에 등록시키는 세션 노드(30); 및사용자로부터 태스크의 할당을 요청받아 상기 머신 러닝을 수행할 최선순위 워커 노드(20)를 검색하도록 상기 세션 노드(30)에 명령을 내리는 마스터 노드(40);를 포함하되,상기 세션 노드(30)는 상기 최선순위 워커 노드(20)를 지정하는 우선 순위 ID와 상기 삭제 리스트(32)에 등록된 삭제 등록 ID를 비교하고상기 우선 순위 ID와 삭제 등록 ID가 동일한 경우, 상기 세션 노드(30)는 상기 노드 리스트(31)에서 상기 최선순위 워커 노드(20)의 ID를 삭제하고,상기 우선 순위 ID와 삭제 등록 ID가 다른 경우, 상기 세션 노드(30)는 상기 우선 순위 ID에 해당하는 워커 노드(20)에서 머신 러닝이 이루어지도록 상기 태스크를 할당하는 것을 특징으로 하는 머신 러닝 실행 관리 플랫폼 시스템
|
