| 1 |
1
스케쥴링 시스템에 의해 수행되는 머신러닝 추론 작업을 위한 스케쥴링 방법에 있어서, 이기종 프로세서로 구성된 엣지 시스템에 다중 머신러닝 모델의 추론 작업 요청을 수신하는 단계; 및상기 수신된 추론 작업 요청에 따라 서비스 수준 목표(Service-Level Objective; SLO) 인식 기반의 스케쥴링 정책에 기초하여 상기 엣지 시스템의 이기종 프로세서 자원을 운영하는 단계 를 포함하는 스케쥴링 방법
|
| 2 |
2
제1항에 있어서,상기 서비스 수준 목표 인식 기반의 스케쥴링 정책은, 최소 평균 예상 지연시간(Minimum-Average-Expected-Latency; MAEL)을 통한 스케쥴링 정책, 서비스 수준 목표 인식 기반의 최소 평균 예상 지연시간을 통한 스케쥴링 정책 또는 서비스 수준 목표 인식 기반의 최소 평균 예상 지연시간 선점을 통한 스케쥴링 정책 중 어느 하나를 포함하는, 것을 특징으로 하는 스케쥴링 방법
|
| 3 |
3
제1항에 있어서,상기 운영하는 단계는, 스케쥴링 지점에서 예상되는 머신러닝 모델의 추론 작업에 대한 지연시간을 예측함에 따라 주어진 스케쥴링 시간대 동안 요청되고 누적된 모든 추론 작업의 평균 소요 시간을 최소화하기 위하여 상기 최소 평균 예상 지연시간(Minimum-Average-Expected-Latency; MAEL)을 통한 스케쥴링 정책을 설정하는 단계 를 포함하는 스케쥴링 방법
|
| 4 |
4
제3항에 있어서,상기 운영하는 단계는, 주기적으로 호출되는 런타임의 특정 지점에서 주어진 추론 작업과 엣지 시스템에서 가용 가능한 프로세서를 매핑한 후보 집합을 수집하고, 상기 수집된 후보 집합을 수집하는 과정을 반복함에 따라 후보 집합에 대한 후보별 점수를 계산하는 단계를 포함하는 스케쥴링 방법
|
| 5 |
5
제4항에 있어서,상기 운영하는 단계는, 상기 후보별 점수를 계산하기 위해 상기 가용 가능한 프로세서에서 프로파일링된 작업의 지연시간과 이미 예약이 보류 중인 작업으로 인한 현재 대기 시간의 합계인 예상 지연시간을 추정하고, 최소 예상 지연시간을 제공하는 후보의 우선순위를 지정하기 위하여 상기 추정된 예상 지연시간이 역순으로 설정되고 모든 작업에 대하여 누적하는 단계 를 포함하는 스케쥴링 방법
|
| 6 |
6
제4항에 있어서,상기 운영하는 단계는, 상기 계산된 후보별 점수에 기초하여 상기 추론 작업과 엣지 시스템에서 가용 가능한 프로세서를 매핑한 후보 집합 중 최소 평균 예상 지연시간을 생성하는 후보를 결정하고, 상기 결정된 후보에 포함된 추론 작업을 상기 결정된 후보에 포함된 프로세서에 할당하는 단계를 포함하는 스케쥴링 방법
|
| 7 |
7
제4항에 있어서,상기 운영하는 단계는, 상기 프로세서에 존재하는 요청 우선순위 대기열을 통해 과거의 스케쥴 정보에 기초하여 예약된 작업을 순서대로 누적하고, 상기 추론 작업을 평균 예상 지연시간을 최소화하는 방식으로 요청 우선순위 대기열에서 보류 중인 작업 사이에 삽입하는 단계를 포함하는 스케쥴링 방법
|
| 8 |
8
제1항에 있어서,상기 운영하는 단계는, 서비스 수준 목표에 대한 위반의 회피를 최소화한 후, 시스템 처리량을 고려하여 서비스 수준 목표에 대한 위반이 발생할 것으로 예상됨에 따라 서비스 수준 목표에 대한 위반 수준의 총 합계를 최소화하기 위하여 서비스 수준 목표(Service-Level Objective; SLO) 인식 기반의 최소 평균 예상 지연시간을 통한 스케쥴링 정책을 설정하는 단계 를 포함하는 스케쥴링 방법
|
| 9 |
9
제8항에 있어서,상기 운영하는 단계는, 작업 별 서비스 수준 목표의 요구 사항에 기초하여 추론 작업과 엣지 시스템에서 가용 가능한 프로세서를 매핑한 후보 집합을 수집하고, 상기 수집된 후보 집합을 수집하는 과정을 반복함에 따라 후보 집합에 대한 후보별 점수를 계산하는 단계를 포함하는 스케쥴링 방법
|
| 10 |
10
제9항에 있어서,상기 운영하는 단계는, 평균 예상 지연시간과 서비스 수준 목표에 대한 점수를 계산하고, 상기 점수를 계산하기 전에 예상 지연시간이 필요한 서비스 수준 목표보다 큰 지 확인하고, 상기 예상 지연시간이 필요한 서비스 수준 목표보다 클 경우, 작업이 서비스 수준 목표를 위반할 것으로 예상되어 예상 지연시간을 계산하는 대신, 서비스 수준 목표의 위반 정도를 계산하고, 상기 계산된 서비스 수준 목표의 위반 정도의 음수값을 누적하는 단계를 포함하는 스케쥴링 방법
|
| 11 |
11
제9항에 있어서,상기 운영하는 단계는, 상기 계산된 후보별 점수에 기초하여 기 설정된 기준 이상의 점수를 가진 후보를 결정하고, 상기 결정된 후보에 포함된 추론 작업을 상기 결정된 후보에 포함된 프로세서에 할당하는 단계를 포함하는 스케쥴링 방법
|
| 12 |
12
제1항에 있어서,상기 운영하는 단계는, 복수의 계층으로 구성된 머신러닝 모델의 속성을 활용하여 머신러닝 모델을 균일한 크기의 하위 머신러닝 모델로 분할하고, 상기 분할된 하위 머신러닝 모델 별로 하위 작업을 채워 스케쥴링 목적에 대한 선점 효과를 달성하는 모델 슬라이싱 기법을 활용하는 서비스 수준 목표 인식 기반의 최소 평균 예상 지연시간 선점을 통한 스케쥴링 정책을 설정하는 단계 를 포함하는 스케쥴링 방법
|
| 13 |
13
제12항에 있어서,상기 운영하는 단계는, 모델 슬라이싱의 활성화 또는 비활성화 여부를 확인하고, 상기 모델 슬라이싱이 활성화되어 있을 경우, 중복된 작업의 계산을 방지하기 위해 작업 집합에서 추론 작업을 제거하는 동안 상기 추론 작업을 슬라이스된 하위 작업의 집합으로 분할하고, 상기 슬라이스된 하위 작업을 상기 작업 집합에 삽입하는 단계를 포함하는 스케쥴링 방법
|
| 14 |
14
제13에 있어서,상기 운영하는 단계는, 요청 우선순위 대기열에 슬라이스된 하위 작업을 삽입하는 동안 슬라이스 모드가 비활성화 되어 있으면 대기중인 지연 작업으로 인해 지정된 작업이 서비스 수준 목표 요구 사항을 위반할 것으로 예상되는지 확인하고, 대기중인 지연 작업으로 인해 지정된 작업이 서비스 수준 목표 요구 사항을 위반할 것으로 예상될 경우, 슬라이스 모드를 활성화 하고, 대기 중인 지연 작업으로 인해 지정된 작업이 서비스 수준 목표 요구 사항을 위반하지 않을 것으로 예상될 경우, 슬라이스 모드를 비활성화 하는 단계를 포함하는 스케쥴링 방법
|
| 15 |
15
제14항에 있어서,상기 운영하는 단계는, 슬라이스 모드가 이미 활성화되어 있을 경우, 슬라이스된 모델의 조각이 잠재적인 서비스 수준 목표 위반을 제거하는 데 도움이 되는지 확인하고, 슬라이스된 모델의 조각이 잠재적인 서비스 수준 목표 위반을 제거하는 데 도움이 되는 것으로 판단할 경우, 슬라이스 모드를 활성화 상태로 유지하고, 슬라이스된 모델의 조각이 잠재적인 서비스 수준 목표 위반을 제거하는 데 도움이 되지 않는 것으로 판단할 경우, 슬라이스 모드를 비활성화 하는 단계 를 포함하는 스케쥴링 방법
|
| 16 |
16
스케쥴링 시스템에 의해 수행되는 머신러닝 추론 작업을 위한 스케쥴링 방법을 실행시키기 위하여 컴퓨터 판독 가능한 기록매체에 저장된 컴퓨터 프로그램에 있어서,이기종 프로세서로 구성된 엣지 시스템에 다중 머신러닝 모델의 추론 작업 요청을 수신하는 단계; 및상기 수신된 추론 작업 요청에 따라 서비스 수준 목표(Service-Level Objective; SLO) 인식 기반의 스케쥴링 정책에 기초하여 상기 엣지 시스템의 이기종 프로세서 자원을 운영하는 단계 를 포함하는 컴퓨터 판독 가능한 기록매체에 저장된 컴퓨터 프로그램
|
| 17 |
17
스케쥴링 시스템에 있어서,이기종 프로세서로 구성된 엣지 시스템에 다중 머신러닝 모델의 추론 작업 요청을 수신하는 작업 요청 수신부; 및상기 수신된 추론 작업 요청에 따라 서비스 수준 목표(Service-Level Objective; SLO) 인식 기반의 스케쥴링 정책에 기초하여 상기 엣지 시스템의 이기종 프로세서 자원을 운영하는 자원 운영부를 포함하는 스케쥴링 시스템
|
| 18 |
18
제17항에 있어서,상기 자원 운영부는,스케쥴링 지점에서 예상되는 머신러닝 모델의 추론 작업에 대한 지연시간을 예측함에 따라 주어진 스케쥴링 시간대 동안 요청되고 누적된 모든 추론 작업의 평균 소요 시간을 최소화하기 위하여 상기 최소 평균 예상 지연시간(Minimum-Average-Expected-Latency; MAEL)을 통한 스케쥴링 정책을 설정하는 것을 특징으로 하는 스케쥴링 시스템
|
| 19 |
19
제17항에 있어서,상기 자원 운영부는,서비스 수준 목표 위반의 회피를 최소화한 후, 시스템 처리량을 고려하여 서비스 수준 목표 위반이 발생할 것으로 예상됨에 따라 서비스 수준 목표에 대한 위반 수준의 총 합계를 최소화하기 위하여 서비스 수준 목표(Service-Level Objective; SLO) 인식 기반의 최소 평균 예상 지연시간을 통한 스케쥴링 정책을 설정하는 것을 특징으로 하는 스케쥴링 시스템
|
| 20 |
20
제17항에 있어서,상기 자원 운영부는,복수의 계층으로 구성된 머신러닝 모델의 속성을 활용하여 머신러닝 모델을 균일한 크기의 하위 머신러닝 모델로 분할하고, 상기 분할된 하위 머신러닝 모델 별로 하위 작업을 채워 스케쥴링 목적에 대한 선점 효과를 달성하는 모델 슬라이싱 기법을 활용하는 서비스 수준 목표 인식 기반의 최소 평균 예상 지연시간 선점을 통한 스케쥴링 정책을 설정하는 것을 특징으로 하는 스케쥴링 시스템
|
