| 1 |
1
수신 요청률 모니터링 및 오프라인에서의 퍼포먼스 통계를 수집하는 성능 프로파일러를 이용하여 배치 크기 및 글릿(glet) 크기의 쌍에 대한 추론 지연을 포함하는 스케줄링을 결정하는 스케줄러 -상기 스케줄러는 미리 정해진 주기로 트리거되어 재스케줄링이 필요한지 여부를 판단하고, 최적의 자원 양을 가진 가상 GPU인 글릿의 크기 및 글릿에 대한 모델 할당을 결정함-; 및상기 스케줄러가 결정한 스케줄링에 기초하여 다음 추론 요청을 처리하도록 GPU 상의 글릿을 준비하는 동적 파티션 재구성부 를 포함하는 다중 GPU 환경 기반 시공간분할 스케줄링 시스템
|
| 2 |
2
제1항에 있어서, 상기 스케줄러는, 상기 글릿에 대한 모델 할당을 위해 각 모델에 대하여 파티션 크기에서의 배치의 프로파일 실행 지연, 간섭 함수, 모델별 서비스 레벨 목표(Service Level Objectives; SLO)를 입력 받고, 상기 미리 정해진 주기마다 추론을 실행하는 모델의 수신 요청률을 확인하며, 재스케줄링이 필요한 경우 상기 스케줄러는 상기 입력을 사용하여 탄력적 분할을 수행하는 다중 GPU 환경 기반 시공간분할 스케줄링 시스템
|
| 3 |
3
제1항에 있어서, 상기 스케줄러는, 시스템의 처리량을 최대화 하기 위해 배치, GPU 분할, 시간 공유의 3차원 상에 구축된 검색 공간의 스위트 스폿(sweet spot)에 위치한 최적의 스케줄링을 결정하는 다중 GPU 환경 기반 시공간분할 스케줄링 시스템
|
| 4 |
4
제1항에 있어서, 상기 스케줄러는, 가장 비용 효율이 높은 글릿 크기 및 서비스 레벨 목표 위반을 회피하는 비율을 제공하는 데 필요한 최소 글릿 크기 중 가장 작은 크기의 글릿을 선택하고, 미리 정해진 수신율을 만족시킬 때까지, 또는 시스템에 더 이상 글릿이 남지 않을 때까지 적어도 하나 이상의 글릿을 할당하고, 할당된 글릿의 시간적 스케줄링을 수행하는 다중 GPU 환경 기반 시공간분할 스케줄링 시스템
|
| 5 |
5
스케줄러가 구성 가능한 GPU 자원을 사용하여 최적의 자원 양을 가진 가상 GPU인 글릿(glet)을 생성하는 단계; 스케줄러가 수신 요청률 모니터링 및 오프라인에서의 퍼포먼스 통계를 수집하는 성능 프로파일러를 이용하여 배치 크기 및 글릿(glet) 크기의 쌍에 대한 추론 지연을 포함하는 스케줄링을 결정하는 단계; 스케줄러가 미리 정해진 주기로 트리거되어 재스케줄링이 필요한지 여부를 판단하고, 상기 글릿의 크기 및 글릿에 대한 모델 할당을 결정하는 단계; 및동적 파티션 재구성부를 통해 상기 스케줄러가 결정한 스케줄링에 기초하여 다음 추론 요청을 처리하도록 GPU 상의 글릿을 준비하는 단계를 포함하는 다중 GPU 환경 기반 시공간분할 스케줄링 방법
|
| 6 |
6
제1항에 있어서, 상기 스케줄러가 수신 요청률 모니터링 및 오프라인에서의 퍼포먼스 통계를 수집하는 성능 프로파일러를 이용하여 배치 크기 및 글릿(glet) 크기의 쌍에 대한 추론 지연을 포함하는 스케줄링을 결정하는 단계는, 상기 글릿에 대한 모델 할당을 위해 각 모델에 대하여 파티션 크기에서의 배치의 프로파일 실행 지연, 간섭 함수, 모델별 서비스 레벨 목표(Service Level Objectives; SLO)를 입력 받고, 상기 미리 정해진 주기마다 추론을 실행하는 모델의 수신 요청률을 확인하는 다중 GPU 환경 기반 시공간분할 스케줄링 방법
|
| 7 |
7
제6항에 있어서, 상기 스케줄러가 미리 정해진 주기로 트리거되어 재스케줄링이 필요한지 여부를 판단하고, 상기 글릿의 크기 및 글릿에 대한 모델 할당을 결정하는 단계는, 재스케줄링이 필요한 경우 상기 스케줄러는 상기 입력을 사용하여 탄력적 분할을 수행하는 다중 GPU 환경 기반 시공간분할 스케줄링 방법
|
| 8 |
8
제6항에 있어서, 상기 스케줄러가 미리 정해진 주기로 트리거되어 재스케줄링이 필요한지 여부를 판단하고, 상기 글릿의 크기 및 글릿에 대한 모델 할당을 결정하는 단계는, 시스템의 처리량을 최대화 하기 위해 배치, GPU 분할, 시간 공유의 3차원 상에 구축된 검색 공간의 스위트 스폿(sweet spot)에 위치한 최적의 스케줄링을 결정하는 다중 GPU 환경 기반 시공간분할 스케줄링 방법
|
| 9 |
9
제5항에 있어서, 상기 스케줄러가 미리 정해진 주기로 트리거되어 재스케줄링이 필요한지 여부를 판단하고, 상기 글릿의 크기 및 글릿에 대한 모델 할당을 결정하는 단계는, 가장 비용 효율이 높은 글릿 크기 및 서비스 레벨 목표 위반을 회피하는 비율을 제공하는 데 필요한 최소 글릿 크기 중 가장 작은 크기의 글릿을 선택하고, 미리 정해진 수신율을 만족시킬 때까지, 또는 시스템에 더 이상 글릿이 남지 않을 때까지 적어도 하나 이상의 글릿을 할당하고, 할당된 글릿의 시간적 스케줄링을 수행하는 다중 GPU 환경 기반 시공간분할 스케줄링 방법
|
| 10 |
10
다중 GPU 환경 기반 시공간분할 스케줄링 시스템에 의해 다중 GPU 환경 기반 시공간분할 스케줄링 방법을 실행시키기 위해 컴퓨터 판독 가능한 저장 매체에 저장된 프로그램에 있어서,스케줄러가 구성 가능한 GPU 자원을 사용하여 최적의 자원 양을 가진 가상 GPU인 글릿(glet)을 생성하는 단계; 스케줄러가 수신 요청률 모니터링 및 오프라인에서의 퍼포먼스 통계를 수집하는 성능 프로파일러를 이용하여 배치 크기 및 글릿(glet) 크기의 쌍에 대한 추론 지연을 포함하는 스케줄링을 결정하는 단계; 스케줄러가 미리 정해진 주기로 트리거되어 재스케줄링이 필요한지 여부를 판단하고, 상기 글릿의 크기 및 글릿에 대한 모델 할당을 결정하는 단계; 및동적 파티션 재구성부를 통해 상기 스케줄러가 결정한 스케줄링에 기초하여 다음 추론 요청을 처리하도록 GPU 상의 글릿을 준비하는 단계를 포함하는 컴퓨터 판독 가능한 저장 매체에 저장된 프로그램
|
