맞춤기술찾기

홈으로 가기
맞춤기술찾기
이전대상기술
프린트하기

이전대상기술

공유 GPU 클러스터를 위한 분산 딥러닝 작업 스케줄링 방법 및 이를 기록한 컴퓨터 판독 가능 기록매체

  • 기술번호 : KST2021011028
  • 담당센터 : 대전기술혁신센터
  • 전화번호 : 042-610-2279
상담신청 PDF 받기
요약, Int. CL, CPC, 출원번호/일자, 출원인, 등록번호/일자, 공개번호/일자, 공고번호/일자, 국제출원번호/일자, 국제공개번호/일자, 우선권정보, 법적상태, 심사진행상태, 심판사항, 구분, 원출원번호/일자, 관련 출원번호, 기술이전 희망, 심사청구여부/일자, 심사청구항수의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 서지정보 표입니다.
요약 본 발명에 따른 작업 스케줄링 방법은 딥러닝 모델을 학습하는 공유 GPU 클러스터를 위한 작업 스케줄링 방법으로, 다수의 작업에 대한 GPU 할당량을 판단하는 판단 단계, 다수의 작업에 대하여 1개의 GPU를 추가하는 경우의 학습 속도를 추정하는 추정 단계, 다수의 작업에 대하여 추정된 각 학습 속도에 기초하여, 스피드업 증가량이 가장 큰 작업을 추출하는 추출 단계, 추출된 작업에 대하여 GPU 할당량을 1개 추가하는 할당 단계 및 다수의 작업 모두에 대하여 적어도 1개의 GPU가 할당될 때까지 상기 추정 단계, 추출 단계 및 할당 단계를 순차적으로 반복하는 반복 단계를 포함하고, 상기 스피드업은 (GPU 1개 사용시의 학습 속도)/(GPU 추가 할당시의 학습 속도)로 정의된다. 본 발명에 따른 공유 GPU 클러스터를 위한 분산 딥러닝 작업 스케줄링 방법 및 이를 기록한 컴퓨터 판독 가능 기록매체에 의하면, 딥러닝 모델의 학습 속도 향상을 바탕으로 전체 GPU를 최대한 효율적으로 활용하도록 분배함으로써 GPU 클러스터를 효율적으로 관리할 수 있게 된다. 특히, GPU 클러스터상에서 딥러닝 모델을 학습하는 복수 개의 작업을 동시에 스케줄링할 때, 평균 작업 완료 시간과 모든 전체 완료 시간을 최소화할 수 있는 기술적 효과를 갖는다.
Int. CL G06F 9/50 (2018.01.01) G06F 9/48 (2018.01.01) G06N 3/08 (2006.01.01) G06N 20/00 (2019.01.01)
CPC G06F 9/5055(2013.01) G06F 9/505(2013.01) G06F 9/4887(2013.01) G06N 3/08(2013.01) G06N 20/00(2013.01)
출원번호/일자 1020200031023 (2020.03.12)
출원인 한국과학기술원
등록번호/일자
공개번호/일자 10-2021-0115370 (2021.09.27) 문서열기
공고번호/일자
국제출원번호/일자
국제공개번호/일자
우선권정보
법적상태 등록
심사진행상태 수리
심판사항
구분 국내출원/신규
원출원번호/일자
관련 출원번호
심사청구여부/일자 Y (2020.03.12)
심사청구항수 9

출원인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 출원인 표입니다.
번호 이름 국적 주소
1 한국과학기술원 대한민국 대전광역시 유성구

발명자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 발명자 표입니다.
번호 이름 국적 주소
1 박경수 대전 유성구
2 황창호 대전 유성구
3 손규호 대전 유성구
4 김태현 대전 유성구
5 신진우 대전 유성구

대리인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 대리인 표입니다.
번호 이름 국적 주소
1 김성호 대한민국 서울특별시 강남구 도곡로 *** (역삼동,미진빌딩 *층)(KNP 특허법률사무소)

최종권리자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 최종권리자 표입니다.
번호 이름 국적 주소
최종권리자 정보가 없습니다
번호, 서류명, 접수/발송일자, 처리상태, 접수/발송일자의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 행정처리 표입니다.
번호 서류명 접수/발송일자 처리상태 접수/발송번호
1 [특허출원]특허출원서
[Patent Application] Patent Application		 2020.03.12 수리 (Accepted) 1-1-2020-0264921-22
2 출원인정보변경(경정)신고서
Notification of change of applicant's information		 2020.05.15 수리 (Accepted) 4-1-2020-5108396-12
3 출원인정보변경(경정)신고서
Notification of change of applicant's information		 2020.06.12 수리 (Accepted) 4-1-2020-5131486-63
4 선행기술조사의뢰서
Request for Prior Art Search		 2021.02.18 수리 (Accepted) 9-1-9999-9999999-89
5 선행기술조사보고서
Report of Prior Art Search		 2021.04.15 발송처리완료 (Completion of Transmission) 9-6-2021-0071544-01
6 의견제출통지서
Notification of reason for refusal		 2021.06.04 발송처리완료 (Completion of Transmission) 9-5-2021-0447689-07
7 [명세서등 보정]보정서
[Amendment to Description, etc.] Amendment		 2021.07.06 보정승인간주 (Regarded as an acceptance of amendment) 1-1-2021-0776863-26
8 [거절이유 등 통지에 따른 의견]의견서·답변서·소명서
 2021.07.06 수리 (Accepted) 1-1-2021-0776864-72
번호, 청구항의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 청구항 표입니다.
번호 청구항
1 1
딥러닝 모델을 학습하는 공유 GPU 클러스터를 위한 작업 스케줄링 방법으로,다수의 작업에 대한 GPU 할당량을 판단하는 판단 단계;상기 다수의 작업에 대하여 1개의 GPU를 추가하는 경우의 학습 속도를 추정하는 추정 단계;상기 다수의 작업에 대하여 추정된 각 학습 속도에 기초하여, 스피드업 증가량이 가장 큰 작업을 추출하는 추출 단계;추출된 작업에 대하여 GPU 할당량을 1개 추가하는 할당 단계; 및상기 다수의 작업 모두에 대하여 적어도 1개의 GPU가 할당될 때까지 상기 추정 단계, 추출 단계 및 할당 단계를 순차적으로 반복하는 반복 단계;를 포함하고,상기 스피드업은 (GPU 1개 사용시의 학습 속도)/(GPU 추가 할당시의 학습 속도)로 정의되는 작업 스케줄링 방법
2 2
제1항에 있어서,상기 판단 단계는, 상기 다수의 작업에 대한 초기 GPU 할당량을 0으로 판단하는 작업 스케줄링 방법
3 3
제1항에 있어서,상기 다수의 작업에 대한 GPU 분배가 끝난 후, 상기 모든 작업에 대하여 GPU 할당량을 1개씩 감소시키는 경우 상기 다수의 작업에 대한 스피드업 감소량은 기설정된 범위 이내이고,상기 스피드업 감소량은 (GPU 1개 사용시의 학습 속도)/(GPU 할당량 제거시의 학습 속도)로 정의되는 작업 스케줄링 방법
4 4
제1항에 있어서,상기 추정 단계는,하나의 GPU에서 입력 데이터 배치(batch)의 데이터가 입력된 시점으로부터 상기 딥러닝 모델의 각 모델 변수(variable)의 기울기(gradient) 값이 계산되어 CPU 메모리에 쓰여지기까지 걸리는 제1 시간 및 상기 각 모델 변수를 CPU에서 업데이트하는데 걸리는 제2 시간을 실측하는 측정 단계; 및상기 제1 시간과 상기 제2 시간을 이용하여 상기 딥러닝 모델의 학습 시간을 예측하는 학습시간 예측 단계;를 포함하고,상기 학습 시간 예측 단계는, 상기 제1 시간에 기초하여, 상기 각 모델 변수 별로 상기 데이터가 입력된 시점으로부터 해당 모델 변수의 기울기 값이 상기 CPU 메모리에 쓰여지기까지의 시간을 예측하는 제1 예측 단계;상기 제2 시간에 기초하여, 상기 해당 모델 변수를 상기 CPU에 업데이트하는데 걸리는 시간을 연산하는 연산 단계;네트워크를 통해 상기 해당 모델 변수와 상기 해당 모델 변수의 기울기 값을 서버들 간에 주고 받는데 걸리는 시간을 예측하는 제2 예측 단계;상기 각 모델 변수 별로 상기 제1 예측 단계에서 예측된 시간, 상기 연산 단계에서 연산된 시간 및 상기 제2 예측 단계에서 예측된 시간을 합산하여 상기 각 모델 변수 별 합산 시간을 연산하는 합산 단계; 및모든 모델 변수들에 대한 합산 시간들 중에서 최대값을 상기 학습 시간으로 예측하는 제3 예측 단계;를 포함하는 작업 스케줄링 방법
5 5
제4항에 있어서,상기 측정 단계는, 상기 입력 데이터 배치의 크기를 1부터 시작하여 2배씩 늘려가면서 상기 제1 시간을 측정하는 작업 스케줄링 방법
6 6
제5항에 있어서,상기 측정 단계는,측정된 다수의 제1 시간들 사이 구간을 선형 피팅(fitting)함으로써 임의의 크기를 갖는 입력 데이터 배치에 대한 상기 제1 시간을 예측하는 작업 스케줄링 방법
7 7
제4항에 있어서,상기 제2 예측 단계에서 예측된 시간은, 하기의 수학식에 의해 결정되는 작업 스케줄링 방법
8 8
제7항에 있어서,상기 학습 시간과 실제 학습 시간과의 차이가 미리 설정된 임계 값을 초과하면, 상기 보정상수를 다른 값으로 보정하는 보정 단계;를 더 포함하는 작업 스케줄링 방법
9 9
제1항 내지 제8항 중 어느 한 항에 기재된 작업 스케줄링 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터 판독 가능 기록매체
지정국 정보가 없습니다
패밀리정보가 없습니다
순번, 연구부처, 주관기관, 연구사업, 연구과제의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 국가R&D 연구정보 정보 표입니다.
순번 연구부처 주관기관 연구사업 연구과제
1 과학기술정보통신부 한국과학기술원 정보통신.방송 연구개발사업 (EZBARO)자율지능 동반자를 위한 적응형 기계학습기술 연구개발(2017)