| 1 |
1
다중 HMC(Hybrid Memory Cube) 기반 PIM(Processing in Memory)에서의 심층신경망 태스크 스케줄링(DNN Task Scheduling) 방법에 있어서,상기 HMC 간 링크들에 대한 지속 가능한 대역폭에 기반하여 심층신경망 그래프의 태스크 파티션을 생성하는 단계;심층신경망 중간 처리 결과의 평균 통신 지연시간을 숨기도록 상기 생성된 태스크 파티션 및 상기 HMC를 매핑하는 단계; 및리타이밍(retiming) 기법을 사용하여 상기 태스크 파티션에 대한 스케줄링을 수행하는 단계;를 포함하는, 심층신경망 태스크 스케줄링 방법
|
| 2 |
2
제1항에 있어서,상기 태스크 파티션은 상기 심층신경망 그래프의 레이어에 수직하게 생성되는 것을 특징으로 하는 심층신경망 태스크 스케줄링 방법
|
| 3 |
3
제2항에 있어서,상기 태스크 파티션은 상기 HMC 간 통신이 감소되도록 생성되는 것을 특징으로 하는 심층신경망 태스크 스케줄링 방법
|
| 4 |
4
제3항에 있어서,상기 태스크 파티션은,(z1) 상기 심층신경망 그래프에서, 정점 수가 가장 많은 레이어에서의 파티션 당 정점 수가 단일 HMC 내 PE(Processing Element) 수 보다 큼;(z2) 상기 HMC 간 링크들의 데이터 전송 지연시간을 상기 HMC 간 통신의 데이터 전송 지연시간으로 나눈 제1 값을 파티션 간 외부 에지 개수에 곱하여 제2 값을 획득하되, 파티션의 내부 에지 개수가 상기 제2 값보다 큼; 및(z3) 상기 파티션 간 외부 에지 개수가 상기 HMC 간 링크들의 대역폭 요구사항보다 작음;상기 (z1) 내지 (z3)의 조건을 만족하는 경우에 생성되는 것을 특징으로 하는 심층신경망 태스크 스케줄링 방법
|
| 5 |
5
제4항에 있어서,상기 태스크 파티션은, 상기 심층신경망 그래프의 지향 에지 및 상기 HMC 간의 전이중(full duplex) 통신 링크를 기반으로 수정된 Kernighan-Lin 알고리즘을 재귀적으로 사용하여 생성되는 것을 특징으로 하는 심층신경망 태스크 스케줄링 방법
|
| 6 |
6
제1항에 있어서,상기 심층신경망 중간 처리 결과의 평균 통신 지연시간의 숨김은, 상기 생성된 태스크 파티션들 간의 크기 차이에 따른 불균일한 연산량에 기인한 유휴 시간을 이용하여 상기 숨김이 이루어지는 것을 특징으로 하는 심층신경망 태스크 스케줄링 방법
|
| 7 |
7
제6항에 있어서,상기 생성된 태스크 파티션들 중 크기가 큰 태스크 파티션들을 상기 HMC에 할당하여 상기 HMC 간 통신 홉 카운트를 감소시키는 것을 특징으로 하는 심층신경망 태스크 스케줄링 방법
|
| 8 |
8
제1항에 있어서,상기 태스크 파티션에 대한 스케줄링을 수행하는 단계는,초기 스케줄을 생성하는 단계; 및PE(Processing Element) 간의 통신 대기 시간 및 PF 버퍼(Prefetch Buffer) 용량을 기반으로 중간 결과 스케줄을 생성하는 단계;를 포함하는 것을 특징으로 하는 심층신경망 태스크 스케줄링 방법
|
| 9 |
9
제8항에 있어서,상기 초기 스케줄을 생성하는 단계는,(a) 상기 HMC의 현재 PE 활용률을 산출하는 단계;(b) 상기 산출된 현재 PE 활용률이 기 설정된 임계 PE 활용률 미만이면 다른 입력에 대응하는 심층신경망 태스크 세트를 할당하는 단계; 및(c) 상기 현재 PE 활용률이 상기 임계 PE 활용률을 초과할 때까지 상기 (b)단계를 반복하는 단계;를 포함하는 것을 특징으로 하는 심층신경망 태스크 스케줄링 방법
|
| 10 |
10
제8항에 있어서,상기 중간 결과 스케줄을 생성하는 단계는,중간 결과에 대한 최대 리타이밍 값의 행렬을 반복적으로 가져오는 동적 프로그래밍 모델을 사용하여 수행되는 것을 특징으로 하는 심층신경망 태스크 스케줄링 방법
|
| 11 |
11
다중 HMC(Hybrid Memory Cube) 기반 PIM(Processing in Memory)에서의 심층신경망 태스크 스케줄링(DNN Task Scheduling) 장치에 있어서,사용자와 데이터를 송수신하는 통신부;심층신경망 태스크 스케줄링 알고리즘이 저장되는 메모리;상기 메모리와 접속되는 적어도 하나의 프로세서; 및 입출력부를 포함하고,상기 적어도 하나의 프로세서는,상기 HMC 간 링크들에 대한 지속 가능한 대역폭에 기반하여 심층신경망 그래프의 태스크 파티션을 생성하는 동작;심층신경망 중간 처리 결과의 평균 통신 지연시간을 숨기도록 상기 생성된 태스크 파티션 및 상기 HMC를 매핑하는 동작; 및리타이밍(retiming) 기법을 사용하여 상기 태스크 파티션에 대한 스케줄링을 수행하는 동작;을 수행하는, 심층신경망 태스크 스케줄링 장치
|
| 12 |
12
제11항에 있어서,상기 태스크 파티션은 상기 심층신경망 그래프의 레이어에 수직하게 생성되는 것을 특징으로 하는 심층신경망 태스크 스케줄링 장치
|
| 13 |
13
제12항에 있어서,상기 태스크 파티션은 상기 HMC 간 통신이 감소되도록 생성되는 것을 특징으로 하는 심층신경망 태스크 스케줄링 장치
|
| 14 |
14
제13항에 있어서,상기 태스크 파티션은,(z1) 상기 심층신경망 그래프에서, 정점 수가 가장 많은 레이어에서의 파티션 당 정점 수가 단일 HMC 내 PE(Processing Element) 수 보다 큼;(z2) 상기 HMC 간 링크들의 데이터 전송 지연시간을 상기 HMC 간 통신의 데이터 전송 지연시간으로 나눈 제1 값을 파티션 간 외부 에지 개수에 곱하여 제2 값을 획득하되, 파티션의 내부 에지 개수가 상기 제2 값보다 큼; 및(z3) 상기 파티션 간 외부 에지 개수가 상기 HMC 간 링크들의 대역폭 요구사항보다 작음;상기 (z1) 내지 (z3)의 조건을 만족하는 경우에 생성되는 것을 특징으로 하는 심층신경망 태스크 스케줄링 장치
|
| 15 |
15
제14항에 있어서,상기 태스크 파티션은, 상기 심층신경망 그래프의 지향 에지 및 상기 HMC 간의 전이중(full duplex) 통신 링크를 기반으로 수정된 Kernighan-Lin 알고리즘을 재귀적으로 사용하여 생성되는 것을 특징으로 하는 심층신경망 태스크 스케줄링 장치
|
| 16 |
16
제11항에 있어서,상기 심층신경망 중간 처리 결과의 평균 통신 지연시간의 숨김은, 상기 생성된 태스크 파티션들 간의 크기 차이에 따른 불균일한 연산량에 기인한 유휴 시간을 이용하여 상기 숨김이 이루어지는 것을 특징으로 하는 심층신경망 태스크 스케줄링 장치
|
| 17 |
17
제16항에 있어서,상기 생성된 태스크 파티션들 중 크기가 큰 태스크 파티션들을 상기 HMC에 할당하여 상기 HMC 간 통신 홉 카운트를 감소시키는 것을 특징으로 하는 심층신경망 태스크 스케줄링 장치
|
| 18 |
18
제11항에 있어서,상기 태스크 파티션에 대한 스케줄링을 수행하는 동작은,초기 스케줄을 생성하는 동작; 및PE(Processing Element) 간의 통신 대기 시간 및 PF 버퍼(Prefetch Buffer) 용량을 기반으로 중간 결과 스케줄을 생성하는 동작;을 포함하는 것을 특징으로 하는 심층신경망 태스크 스케줄링 장치
|
| 19 |
19
제18항에 있어서,상기 초기 스케줄을 생성하는 동작은,(a) 상기 HMC의 현재 PE 활용률을 산출하는 동작;(b) 상기 산출된 현재 PE 활용률이 기 설정된 임계 PE 활용률 미만이면 다른 입력에 대응하는 심층신경망 태스크 세트를 할당하는 동작; 및(c) 상기 현재 PE 활용률이 상기 임계 PE 활용률을 초과할 때까지 상기 (b)단계를 반복하는 동작;을 포함하는 것을 특징으로 하는 심층신경망 태스크 스케줄링 장치
|
| 20 |
20
제18항에 있어서,상기 중간 결과 스케줄을 생성하는 동작은,중간 결과에 대한 최대 리타이밍 값의 행렬을 반복적으로 가져오는 동적 프로그래밍 모델을 사용하여 수행되는 것을 특징으로 하는 심층신경망 태스크 스케줄링 장치
|
| 21 |
21
다중 HMC(Hybrid Memory Cube) 기반 PIM(Processing in Memory)에서의 심층신경망 태스크 스케줄링(DNN Task Scheduling)을 위해 디지털 처리 장치에 의해 실행될 수 있는 명령어들의 프로그램이 유형적으로 구현되어 있으며, 디지털 처리 장치에 의해 판독될 수 있는 기록매체로서,제1항 내지 제10항 중 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터 판독 가능한 기록매체
|
