| 1 |
1
시스톨릭 어레이(systolic array) 구조의 추론용 신경망 연산장치(neural processing unit, NPU) 환경에서 지도학습기법 기반 최적의 계층별 실행정책(layer-wise execution policy) 예측 방법으로서,타겟 심층신경망(deep neural network, DNN) 응용의 각 계층별 커널 파라미터와 타겟 NPU(neural processing unit)의 가용 자원을 분석하는 단계;상기 타겟 DNN 응용의 레이어 정보 및 타겟 NPU 정보를 기반으로 학습된 모델을 통해 각 상황별 또는 각 계층별로 가장 좋은 성능을 나타내는 팩터인 최적 팩터를 검색하는 단계; 및상기 최적 팩터에 기초하여 예측한 실행정책을 DNN 응용 런타임(runtime)에 적용하는 단계;를 포함하는 지도학습기법 기반 계층별 실행정책 예측 방법
|
| 2 |
2
청구항 1에 있어서,상기 분석하는 단계는, DNN 커널들의 레이어 구성, 레이어들의 배치, 신경망 파라미터들을 포함한 커널 특징을 획득하는 것을 포함하는, 지도학습기법 기반 계층별 실행정책 예측 방법
|
| 3 |
3
청구항 1에 있어서,상기 분석하는 단계는, 상기 타겟 NPU의 PE(processing element) 자원이나, 온-칩 스크래치패드(on-chip scratchpad) 메모리 및 오프-칩(off-chip) 메모리의 메모리 제한(memory limits)에 대한 NPU 특징을 획득하는 것을 포함하는, 지도학습기법 기반 계층별 실행정책 예측 방법
|
| 4 |
4
청구항 1에 있어서,상기 계층별로 최적 팩터를 검색하는 단계는, 각 DNN 레이어에 대하여 각 타일링 팩터(tiling factor)를 도출하고, 각 클러스터링 팩터(clustering factor)를 도출하고, 각 데이터플로우(dataflow)를 도출하는 것을 포함하는, 지도학습기법 기반 계층별 실행정책 예측 방법
|
| 5 |
5
청구항 1에 있어서,상기 DNN 응용 런타임에 적용하는 단계는,상기 타겟 DNN 응용의 행렬 곱셈 연산 및 합성곱 연산 레이어를 추출하는 단계;상기 타겟 NPU 및 레이어 특징을 기반으로 실행정책 세트를 예측하는 단계;각 레이어 별로 도출된 실행정책 세트를 적용하여 컴파일을 수행하는 단계; 및컴파일된 레이어를 통해 DNN 응용을 수행하는 단계를 포함하는, 지도학습기법 기반 계층별 실행정책 예측 방법
|
| 6 |
6
청구항 1에 있어서,상기 검색하는 단계 전에, 무차별 조사를 통해 획득한 데이터를 기반으로 전연결 레이어로 구성된 신경망을 통해 예측 모델을 학습시키는 단계를 더 포함하는, 지도학습기법 기반 계층별 실행정책 예측 방법
|
| 7 |
7
청구항 6에 있어서,상기 학습시키는 단계는,상기 예측 모델의 훈련을 위한 연산 특징 또는 커널 특징과 NPU 특징을 분류하는 단계;전연결 레이어로 구성된 인공 신경망(artificial neural network)을 구축하는 단계; 및합성 데이터 세트 및 분류된 특징 세트를 기반으로 DNN을 통해 예측 모델을 훈련시키는 단계를 포함하는, 지도학습기법 기반 계층별 실행정책 예측 방법
|
| 8 |
8
청구항 7에 있어서,상기 학습시키는 단계 전에, 지도학습기법을 통한 모델 학습을 위하여 무차별 조사(brute-force search)를 진행하는 단계를 더 포함하는, 지도학습기법 기반 계층별 실행정책 예측 방법
|
| 9 |
9
청구항 8에 있어서,상기 무차별 조사를 진행하는 단계는, 예측 모델 학습에 사용가능한 모든 정답을 가진 데이터 세트의 범위에서 수행되는, 지도학습기법 기반 계층별 실행정책 예측 방법
|
| 10 |
10
시스톨릭 어레이(systolic array) 구조의 추론용 신경망 연산장치(neural processing unit, NPU) 환경에서 지도학습기법 기반 최적의 계층별 실행정책(layer-wise execution policy)을 예측하는 장치로서,적어도 하나 이상의 프로세서; 및상기 적어도 하나 이상의 프로세서에 의해 실행되는 적어도 하나의 명령을 저장하는 메모리를 포함하며,상기 적어도 하나의 명령에 의해 상기 적어도 하나 이상의 프로세서는,타겟 심층신경망(deep neural network, DNN) 응용의 각 계층별 커널 파라미터와 타겟 NPU(neural processing unit)의 가용 자원을 분석하고,상기 타겟 DNN 응용의 레이어 정보 및 타겟 NPU 정보를 기반으로 학습된 모델을 통해 각 상황별 또는 각 계층별로 가장 우수한 성능을 나타내는 팩터인 최적 팩터를 검색하고,상기 최적 팩터에 기초하여 예측한 실행정책을 DNN 응용 런타임(runtime)에 적용하는, 지도학습기법 기반 계층별 실행정책 예측 장치
|
| 11 |
11
청구항 10에 있어서,상기 프로세서는, 상기 가용 자원을 분석하는 과정에서, DNN 커널들의 레이어 구성, 레이어들의 배치, 신경망 파라미터들을 포함한 커널 특징을 획득하는, 지도학습기법 기반 계층별 실행정책 예측 장치
|
| 12 |
12
청구항 11에 있어서,상기 프로세서는, 상기 가용 자원을 분석하는 과정에서, 상기 타겟 NPU의 PE(processing element) 자원이나, 온-칩 스크래치패드(on-chip scratchpad) 메모리 및 오프-칩(off-chip) 메모리의 메모리 제한(memory limits)에 대한 NPU 특징을 획득하는, 지도학습기법 기반 계층별 실행정책 예측 장치
|
| 13 |
13
청구항 11에 있어서,상기 프로세서는, 상기 계층별로 최적 팩터를 검색하는 과정에서, 각 DNN 레이어에 대하여 각 타일링 팩터(tiling factor)를 도출하고, 각 클러스터링 팩터(clustering factor)를 도출하고, 각 데이터플로우(dataflow)를 도출하는, 지도학습기법 기반 계층별 실행정책 예측 장치
|
| 14 |
14
청구항 11에 있어서,상기 프로세서는, 상기 DNN 응용 런타임에 적용하는 과정에서,상기 타겟 DNN 응용의 행렬 곱셈 연산 및 합성곱 연산 레이어를 추출하고,상기 타겟 NPU 및 레이어 특징을 기반으로 실행정책 세트를 예측하고,각 레이어 별로 도출된 실행정책 세트를 적용하여 컴파일을 수행하고,컴파일된 레이어를 통해 DNN 응용을 수행하는, 지도학습기법 기반 계층별 실행정책 예측 장치
|
| 15 |
15
청구항 11에 있어서,상기 프로세서는,상기 계층별로 최적 팩터를 검색하기 전에, 무차별 조사를 통해 획득한 데이터를 기반으로 전연결 레이어로 구성된 신경망을 통해 예측 모델을 학습시키며,상기 예측 모델을 학습시키는 과정에서, 상기 예측 모델의 훈련을 위한 연산 특징 또는 커널 특징과 NPU 특징을 분류하고, 전연결 레이어로 구성된 인공 신경망(artificial neural network)을 구축하고, 합성 데이터 세트 및 분류된 특징 세트를 기반으로 DNN을 통해 예측 모델을 훈련시키는, 지도학습기법 기반 계층별 실행정책 예측 장치
|
| 16 |
16
청구항 15에 있어서,상기 프로세서는, 상기 예측 모델을 학습시키기 전에, 지도학습기법을 통한 모델 학습을 위하여 예측 모델 학습에 사용가능한 모든 정답을 가진 데이터 세트의 범위에서 무차별 조사(brute-force search)를 진행하는, 지도학습기법 기반 계층별 실행정책 예측 장치
|
