| 1 |
1
GPGPU 환경에서의 타일링 기반 GEMM에 대하여 지도 학습 기법을 활용한 타일링 파라미터 예측 방법에 있어서,타일링 기반 GEMM(GEneral Matrix Multiplication)을 사용하는 GPU 환경에서 DNN 응용의 정보를 분석하여 합성 데이터 세트를 생성하는 단계;상기 합성 데이터 세트를 기반으로 완전 연결 계층(fully-connected layer)으로 구성된 인공 신경망 모델을 학습하는 단계; 상기 학습된 모델을 사용하여 타겟 DNN 응용의 레이어 정보 및 타겟 CPU의 정보를 기반으로 타일링 파라미터를 예측하는 단계;상기 예측된 타일링 파라미터를 DNN 응용의 런타임에 해당 타일링 파라미터를 적용하는 단계를 포함하는 것을 특징으로 하는 GPGPU 환경에서의 타일링 기반 GEMM에 대하여 지도 학습 기법을 활용한 타일링 파라미터 예측 방법
|
| 2 |
2
제1항에 있어서,상기 타일링 기반 GEMM(GEneral Matrix Multiplication)을 사용하는 GPU 환경에서 DNN 응용의 정보를 분석하여 합성 데이터 세트를 생성하는 단계는상기 GPU 환경에서 DNN 응용의 각 레이어 별 GEMM의 크기 및 실제 신경망에서 GEMM작업의 각 차원의 범위를 분석하여 합성 데이터 세트를 생성하는 단계를 포함하는 것을 특징으로 하는 GPGPU 환경에서의 타일링 기반 GEMM에 대하여 지도 학습 기법을 활용한 타일링 파라미터 예측 방법
|
| 3 |
3
제2항에 있어서,상기 GEMM작업의 각 차원(M, N, K) 중 치수 M은 신경망의 출력 뉴런을 의미하고, 차수 K는 입력 뉴런의 수를 의미하고, 차수 N은 대상 신경망의 배치 크기를 의미하는 것을 특징으로 하는 GPGPU 환경에서의 타일링 기반 GEMM에 대하여 지도 학습 기법을 활용한 타일링 파라미터 예측 방법
|
| 4 |
4
제1항에 있어서,각 GEMM 작업에 따라 WT(warp tiles) 크기 및 TBT(threadblock tiles)의 크기를 변경하여 복수의 타일 구성 집합을 정의하는 단계; 및상기 합성 데이터 세트 중 상기 복수의 타일 구성 집합에 대한 브루트 포스를 검색한 후 상기 브루트 포스 검색 결과를 최적 타일 구성 테이블로 기록하는 단계를 더 포함하는 것을 특징으로 하는 GPGPU 환경에서의 타일링 기반 GEMM에 대하여 지도 학습 기법을 활용한 타일링 파라미터 예측 방법
|
| 5 |
5
제1항에 있어서,상기 합성 데이터 세트를 기반으로 완전 연결 계층(fully-connected layer)으로 구성된 인공 신경망 모델을 학습하는 단계는상기 합성 데이터 세트의 상기 브루트 포스 검색을 완료한 후 상기 최적 타일 구성 테이블을 사용하여 상기 인공 신경망 모델을 학습하는 단계를 포함하는 것을 특징으로 하는 GPGPU 환경에서의 타일링 기반 GEMM에 대하여 지도 학습 기법을 활용한 타일링 파라미터 예측 방법
|
| 6 |
6
타일링 기반 GEMM(GEneral Matrix Multiplication)을 사용하는 GPU 환경에서 DNN 응용의 정보를 분석하여 합성 데이터 세트를 생성하는 브루트 포스 검색부;상기 합성 데이터 세트를 기반으로 완전 연결 계층(fully-connected layer)으로 구성된 인공 신경망 모델을 학습하는 모델 트레이닝부; 및상기 학습된 모델을 사용하여 타겟 DNN 응용의 레이어 정보 및 타겟 CPU의 정보를 기반으로 타일링 파라미터를 예측하고, 상기 예측된 타일링 파라미터를 DNN 응용의 런타임에 해당 타일링 파라미터를 적용하는 실제 DNN 적용부를 포함하는 것을 특징으로 하는GPGPU 환경에서의 타일링 기반 GEMM에 대하여 지도 학습 기법을 활용한 타일링 파라미터 예측 프레임워크
|
| 7 |
7
제6항에 있어서,상기 브루트 포스 검색부는상기 GPU 환경에서 DNN 응용의 각 레이어 별 GEMM의 크기 및 실제 신경망에서 GEMM작업의 각 차원(M, N, K)의 범위를 분석하여 합성 데이터 세트를 생성하는 것을 특징으로 하는GPGPU 환경에서의 타일링 기반 GEMM에 대하여 지도 학습 기법을 활용한 타일링 파라미터 예측 프레임워크
|
| 8 |
8
제7항에 있어서,상기 브루트 포스 검색부는상기 GEMM작업의 각 차원(M, N, K) 중 치수 M은 신경망의 출력 뉴런을 의미하고, 차수 K는 입력 뉴런의 수를 의미하고, 차수 N은 대상 신경망의 배치 크기를 의미하는 것을 특징으로 하는 GPGPU 환경에서의 타일링 기반 GEMM에 대하여 지도 학습 기법을 활용한 타일링 파라미터 예측 프레임워크
|
| 9 |
9
제7항에 있어서,상기 모델 트레이닝부는각 GEMM 작업에 따라 WT(warp tiles) 크기 및 TBT(threadblock tiles)의 크기를 변경하여 복수의 타일 구성 집합을 정의하고, 상기 합성 데이터 세트 중 상기 복수의 타일 구성 집합에 대한 브루트 포스 검색 후 상기 브루트 포스 검색 결과를 최적 타일 구성 테이블로 기록하는 것을 특징으로 하는 GPGPU 환경에서의 타일링 기반 GEMM에 대하여 지도 학습 기법을 활용한 타일링 파라미터 예측 프레임워크
|
| 10 |
10
제6항에 있어서,상기 모델 트레이닝부는상기 합성 데이터 세트의 상기 브루트 포스 검색을 완료한 후 상기 최적 타일 구성 테이블을 사용하여 상기 인공 신경망 모델을 학습하는 것을 특징으로 하는 GPGPU 환경에서의 타일링 기반 GEMM에 대하여 지도 학습 기법을 활용한 타일링 파라미터 예측 프레임워크
|
