| 1 |
1
딥 러닝 모델의 제1 생성 레이어에서 텐서를 생성하고 상기 텐서의 각각의 데이터 원소의 0 여부를 나타내는 제1 보조 데이터 구조를 생성하는 단계; 및 상기 제1 생성 레이어에 후속하는 제1 소비 레이어에서 상기 제1 보조 데이터 구조를 이용하여 상기 텐서에 대한 연산을 수행하는 단계;를 포함하고,상기 텐서는 상기 딥 러닝 모델에서의 추론을 위한 입력 데이터에 의해 생성되는 데이터인, 딥 러닝 모델 추론 방법
|
| 2 |
2
제1항에 있어서, 상기 제1 보조 데이터 구조는 상기 텐서와 동일 차원의 어레이에 각각의 데이터 원소의 0 여부를 나타내는 비트-마스크 어레이이거나 0이 아닌 데이터 원소의 위치를 나타내는 인덱스를 저장하는 인덱스 테이블인, 딥 러닝 모델 추론 방법
|
| 3 |
3
제2항에 있어서, 상기 제1 소비 레이어에서 상기 텐서에 대한 연산을 수행하는 단계는 상기 제1 보조 데이터 구조를 이용하여 지정된 사이즈의 벡터 연산을 통해 합성곱 연산을 수행하는 단계를 포함하고, 상기 제1 보조 데이터 구조는 상기 지정된 사이즈 단위로 상기 지정된 사이즈의 일련의 데이터 원소들 모두가 0 여부를 나타내는, 딥 러닝 모델 추론 방법
|
| 4 |
4
제1항에 있어서, 상기 제1 생성 레이어에서 텐서를 생성하고 제1 보조 데이터 구조를 생성하는 단계는 상기 제1 생성 레이어의 액티베이션 함수가 다른 레이어의 액티베이션 함수의 임계치와 다른 설정된 제1 임계치에 따라 합성곱 데이터 원소를 설정하는 단계 및 상기 액티베이션 함수 또는 후속 함수가 제1 보조 데이터 구조에 생성되는 텐서의 데이터 원소의 0 여부를 나타내는 데이터를 저장하는 단계를 포함하는, 딥 러닝 모델 추론 방법
|
| 5 |
5
제4항에 있어서, 상기 액티베이션 함수는 상기 제1 임계치 이하의 합성곱 데이터 원소를 0으로 설정하는 ReLU 함수인, 딥 러닝 모델 추론 방법
|
| 6 |
6
제4항에 있어서, 딥 러닝 모델의 제2 생성 레이어에서 상기 제1 임계치와 다른 제2 임계치를 이용하여 텐서를 생성하고 상기 텐서의 각각의 데이터 원소의 0 여부를 나타내는 제2 보조 데이터 구조를 생성하는 단계; 및 상기 제2 생성 레이어에 후속하는 제2 소비 레이어에서 상기 제2 보조 데이터 구조를 이용하여 상기 텐서에 대한 연산을 수행하는 단계;를 더 포함하는,딥 러닝 모델 추론 방법
|
| 7 |
7
제6항에 있어서, 상기 제1 생성 레이어의 제1 임계치는 상기 제1 소비 레이어로 지정된 희소성 비율 이상의 입력 텐서를 제공하도록 상기 제1 생성 레이어에 대한 프로파일링에 따라 설정되는 임계치이고, 상기 제2 생성 레이어의 제2 임계치는 상기 제2 소비 레이어로 상기 지정된 희소성 비율 이상의 입력 텐서를 제공하도록 상기 제2 생성 레이어에 대한 프로파일링에 따라 설정되는 임계치이고, 상기 제1 소비 레이어 및 상기 제2 소비 레이어는 상기 딥 러닝 모델의 복수의 레이어중 프로파일링에 따라 측정된 수행 시간에 따라 선택되는 레이어인, 딥 러닝 모델 추론기
|
| 8 |
8
프로그램 명령어를 수행하는 제어부; 및 딥 러닝 모델에 대응하는 딥 러닝 프로그램을 저장하는 저장부;를 포함하고, 상기 딥 러닝 프로그램을 수행하는 제어부는, 상기 딥 러닝 모델의 제1 생성 레이어에서 텐서와 상기 텐서의 각각의 데이터 원소의 0 여부를 나타내는 제1 보조 데이터 구조를 생성하고 상기 제1 생성 레이어에 후속하는 제1 소비 레이어에서 상기 제1 보조 데이터 구조를 이용하여 상기 텐서에 대한 연산을 수행하며,상기 텐서는 상기 딥 러닝 모델에서의 추론을 위한 입력 데이터에 의해 생성되는 데이터인, 딥 러닝 모델 추론기
|
| 9 |
9
제8항에 있어서,상기 제1 보조 데이터 구조는 상기 텐서와 동일 차원의 어레이에 각각의 데이터 원소의 0 여부를 나타내는 비트-마스크 어레이이거나 0이 아닌 데이터 원소의 위치를 나타내는 인덱스를 저장하는 인덱스 테이블인, 딥 러닝 모델 추론기
|
| 10 |
10
제9항에 있어서,상기 제1 소비 레이어에서 상기 텐서에 대한 연산을 수행하는 상기 제어부는 상기 제1 보조 데이터 구조를 이용하여 지정된 사이즈의 벡터 연산을 통해 합성곱 연산을 수행하고, 상기 제1 보조 데이터 구조는 상기 지정된 사이즈 단위로 상기 지정된 사이즈의 일련의 데이터 원소들 모두가 0 여부를 나타내는, 딥 러닝 모델 추론기
|
| 11 |
11
제8항에 있어서,상기 제1 생성 레이어에서 텐서와 제1 보조 데이터 구조를 생성하는 상기 제어부는 상기 제1 생성 레이어의 액티베이션 함수가 다른 레이어의 액티베이션 함수의 임계치와 다른 설정된 제1 임계치에 따라 합성곱 데이터 원소를 설정하고 상기 액티베이션 함수 또는 후속 함수가 제1 보조 데이터 구조에 생성되는 텐서의 데이터 원소의 0 여부를 나타내는 데이터를 상기 저장부에 저장하고,상기 액티베이션 함수는 ReLU 함수인, 딥 러닝 모델 추론기
|
| 12 |
12
제11항에 있어서,상기 제어부는, 상기 딥 러닝 모델의 제2 생성 레이어에서 상기 제1 임계치와 다른 제2 임계치를 이용하여 텐서와 상기 텐서의 각각의 데이터 원소의 0 여부를 나타내는 제2 보조 데이터 구조를 생성하고, 상기 제2 생성 레이어에 후속하는 제2 소비 레이어에서 상기 제2 보조 데이터 구조를 이용하여 상기 텐서에 대한 연산을 더 수행하는,딥 러닝 모델 추론기
|
| 13 |
13
제12항에 있어서, 상기 제1 생성 레이어의 제1 임계치는 상기 제1 소비 레이어로 지정된 희소성 비율 이상의 입력 텐서를 제공하도록 상기 제1 생성 레이어에 대한 프로파일링에 따라 설정되는 임계치이고, 상기 제2 생성 레이어의 제2 임계치는 상기 제2 소비 레이어로 상기 지정된 희소성 비율 이상의 입력 텐서를 제공하도록 상기 제2 생성 레이어에 대한 프로파일링에 따라 설정되는 임계치이고, 상기 제1 소비 레이어 및 상기 제2 소비 레이어는 상기 딥 러닝 모델의 복수의 레이어중 프로파일링에 따라 측정된 수행 시간에 따라 선택되는 레이어인, 딥 러닝 모델 추론기
|
