| 1 |
1
뉴럴 네트워크에 포함된 레이어에 대응하는 제1 활성화 기울기(activation gradient) 및 제1 임계값(threshold)을 수신하는 단계;상기 제1 임계값에 기초하여 상기 제1 활성화 기울기를 희소화(spasificate)하는 단계;희소화된 제1 활성화 기울기에 기초하여 뉴럴 네트워크 연산을 수행함으로써 제2 활성화 기울기를 획득하는 단계;상기 제2 활성화 기울기에 기초하여 상기 제1 임계값을 업데이트함으로써 제2 임계값을 계산하는 단계; 및상기 제2 활성화 기울기 및 상기 제2 임계값에 기초하여 뉴럴 네트워크 연산을 수행하는 단계를 포함하는 뉴럴 네트워크 연산 방법
|
| 2 |
2
제1항에 있어서,상기 제1 활성화 기울기 및 상기 제2 활성화 기울기는,입력 활성화에 대한 기울기, 가중치에 대한 기울기 또는 출력 활성화에 대한 기울기를 포함하는뉴럴 네트워크 연산 방법
|
| 3 |
3
제1항에 있어서,상기 제2 임계값을 계산하는 단계는,미리 결정된 이터레이션(iteration) 횟수만큼 반복하여 상기 제1 임계값을 업데이트함으로써 상기 제2 임계값을 계산하는 단계를 포함하는 뉴럴 네트워크 연산 방법
|
| 4 |
4
제1항에 있어서,상기 제2 임계값을 계산하는 단계는,타겟 희소성(target sparsity) 및 현재 이터레이션(iteration)에 대응하는 희소성에 기초하여 상기 제1 임계값을 업데이트함으로써 상기 제2 임계값을 계산하는 단계를 포함하는 뉴럴 네트워크 연산 방법
|
| 5 |
5
제4항에 있어서,상기 제2 임계값을 계산하는 단계는,상기 타겟 희소성을 상기 현재 이터레이션에 대응하는 희소성으로 나눈 값을 상기 제1 임계값에 곱함으로써 상기 제2 임계값을 계산하는 단계를 포함하는 뉴럴 네트워크 연산 방법
|
| 6 |
6
제1항에 있어서,상기 제2 임계값을 계산하는 단계는,상기 제2 임계값이 미리 설정된 제한 범위를 초과하는지 여부를 판단하는 단계; 및상기 제한 범위를 초과하는 상기 제2 임계값을 상기 제한 범위 내의 값으로 보정하는 단계를 포함하는 뉴럴 네트워크 연산 방법
|
| 7 |
7
제1항에 있어서,상기 제2 임계값을 계산하는 단계는,상기 제2 활성화 기울기에 기초하여 상기 제1 임계값을 초기화함으로써 상기 제2 임계값을 계산하는 단계를 포함하는 뉴럴 네트워크 연산 방법
|
| 8 |
8
제1항에 있어서,상기 뉴럴 네트워크를 수행하는 단계는,상기 제2 임계값에 기초하여 상기 제2 활성화 기울기를 희소화함으로써 희소 데이터(sparse data)를 생성하는 단계; 및상기 희소 데이터 및 밀집 데이터(dense data)를 이용하여 상기 뉴럴 네트워크 연산을 수행하는 단계를 포함하는 뉴럴 네트워크 연산 방법
|
| 9 |
9
제8항에 있어서,상기 밀집 데이터는,병렬화된(parallelized) 복수의 밀집 버퍼(dense buffer)에 저장되는뉴럴 네트워크 연산 방법
|
| 10 |
10
제1항에 있어서,상기 뉴럴 네트워크를 수행하는 단계는,상기 제2 활성화 기울기에 기초하여 적어도 한 번의 MAC(Multiply Accumulate) 연산을 수행하는 단계를 포함하는 뉴럴 네트워크 연산 방법
|
| 11 |
11
뉴럴 네트워크에 포함된 레이어에 대응하는 제1 활성화 기울기(activation gradient) 및 제1 임계값(threshold)을 수신하는 수신기; 및상기 제1 임계값에 기초하여 상기 제1 활성화 기울기를 희소화(spasificate)하고,희소화된 제1 활성화 기울기에 기초하여 뉴럴 네트워크 연산을 수행함으로써 제2 활성화 기울기를 획득하고,상기 제2 활성화 기울기에 기초하여 상기 제1 임계값을 업데이트함으로써 제2 임계값을 계산하고,상기 제2 활성화 기울기 및 상기 제2 임계값에 기초하여 뉴럴 네트워크 연산을 수행하는 프로세서를 포함하는 뉴럴 네트워크 연산 장치
|
| 12 |
12
제11항에 있어서,상기 제1 활성화 기울기 및 상기 제2 활성화 기울기는,입력 활성화에 대한 기울기, 가중치에 대한 기울기 또는 출력 활성화에 대한 기울기를 포함하는뉴럴 네트워크 연산 장치
|
| 13 |
13
제11항에 있어서,상기 프로세서는,미리 결정된 이터레이션 횟수만큼 반복하여 상기 제1 임계값을 업데이트함으로써 상기 제2 임계값을 계산하는뉴럴 네트워크 연산 장치
|
| 14 |
14
제11항에 있어서,상기 프로세서는,타겟 희소성(target sparsity) 및 현재 이터레이션(iteration)에 대응하는 희소성에 기초하여 상기 제1 임계값을 업데이트함으로써 상기 제2 임계값을 계산하는뉴럴 네트워크 연산 장치
|
| 15 |
15
제14항에 있어서,상기 프로세서는,상기 타겟 희소성을 상기 현재 이터레이션에 대응하는 희소성으로 나눈 값을 상기 제1 임계값에 곱함으로써 상기 제2 임계값을 계산하는뉴럴 네트워크 연산 장치
|
| 16 |
16
제11항에 있어서,상기 프로세서는,상기 제2 임계값이 미리 설정된 제한 범위를 초과하는지 여부를 판단하고,상기 제한 범위를 초과하는 상기 제2 임계값을 상기 제한 범위 내의 값으로 보정하는뉴럴 네트워크 연산 장치
|
| 17 |
17
제11항에 있어서,상기 프로세서는,상기 제2 활성화 기울기에 기초하여 상기 제1 임계값을 초기화함으로써 상기 제2 임계값을 계산하는뉴럴 네트워크 연산 장치
|
| 18 |
18
제11항에 있어서,상기 프로세서는,상기 제2 임계값에 기초하여 상기 제2 활성화 기울기를 희소화함으로써 희소 데이터(sparse data)를 생성하고,상기 희소 데이터 및 밀집 데이터(dense data)를 이용하여 상기 뉴럴 네트워크 연산을 수행하는뉴럴 네트워크 연산 장치
|
| 19 |
19
제18항에 있어서,상기 밀집 데이터는,병렬화된(parallelized) 복수의 밀집 버퍼(dense buffer)에 저장되는뉴럴 네트워크 연산 장치
|
| 20 |
20
제11항에 있어서,상기 프로세서는,상기 제2 활성화 기울기에 기초하여 적어도 한 번의 MAC(Multiply Accumulate) 연산을 수행하는뉴럴 네트워크 연산 장치
|
