| 1 |
1
뉴럴 네트워크의 가중치(weight) 및 상기 뉴럴 네트워크에 의해 처리되는 활성화(activation) 값에 대한 양자화(quantization)를 수행하기 위한 양자화 레벨(quantization level)을 수신하는 단계;상기 양자화 레벨에 기초하여 양자화된 가중치를 수신하는 단계;상기 양자화 레벨에 기초하여 상기 활성화 값을 양자화함으로써 양자화된 활성화 값을 생성하는 단계; 및상기 양자화된 가중치 및 상기 양자화된 활성화 값에 기초하여 추론을 수행하는 단계를 포함하는 뉴럴 네트워크 기반 추론 방법
|
| 2 |
2
제1항에 있어서,상기 추론을 수행하는 단계는,상기 양자화된 활성화 값을 상기 양자화 레벨에 기초하여 분할함으로써 분할된 활성화 값을 획득하는 단계; 및상기 양자화된 가중치 및 상기 분할된 활성화 값에 기초하여 상기 추론을 수행하는 단계를 포함하는 뉴럴 네트워크 기반 추론 방법
|
| 3 |
3
제2항에 있어서,상기 획득하는 단계는,상기 양자화된 활성화 값을 상기 양자화 레벨에 포함된 제1 양자화 레벨과 상기 양자화 레벨에 포함된 제2 양자화 레벨 간의 비율에 기초하여 분할함으로써 상기 분할된 활성화 값을 획득하는 단계를 포함하는 뉴럴 네트워크 기반 추론 방법
|
| 4 |
4
제3항에 있어서,상기 양자화된 활성화 값을 상기 양자화 레벨에 포함된 제1 양자화 레벨과 상기 양자화 레벨에 포함된 제2 양자화 레벨 간의 비율에 기초하여 분할함으로써 상기 분할된 활성화 값을 획득하는 단계는,상기 양자화된 활성화 값을 상기 비율에 대응하는 개수로 분할하여 상기 분할된 활성화 값을 획득하는 단계를 포함하는 뉴럴 네트워크 기반 추론 방법
|
| 5 |
5
제3항에 있어서,상기 비율은 정수인뉴럴 네트워크 기반 추론 방법
|
| 6 |
6
제1항에 있어서,상기 양자화된 가중치는 상기 양자화 레벨에 기초하여 분할된 가중치를 포함하고,상기 수행하는 단계는,상기 분할된 가중치 및 상기 양자화된 활성화 값에 기초한 연산을 수행함으로써 복수의 채널을 획득하는 단계; 및상기 복수의 채널을 병합(merge)하여 상기 추론을 수행하는 단계를 포함하는 뉴럴 네트워크 기반 추론 방법
|
| 7 |
7
뉴럴 네트워크의 가중치(weight) 및 상기 뉴럴 네트워크에 의해 처리되는 활성화(activation) 값에 대한 양자화(quantization)를 수행하기 위한 양자화 레벨(quantization level)을 수신하고, 상기 양자화 레벨에 기초하여 양자화된 가중치를 수신하는 수신기; 및상기 양자화 레벨에 기초하여 상기 활성화 값을 양자화함으로써 양자화된 활성화 값을 생성하고, 상기 양자화된 가중치 및 상기 양자화된 활성화 값에 기초하여 추론을 수행하는 프로세서를 포함하는 뉴럴 네트워크 기반 추론 장치
|
| 8 |
8
제7항에 있어서,상기 프로세서는,상기 양자화된 활성화 값을 상기 양자화 레벨에 기초하여 분할함으로써 분할된 활성화 값을 획득하고,상기 양자화된 가중치 및 상기 분할된 활성화 값에 기초하여 상기 추론을 수행하는뉴럴 네트워크 기반 추론 장치
|
| 9 |
9
제8항에 있어서,상기 프로세서는,상기 양자화된 활성화 값을 상기 양자화 레벨에 포함된 제1 양자화 레벨과 상기 양자화 레벨에 포함된 제2 양자화 레벨 간의 비율에 기초하여 분할함으로써 상기 분할된 활성화 값을 획득하는뉴럴 네트워크 기반 추론 장치
|
| 10 |
10
제9항에 있어서,상기 프로세서는,상기 양자화된 활성화 값을 상기 비율에 대응하는 개수로 분할하여 분할된 활성화 값을 획득하는뉴럴 네트워크 기반 추론 장치
|
| 11 |
11
제9항에 있어서,상기 비율은 정수인뉴럴 네트워크 기반 추론 장치
|
| 12 |
12
제7항에 있어서,상기 양자화된 가중치는 상기 양자화 레벨에 기초하여 분할된 가중치를 포함하고,상기 프로세서는,상기 분할된 가중치 및 상기 양자화된 활성화 값에 기초한 연산을 수행함으로써 복수의 채널을 획득하고,상기 복수의 채널을 병합(merge)하여 상기 추론을 수행하는뉴럴 네트워크 기반 추론 장치
|
| 13 |
13
뉴럴 네트워크의 가중치 및 상기 뉴럴 네트워크에 의해 처리되는 활성화 값을 제1 양자화 레벨 및 제2 양자화 레벨에 기초하여 양자화하는 단계;제1 양자화된 가중치 및 제1 양자화된 활성화 값에 기초하여 상기 뉴럴 네트워크에 포함된 연산을 수행함으로써 제1 채널을 생성하는 단계;제2 양자화된 가중치 및 제1 양자화된 활성화 값에 기초하여 상기 뉴럴 네트워크에 포함된 연산을 수행함으로써 제2 채널을 생성하는 단계; 및채널 선택 마스크에 기초하여 상기 제1 채널 및 상기 제2 채널 중 하나의 채널을 선택하는 단계를 포함하는 뉴럴 네트워크 기반 학습 방법
|
| 14 |
14
제13항에 있어서,상기 뉴럴 네트워크의 손실에 기초하여 상기 제1 양자화 레벨 및 상기 제2 양자화 레벨을 결정하는 단계를 더 포함하는 뉴럴 네트워크 기반 학습 방법
|
| 15 |
15
제14항에 있어서,상기 결정하는 단계는,상기 손실에 기초하여 상기 제1 양자화 레벨을 결정하는 단계; 및상기 제1 양자화 레벨에 기초하여 상기 제2 양자화 레벨을 결정하는 단계를 포함하는 뉴럴 네트워크 기반 학습 방법
|
| 16 |
16
제15항에 있어서,상기 제1 양자화 레벨에 기초하여 상기 제2 양자화 레벨을 결정하는 단계는,상기 제1 양자화 레벨을 상기 제2 양자화 레벨의 정수배로 결정하는 단계를 포함하는 뉴럴 네트워크 기반 학습 방법
|
| 17 |
17
제13항에 있어서,상기 선택하는 단계는,상기 채널 선택 마스크를 생성하는 단계; 및상기 채널 선택 마스크에 기초하여 상기 제1 채널 및 상기 제2 채널 중 하나의 채널을 선택하는 단계를 포함하는 뉴럴 네트워크 기반 학습 방법
|
| 18 |
18
제17항에 있어서,상기 채널 선택 마스크를 생성하는 단계는,상기 제1 양자화 레벨에 기초한 상기 뉴럴 네트워크의 제1 출력과 상기 제2 양자화 레벨에 기초한 상기 뉴럴 네트워크의 제2 출력 간의 편차에 기초하여 상기 채널 선택 마스크를 생성하는 단계를 포함하는 뉴럴 네트워크 기반 학습 방법
|
| 19 |
19
제17항에 있어서,상기 채널 선택 마스크를 생성하는 단계는,상기 제1 양자화 레벨에 기초한 가중치와 상기 제2 양자화 레벨에 기초한 가중치의 편차에 대한 상기 뉴럴 네트워크의 손실을 나타내는 민감도(sensitivity); 또는상기 제1 양자화 레벨에 기초한 활성화 값과 상기 제2 양자화 레벨에 기초한 활성화 값 간의 편차에 대한 상기 뉴럴 네트워크의 손실을 나타내는 민감도에 기초하여 상기 채널 선택 마스크를 생성하는 단계를 포함하는 뉴럴 네트워크 기반 학습 방법
|
| 20 |
20
제16항에 있어서,상기 채널 선택 마스크를 생성하는 단계는,상기 뉴럴 네트워크의 손실에 기초하여 상기 채널 선택 마스크를 학습시키는 단계를 포함하는 뉴럴 네트워크 기반 학습 방법
|
