| 1 |
1
뉴럴 네트워크의 가중치(weight), 양자화 포인트(quantization point)의 후보 집합(candidate set) 및 상기 가중치를 표현(represent)하기 위한 비트폭(bitwidth)을 수신하는 단계;상기 비트폭에 기초하여 상기 후보 집합으로부터 양자화 포인트의 부분집합을 추출하는 단계;상기 가중치 및 상기 부분집합에 기초하여 양자화 손실을 계산하는 단계; 및상기 양자화 손실에 기초하여 양자화 포인트의 타겟 부분집합을 생성하는 단계를 포함하는 뉴럴 네트워크 연산 방법
|
| 2 |
2
제1항에 있어서,로그 스케일 양자화(log-scale quantization)에 기초하여 상기 후보 집합을 생성하는 단계를 더 포함하는 뉴럴 네트워크 연산 방법
|
| 3 |
3
제2항에 있어서,상기 후보 집합을 생성하는 단계는,상기 로그 스케일 양자화에 기초하여 제1 양자화 포인트를 획득하는 단계;상기 로그 스케일 양자화에 기초하여 제2 양자화 포인트를 획득하는 단계; 및상기 제1 양자화 포인트 및 상기 제2 양자화 포인트의 합에 기초하여 상기 후보 집합을 생성하는 단계를 포함하는 뉴럴 네트워크 연산 방법
|
| 4 |
4
제1항에 있어서,상기 부분집합을 추출하는 단계는,상기 비트폭에 기초하여 상기 부분집합의 원소의 개수를 결정하는 단계; 및상기 후보 집합으로부터 상기 원소의 개수에 대응하는 부분집합을 추출하는 단계를 포함하는 뉴럴 네트워크 연산 방법
|
| 5 |
5
제1항에 있어서,상기 양자화 손실을 계산하는 단계는,상기 가중치와 상기 부분집합에 포함된 양자화 포인트에 의해 양자화된 가중치에 기초하여 상기 양자화 손실을 계산하는 단계를 포함하는 뉴럴 네트워크 연산 방법
|
| 6 |
6
제5항에 있어서,상기 가중치와 상기 부분집합에 포함된 양자화 포인트에 의해 양자화된 가중치에 기초하여 상기 양자화 손실을 계산하는 단계는,상기 가중치와 상기 양자화된 가중치의 차이에 대한 L2 손실 또는 L4 손실을 상기 양자화 손실로 계산하는 단계를 포함하는 뉴럴 네트워크 연산 방법
|
| 7 |
7
제1항에 있어서,상기 타겟 부분집합을 생성하는 단계는,상기 양자화 손실이 최소가 되는 부분집합을 상기 타겟 부분집합으로 결정하는 단계를 포함하는 뉴럴 네트워크 연산 방법
|
| 8 |
8
하드웨어와 결합되어 제1항 내지 제7항 중 어느 하나의 항의 방법을 실행시키기 위하여 매체에 저장된 컴퓨터 프로그램
|
| 9 |
9
뉴럴 네트워크의 가중치 및 상기 가중치를 양자화하기 위하여 양자화 포인트의 후보 집합으로부터 추출된 양자화 포인트의 타겟 부분집합을 저장하는 메모리;상기 가중치에 기초하여 상기 타겟 부분집합으로부터 타겟 양자화 포인트를 선택하는 디코더(decoder);상기 타겟 양자화 포인트에 기초하여 곱셈을 수행하는 시프터(shifter); 및상기 시프터의 출력을 누적하는 누산기(accumulator)를 포함하는 뉴럴 네트워크 연산 장치
|
| 10 |
10
제9항에 있어서,상기 타겟 부분집합은 상기 가중치 및 상기 후보 집합으로부터 추출된 양자화 포인트의 부분집합에 대한 양자화 손실에 기초하여 생성되는뉴럴 네트워크 연산 장치
|
| 11 |
11
제9항에 있어서,상기 시프터는상기 타겟 양자화 포인트에 포함된 제1 양자화 포인트에 기초하여 입력 데이터에 대한 곱셈을 수행하는 제1 시프터; 및상기 타겟 양자화 포인트에 포함된 제2 양자화 포인트에 기초하여 입력 데이터에 대한 곱셈을 수행하는 제2 시프터를 포함하는 뉴럴 네트워크 연산 장치
|
| 12 |
12
제9항에 있어서,상기 디코더는,상기 가중치를 셀렉터로 이용하여 상기 타겟 양자화 포인트를 멀티플렉싱하는 멀티플렉서를 포함하는 뉴럴 네트워크 연산 장치
|
| 13 |
13
제9항에 있어서,상기 타겟 양자화 포인트는,복수의 MAC(Multiply-Accumulate) 연산기 사이에서 공유되는뉴럴 네트워크 연산 장치
|
| 14 |
14
뉴럴 네트워크의 가중치(weight), 양자화 포인트(quantization point)의 후보 집합(candidate set) 및 상기 가중치를 표현(represent)하기 위한 비트폭(bitwidth)을 수신하는 수신기; 및상기 비트폭에 기초하여 상기 후보 집합으로부터 양자화 포인트의 부분집합을 추출하고,상기 가중치 및 상기 부분집합에 기초하여 양자화 손실을 계산하고,상기 양자화 손실에 기초하여 양자화 포인트의 타겟 부분집합을 생성하는 프로세서를 포함하는 뉴럴 네트워크 연산 장치
|
| 15 |
15
제14항에 있어서,상기 프로세서는,로그 스케일 양자화(log-scale quantization)에 기초하여 상기 후보 집합을 생성하는뉴럴 네트워크 연산 장치
|
| 16 |
16
제15항에 있어서,상기 프로세서는,상기 로그 스케일 양자화에 기초하여 제1 양자화 포인트를 획득하고,상기 로그 스케일 양자화에 기초하여 제2 양자화 포인트를 획득하고,상기 제1 양자화 포인트 및 상기 제2 양자화 포인트의 합에 기초하여 상기 후보 집합을 생성하는뉴럴 네트워크 연산 장치
|
| 17 |
17
제14항에 있어서,상기 프로세서는,상기 비트폭에 기초하여 상기 부분집합의 원소의 개수를 결정하고,상기 후보 집합으로부터 상기 원소의 개수에 대응하는 부분집합을 추출하는뉴럴 네트워크 연산 장치
|
| 18 |
18
제14항에 있어서,상기 프로세서는,상기 가중치와 상기 부분집합에 포함된 양자화 포인트에 의해 양자화된 가중치에 기초하여 상기 양자화 손실을 계산하는뉴럴 네트워크 연산 장치
|
| 19 |
19
제18항에 있어서,상기 프로세서는,상기 가중치와 상기 양자화된 가중치의 차이에 대한 L2 손실 또는 L4 손실을 상기 양자화 손실로 계산하는뉴럴 네트워크 연산 장치
|
| 20 |
20
제14항에 있어서,상기 프로세서는,상기 양자화 손실이 최소가 되는 부분집합을 상기 타겟 부분집합으로 결정하는뉴럴 네트워크 연산 장치
|
