| 1 |
1
인공신경망(artificial neural network)의 양자화(quantization)에서 발생하는 오차를 보상하는 시스템에 있어서, 학습된 가중치 값들을 양자화하여 압축시킨 압축된 학습 가중치 데이터를 보상 모듈로 전달하는 외부 서버;소정의 주기 간격으로 랜덤 인덱스 값을 발생시켜 보상 모듈로 입력하는 랜덤 인덱스 값 발생 모듈;미리 저장된 보정데이터를 기반으로 상기 전달받은 학습 가중치 데이터를 압축시 발생한 양자화 오차를 보상하여 보정하고, 보정된 학습 가중치 데이터를 가속기로 전달하는 보상모듈;을 포함하여 구성되며, 상기 보상모듈은, 서로 다른 값을 가지는 적어도 둘 이상의 보정 가중치 값이 배열되고 있고, 각 배열마다 인덱스 값이 할당된 룩업 테이블로 구성되는 보정 데이터를 저장하는 제1 메모리 모듈;외부 서버로부터 전달되는 압축된 학습 가중치 데이터를 임시 저장하는 제2 메모리 모듈;상기 랜덤 인덱스 값 발생 모듈에서 발생시킨 인덱스 값을 이용하여 상기 제1 메모리 모듈의 보정 데이터 및 제2 메모리 모듈의 압축된 학습 가중치로부터 보정 가중치 값 및 학습 가중치 값을 각각 추출하고, 상기 추출된 보정 가중치 값을 상기 추출된 학습 가중치 값에 더하거나 차감하여 상기 추출된 학습 가중치 값을 보정하는 에러 보정 모듈;을 포함하여 구성되며, 상기 보정 데이터는, 상기 학습 가중치 값들의 양자화 압축 시 손실된 값인 보정 가중치 값들이 각각의 손실 빈도수에 대응하는 비율로 구성되는 것;을 특징으로 하는 인공신경망의 가중치 양자화 오차 보상 시스템
|
| 2 |
2
제1항에 있어서,상기 보상 모듈로부터 전달되는 보정된 학습 가중치 데이터를 이용하여 추론 결과를 출력하는 가속기;를 더 포함하여 구성되는 인공신경망의 가중치 양자화 오차 보상 시스템
|
| 3 |
3
삭제
|
| 4 |
4
제1항에 있어서,상기 제2 메모리 모듈에 저장되는 압축된 학습 가중치 데이터는,각 클러스터(cluster) 별로 학습 가중치 값이 배열되어 있고, 각 배열마다 인덱스 값이 할당된 형태로 구성되는 것을 특징으로 하는 인공신경망의 가중치 양자화 오차 보상 시스템
|
| 5 |
5
제1항 또는 제4항에 있어서,상기 보상 모듈은,상기 제1 메모리 모듈에 저장된 보정 데이터 및 제2 메모리 모듈에 저장된 압축된 학습 가중치 데이터로부터, 상기 랜덤 인덱스 값 발생 모듈에 의해 발생된 인덱스 값에 해당하는 보정 가중치 값 및 학습 가중치 값을 각각 추출하는 가중치 값 추출 모듈;상기 가중치 값 추출 모듈로부터 임의의 인덱스 값에 대응하는 보정 가중치 값 및 학습 가중치 값이 추출되면, 상기 학습 가중치 값에 상기 보정 가중치 값을 더하거나 또는 차감하여 상기 학습 가중치 값의 양자화 오차를 보정하는 연산 모듈;을 포함하여 구성되는 것을 특징으로 하는 인공신경망의 가중치 양자화 오차 보상 시스템
|
| 6 |
6
제5항에 있어서,상기 보정 데이터를 구성하는 각각의 보정 가중치 값은,상기 외부 서버에서 압축된 학습 가중치 데이터 획득하는 과정에서 발생된 양자화 오차 값이며, 상기 룩업 테이블에 상기 발생된 빈도 수에 대응하는 비율에 따라 배열되는 것; 을 특징으로 인공신경망의 가중치 양자화 오차 보상 시스템
|
| 7 |
7
제5항에 있어서,상기 연산 모듈은,상기 추출된 학습 가중치 값이 양수인 경우, 상기 학습 가중치 값에서 상기 추출된 보정 가중치 값을 차감하고,상기 추출된 학습 가중치 값이 음수인 경우, 상기 학습 가중치 값에 상기 추출된 보정 가중치 값을 더하는 것;을 특징으로 하는 인공신경망의 가중치 양자화 오차 보상 시스템
|
| 8 |
8
인공신경망(artificial neural network)의 양자화(quantization)에서 발생하는 오차를 보상하는 방법에 있어서, 외부 서버와 가속기 사이에 구성되는 보상 모듈에, 소정의 보정 데이터를 미리 획득하여 룩업 테이블로 저장하는 보정 데이터 저장 단계;보상 모듈에서, 외부 서버로부터 압축된 학습 가중치 데이터를 수신하는 압축된 학습 가중치 데이터 수신 단계;보상 모듈에서, 상기 압축된 학습 가중치 데이터 수신 단계에서 수신한 외부 서버로부터의 압축된 학습 가중치 데이터를 임시 저장하는 압축된 학습 가중치 데이터 저장 단계;랜덤 인덱스 값 발생 모듈에서, 소정의 주기 간격으로 랜덤 인덱스 값을 발생시키는 랜덤 인덱스 값 발생 단계;보상 모듈은, 상기 랜덤 인덱스 값 발생 단계에 의해 인덱스 값이 발생되면, 상기 발생된 인덱스 값을 이용하여 상기 보정 데이터 저장 단계에서 저장된 보정 데이터 및 상기 압축된 학습 가중치 데이터 저장 단계에서 저장된 압축된 학습 가중치 데이터로부터 보정 가중치 값 및 학습 가중치 값을 각각 추출하여, 상기 추출한 보정 가중치 값을 상기 추출한 학습 가중치 값에 더하거나 차감하는 방식을 통해 상기 압축된 학습 가중치 데이터의 압축시 발생한 양자화 오차를 보정하는 압축된 학습 가중치 데이터 보정 단계;를 포함하여 구성되며, 상기 보정데이터는, 상기 학습 가중치 값들의 양자화 압축시 손실된 값인 보정 가중치 값들이 각각의 손실 빈도수에 대응하는 비율로 구성되는 것;을 특징으로 하는 인공신경망의 가중치 양자화 오차 보상 방법
|
| 9 |
9
제8항에 있어서,상기 보정 데이터는,서로 다른 값을 가지는 적어도 둘 이상의 보정 가중치 값이 배열되고 있고, 각 배열마다 인덱스 값이 할당된 룩업 테이블로 구성되는 것; 을 특징으로 하는 인공신경망의 가중치 양자화 오차 보상 방법
|
| 10 |
10
제8항에 있어서,상기 압축된 학습 가중치 데이터는,각 클러스터(cluster) 별로 학습 가중치 값이 배열되고 있고, 각 배열마다 인덱스 값이 할당된 형태로 구성되는 것; 을 특징으로 하는 인공신경망의 가중치 양자화 오차 보상 방법
|
| 11 |
11
제8항 내지 제10항 중 어느 한 항에 있어서,상기 압축된 학습 가중치 데이터 보정 단계는,상기 보정 데이터 저장 단계에서 저장된 보정 데이터 및 상기 압축된 학습 가중치 데이터 저장 단계에서 저장된 압축된 학습 가중치 데이터로부터, 상기 랜덤 인덱스 값 발생 단계에서 발생된 인덱스 값에 해당하는 보정 가중치 값 및 학습 가중치 값을 각각 추출하는 가중치 값 추출 단계;상기 가중치 값 추출 단계에서 추출된 상기 추출된 학습 가중치 값에 상기 추출된 보정 가중치 값을 더하거나 또는 차감하여 상기 학습 가중치 값을 보정하는 연산 단계;를 포함하여 구성되는 것을 특징으로 하는 인공신경망의 가중치 양자화 오차 보상 방법
|
| 12 |
12
제11항에 있어서,상기 연산 단계에서,상기 추출된 학습 가중치 값이 양수인 경우, 상기 학습 가중치 값에서 상기 추출된 보정 가중치 값을 차감하고,상기 추출된 학습 가중치 값이 음수인 경우, 상기 학습 가중치 값에 상기 보정 가중치 값을 더하는 것;을 특징으로 하는 인공신경망의 가중치 양자화 오차 보상 방법
|
| 13 |
13
제11항에 있어서,상기 보정 데이터를 구성하는 각각의 보정 가중치 값은,외부 서버에서 압축된 학습 가중치 데이터를 획득하는 과정에서 발생된 양자화 오차 값이며,상기 룩업 테이블에 상기 발생된 빈도 수에 대응하는 비율에 따라 배열되는 것; 을 특징으로 하는 인공신경망의 가중치 양자화 오차 보상 방법
|
