| 1 |
1
저전력 고성능 인공 신경망 학습 가속 방법에 있어서,(a) 저전력 고성능 인공 신경망 학습기를 구성하는 클러스터의 컨볼루션 코어에 구비된 가지치기 유닛이 가중치에 희소성을 생성하기 위해 작은 단위 가지치기와 큰 단위 가지치기를 수행하는 단계;(b) 상기 컨볼루션 코어가 입력, 출력, 가중치 희소성에 따라 복합 연산 생략방식을 선택하여 수행하는 단계; 및(c) 상기 컨볼루션 코어가 메모리에서 불러온 가중치를 심층 신경망 연산 코어와 가중치 가지치기 코어가 공유하도록 하여 학습 과정 중에 가중치 메모리 접근을 제한하는 단계;를 포함하는 것을 특징으로 하는 저전력 고성능 인공 신경망 학습 가속 방법
|
| 2 |
2
제 1항에 있어서,상기 (a)단계에서상기 가지치기 유닛은 상기 큰 단위 가지치기와 작은 단위 가지치기를 미리 학습된 모델에 한 번 적용하는 방식이 아닌, 학습이 필요한 모델을 학습하는 과정 중에 주기적으로 적용하여, 동일한 정확도를 가지면서도 생성되는 희소성을 최대화시키는 것을 특징으로 하는 전력 고성능 인공 신경망 학습 가속 방법
|
| 3 |
3
제 2항에 있어서,상기 가지치기 유닛은가지치기를 수행하기 전까지 학습 과정에서 달성했던 최대 정확도를 기록해두고, 가지치기를 수행한 후 다시 학습을 시켜 이전에 달성했던 최대 정확도보다 높은 정확도를 달성했을 시에 다시 다음 가지치기를 수행하는 방식으로 큰 단위 가지치기와 작은 단위 가지치기의 주기를 결정하는 것을 특징으로 하는 전력 고성능 인공 신경망 학습 가속 방법
|
| 4 |
4
제 3항에 있어서,상기 가지치기 유닛은상기 큰 단위 가지치기와 작은 단위 가지치기 방식으로 발생하는 가중치 희소성이 높은 입력 채널(channel)에 대해서는 추가적으로 생성되는 희소성의 비율이 적어지도록 각 주기에서 가지치기를 위해 정해진 임계값을 조절하며, 희소성이 낮은 입력 채널(channel)에 대해서는 추가적으로 생성되는 희소성의 비율이 많아지도록 임계값을 조절하는 것을 특징으로 하는 전력 고성능 인공 신경망 학습 가속 방법
|
| 5 |
5
제 4항에 있어서,상기 가지치기 유닛은 큰 단위 유사도 비교, 큰 단위 크기 비교, 또는 작은 단위 크기 비교 방식의 가지치기를 수행하며, 임계값을 해당 가지치기 주기마다 고정된 특정 값만큼 변화시키면서 가지치기 후 학습으로 더 이상 정확도 복구가 불가능할 때 까지 가지치기를 수행하는 것을 특징으로 하는 전력 고성능 인공 신경망 학습 가속 방법
|
| 6 |
6
제 1항에 있어서,상기 (b)단계에서 상기 컨볼루션코어는 상기 입력, 출력, 및 가중치 중 두 가지 데이터에 대한 희소성 패턴을 입력받아 '0'을 건너뛰는 합성곱 연산을 수행하는 것을 특징으로 하는 전력 고성능 인공 신경망 학습 가속 방법
|
| 7 |
7
제 6항에 있어서,상기 컨볼루션코어는 가중치의 희소성을 활용해 '0'을 건너뛰는 합성곱 연산 수행시, 큰 단위 희소성과 작은 단위 희소성을 순차적, 계층적으로 활용해, 큰 단위로 인해 존재하는 연속된 '0'들을 사용하는 연산들은 한 번에 생략하고 작은 단위로 인해 존재하는 랜덤한 '0'들로 인한 연산은 한 번에 한 개씩 생략하여 가중치데이터들에 존재하는 0을 뛰어넘는 것을 특징으로 하는 전력 고성능 인공 신경망 학습 가속 방법
|
| 8 |
8
복수의 클러스터와 각 클러스터를 구성하는 복수의 컨볼루션 코어로 구성되고,저전력 고성능 인공 신경망 학습기를 구성하는 상기 클러스터의 컨볼루션 코어에 구비된 가지치기 유닛이 가중치에 희소성을 생성하기 위해 작은 단위 가지치기와 큰 단위 가지치기를 수행하고, 상기 상기 컨볼루션 코어가 입력, 출력, 가중치 희소성에 따라 복합 연산 생략방식을 선택하여 수행하며, 상기 컨볼루션 코어가 메모리에서 불러온 가중치를 심층 신경망 연산 코어와 가중치 가지치기 코어가 공유하도록 하여 학습 과정 중에 가중치 메모리 접근을 제한하되, 상기 가지치기 유닛(110)은 크기가 작은 값들을 0으로 만들어줌으로써 랜덤(random)한 희소성 패턴(pattern)을 만들어 내는 작은 단위 가지치기를 수행하고, 출력 채널(channel) 단위로 가중치들 간의 유사도나 크기를 계산하여, 유사하거나 크기가 작은 연속된 가중치들을 연속한 0으로 만드는 큰 단위 가지치기를 수행하는 것을 특징으로 하는 저전력 고성능 인공 신경망 학습 가속기
|
