| 1 |
1
컨볼루션 신경망을 압축하여 연산 속도를 향상시키는 컨볼루션 신경망 가속 방법에 있어서,3차원 텐서 입력에 포함된 입력 활성값의 희소성 및 가중치 필터에 포함된 가중치의 희소성에 기초하여 상기 3차원 텐서 입력을 압축 포맷으로 변환하는 단계;상기 변환된 압축 포맷에 기초하여 연산을 수행하는 단계; 및상기 연산의 결과로부터 3차원 텐서 출력을 산출하는 단계를 포함하는컨볼루션 신경망 가속 방법
|
| 2 |
2
제1항에 있어서,상기 압축 포맷은 CSR (Compressed Sparse Row) 및 CSOA (Compressed Sparse Overlapped Activations) 중 어느 하나인컨볼루션 신경망 가속 방법
|
| 3 |
3
제2항에 있어서,상기 3차원 텐서 입력을 압축 포맷으로 변환하는 단계는상기 입력 활성값이 0인 입력 활성값의 개수가 미리 설정된 입력 활성 기준값 미만이면 밀집으로 판단하고, 상기 입력 활성값이 0인 입력 활성값의 개수가 상기 입력 활성 기준값 이상이면 희소로 판단하여 입력 활성값의 희소성을 결정하고,상기 가중치가 0인 가중치의 개수가 미리 설정된 가중치 기준값 미만이면 밀집으로 판단하고, 상기 가중치가 0인 가중치의 개수가 상기 가중치 기준값 이상이면 희소로 판단하여 가중치의 희소성을 결정하는 컨볼루션 신경망 가속 방법
|
| 4 |
4
제3항에 있어서,상기 입력 활성값의 희소성이 희소로 판단되고, 상기 가중치의 희소성이 밀집으로 판단되면 im2CSR (image to Compressed Sparse Row)변환 방법을 통해 상기 3차원 텐서 입력을 상기 CSR로 변환하는컨볼루션 신경망 가속 방법
|
| 5 |
5
제3항에 있어서,상기 입력 활성값의 희소성 및 상기 가중치의 희소성이 모두 희소로 판단되면 im2CSOA (image to Compressed Sparse Overlapped Activations) 변환 방법을 통해 상기 3차원 텐서 입력을 상기 CSOA로 변환하는컨볼루션 신경망 가속 방법
|
| 6 |
6
제2항에 있어서,상기 변환된 압축 포맷에 기초하여 연산을 수행하는 단계는상기 압축 포맷이 CSR인 경우 상기 CSR과 상기 가중치 필터의 SpMDM (Sparse Matrix Dense Matrix multiplication) 연산을 수행하는컨볼루션 신경망 가속 방법
|
| 7 |
7
제2항에 있어서,상기 변환된 압축 포맷에 기초하여 연산을 수행하는 단계는상기 압축 포맷이 CSOA인 경우 상기 CSOA와 상기 가중치 필터로부터 변환된 CSC (Compressed Sparse Column)의 SpMSpM (Sparse Matrix Sparse Matrix multiplication) 연산을 수행하는컨볼루션 신경망 가속 방법
|
| 8 |
8
제7항에 있어서,상기 SpMSpM 연산은상기 CSC와 상기 CSOA의 외적 연산인컨볼루션 신경망 가속 방법
|
| 9 |
9
컨볼루션 신경망을 압축하여 연산 속도를 향상시키는 컨볼루션 신경망 가속 장치에 있어서,3차원 텐서 입력에 포함된 입력 활성값의 희소성 및 가중치 필터에 포함된 가중치의 희소성에 기초하여 상기 3차원 텐서 입력을 압축 포맷으로 변환하는 변환부;상기 변환된 압축 포맷에 기초하여 연산을 수행하는 연산부; 및상기 연산의 결과로부터 3차원 텐서 출력을 산출하는 출력부를 포함하는컨볼루션 신경망 가속 장치
|
| 10 |
10
제9항에 있어서,상기 압축 포맷은 CSR (Compressed Sparse Row) 및 CSOA (Compressed Sparse Overlapped Activations) 중 어느 하나인컨볼루션 신경망 가속 장치
|
| 11 |
11
제10항에 있어서,상기 변환부는상기 입력 활성값이 0인 입력 활성값의 개수가 미리 설정된 입력 활성 기준값 미만이면 밀집으로 판단하고, 상기 입력 활성값이 0인 입력 활성값의 개수가 상기 입력 활성 기준값 이상이면 희소로 판단하여 상기 입력 활성값의 희소성을 결정하고,상기 가중치가 0인 가중치의 개수가 미리 설정된 가중치 기준값 미만이면 밀집으로 판단하고, 상기 가중치가 0인 가중치의 개수가 상기 가중치 기준값 이상이면 희소로 판단하여 상기 가중치의 희소성을 결정하는 컨볼루션 신경망 가속 장치
|
| 12 |
12
제11항에 있어서,상기 변환부는상기 입력 활성값의 희소성이 희소로 판단되고, 상기 가중치의 희소성이 밀집으로 판단되면 im2CSR (image to Compressed Sparse Row) 변환 방법을 통해 상기 3차원 텐서 입력을 상기 CSR로 변환하는컨볼루션 신경망 가속 장치
|
| 13 |
13
제11항에 있어서,상기 변환부는상기 입력 활성값의 희소성 및 상기 가중치의 희소성이 모두 희소로 판단되면 im2CSOA (image to Compressed Sparse Overlapped Activations) 변환 방법을 통해 상기 3차원 텐서 입력을 상기 CSOA로 변환하는컨볼루션 신경망 가속 장치
|
| 14 |
14
제10항에 있어서,상기 연산부는상기 압축 포맷이 CSR인 경우 상기 CSR과 상기 가중치 필터의 SpMDM (Sparse Matrix Dense Matrix multiplication) 연산을 수행하는컨볼루션 신경망 가속 장치
|
| 15 |
15
제10항에 있어서,상기 연산부는상기 압축 포맷이 CSOA인 경우 상기 CSOA와 상기 가중치 필터로부터 변환된 CSC (Compressed Sparse Column)의 SpMSpM (Sparse Matrix Sparse Matrix multiplication) 연산을 수행하는컨볼루션 신경망 가속 장치
|
| 16 |
16
제15항에 있어서,상기 SpMSpM 연산은상기 CSC와 상기 CSOA의 외적 연산인컨볼루션 신경망 가속 장치
|
