| 1 |
1
뉴럴 네트워크 연산 장치의 뉴럴 네트워크 연산 방법으로서, 입력 데이터를 깊이 방향으로 분리하여 미리 연산된 기울기에 따라 시프트하는 단계; 및 시프트된 데이터의 지점 화 컨벌루션(point-wise convolution)에 양자화를 적용하는 단계를 포함하는 뉴럴 네트워크 연산 방법
|
| 2 |
2
제1항에 있어서,상기 양자화를 적용하는 단계는 상기 시프트된 데이터를 쌍곡 탄젠트(hyperbolic tangent)에 기초하여 전처리하고, 양자화된 가중치와 양자화된 가중치의 기울기를 연산하는 것을 특징으로 하는 뉴럴 네트워크 연산 방법
|
| 3 |
3
제1항에 있어서,상기 양자화를 적용하는 단계는 소수의 채널 사이에서 동일한 블록을 연결하는 역잔여 블록을 채택하는 것을 특징으로 하는 뉴럴 네트워크 연산 방법
|
| 4 |
4
제1항에 있어서,상기 양자화를 적용하는 단계는, 활성함수의 양자화비트를 4비트로 제한하고, 가중치의 양자화비트를 1비트로 제한하는 것을 특징으로 하는 뉴럴 네트워크 연산 방법
|
| 5 |
5
제4항에 있어서,상기 양자화를 적용하는 단계 이후에는 각 피쳐 별 평균(mean)과 분산(variance)에 기초하여 배치 정규화(batch normalization)를 수행하는 단계를 더 포함하는 것을 특징으로 하는 뉴럴 네트워크 연산 방법
|
| 6 |
6
제4항에 있어서,상기 미리 연산된 기울기는 뉴럴 네트워크의 손실함수를 최적화하는 방향으로 연산되는 것을 특징으로 하는 뉴럴 네트워크 연산 방법
|
| 7 |
7
제1항에 있어서,양자화된 데이터를 정규화(normalization)하고, 평균 통합(average Pooling) 하여, 활성함수를 적용한 후, 선형계층에서 완전연결하는 단계를 더 포함하는 것을 특징으로 하는 뉴럴 네트워크 연산 방법
|
| 8 |
8
제6항에 있어서, 상기 손실함수는 웜업(warm-up) 길이와 스텝 사이즈(step-size)를 하이퍼 파라미터로 하는 코사인 학습율과 Nestrov 최적화 알고리즘을 결합하여 최적화하는 것을 특징으로 하는 뉴럴 네트워크 연산 방법
|
| 9 |
9
제8항에 있어서, 첫번째 학습시에는 가중치에만 양자화 비트를 적용하여 전체 에포치에 대해 학습하고, 두번째 학습시에는 가중치와 활성함수를 모두 양자화하여 학습을 수행하는 것을 특징으로 하는 뉴럴 네트워크 연산 방법
|
| 10 |
10
컴퓨터 프로그램이 프로세서에 의해 실행될 때, 제1항 내지 제9항 중 어느 한 항에 따른 방법이 수행되는 컴퓨터 프로그램을 저장한 컴퓨터-판독가능 저장 매체
|
