| 1 |
1
프로세서를 포함한 인공 신경망 연산 장치에 의해 실행되는 파라미터 양자화에 기반한 인공 신경망 연산 방법으로서,인공 신경망의 파라미터의 제 1 양자화 파라미터 값에 기반하여 상기 파라미터의 파라미터 기울기를 결정하는 제 1 단계;상기 파라미터 기울기 및 상기 제 1 양자화 파라미터 값과 연계된 제 1 원본 파라미터 값에 기반하여 상기 파라미터의 제 2 원본 파라미터 값을 결정하는 제 2 단계; 및상기 제 1 양자화 파라미터 값과 상기 제 2 원본 파라미터 값의 비교 결과에 기반하여 상기 제 2 원본 파라미터 값과 연계된 제 2 양자화 파라미터 값을 결정하는 제 3 단계를 포함하는,인공 신경망 연산 방법
|
| 2 |
2
제 1 항에 있어서,상기 제 1 양자화 파라미터 값 및 상기 제 2 양자화 파라미터 값은 저-정밀도(low-precision) 값이고, 상기 제 1 원본 파라미터 값 및 상기 제 2 원본 파라미터 값은 고-정밀도(high-precision) 값인,인공 신경망 연산 방법
|
| 3 |
3
제 1 항에 있어서,상기 파라미터는 상기 인공 신경망의 가중치(weight)를 포함하는,인공 신경망 연산 방법
|
| 4 |
4
제 1 항에 있어서,학습 데이터를 복수의 미니 배치(mini-batch) 데이터로 분할하는 단계; 및상기 복수의 미니 배치 데이터의 각각에 대하여 상기 제 1 단계, 상기 제 2 단계 및 상기 제 3 단계를 실행하는 단계를 더 포함하는,인공 신경망 연산 방법
|
| 5 |
5
제 4 항에 있어서,상기 복수의 미니 배치 데이터는 제 1 미니 배치 데이터 및 상기 제 1 미니 배치 데이터에 후속한 제 2 미니 배치 데이터를 포함하고,상기 제 3 단계는,상기 제 1 미니 배치 데이터에 대하여 상기 제 1 단계, 상기 제 2 단계 및 상기 제 3 단계를 실행함으로써 획득한 제 2 양자화 파라미터를 제 2 미니 배치 데이터에 대한 제 1 양자화 파라미터로 설정하는 단계를 더 포함하는,인공 신경망 연산 방법
|
| 6 |
6
제 4 항에 있어서,상기 복수의 미니 배치 데이터는 제 1 미니 배치 데이터 및 상기 제 1 미니 배치 데이터에 후속한 제 2 미니 배치 데이터를 포함하고,상기 제 3 단계는,상기 제 1 미니 배치 데이터에 대하여 상기 제 1 단계 및 상기 제 2 단계를 실행함으로써 획득한 제 2 원본 파라미터 값을 제 2 미니 배치 데이터에 대한 제 1 원본 파라미터 값으로 설정하는 단계를 더 포함하는,인공 신경망 연산 방법
|
| 7 |
7
제 1 항에 있어서,상기 제 3 단계는,상기 제 2 원본 파라미터 값이 상기 제 1 양자화 파라미터 값보다 큰 경우 상기 제 2 원본 파라미터 값을 내림연산한 값을 상기 제 2 양자화 파라미터 값으로 결정하고, 상기 제 2 원본 파라미터 값이 상기 제 1 양자화 파라미터 값보다 작거나 같은 경우 상기 제 2 원본 파라미터 값을 올림연산한 값을 상기 제 2 양자화 파라미터 값으로 결정하는 단계를 포함하는,인공 신경망 연산 방법
|
| 8 |
8
제 1 항에 있어서,입력 데이터에 대하여 상기 제 2 양자화 파라미터 값을 이용하여 상기 인공 신경망의 출력 값을 연산하는 단계를 더 포함하는,인공 신경망 연산 방법
|
| 9 |
9
파라미터 양자화에 기반한 인공 신경망 연산 장치로서,적어도 하나의 명령어를 저장하는 메모리; 및프로세서를 포함하고, 상기 적어도 하나의 명령어는 상기 프로세서에 의해 실행되어 상기 프로세서로 하여금,인공 신경망의 파라미터의 제 1 양자화 파라미터 값에 기반하여 상기 파라미터의 파라미터 기울기를 결정하는 제 1 동작;상기 파라미터 기울기 및 상기 제 1 양자화 파라미터 값과 연계된 제 1 원본 파라미터 값에 기반하여 상기 파라미터의 제 2 원본 파라미터 값을 결정하는 제 2 동작; 및상기 제 1 양자화 파라미터 값과 상기 제 2 원본 파라미터 값의 비교 결과에 기반하여 상기 제 2 원본 파라미터 값과 연계된 제 2 양자화 파라미터 값을 결정하는 제 3 동작을 실행하도록 구성되는,인공 신경망 연산 장치
|
| 10 |
10
제 9 항에 있어서,상기 제 1 양자화 파라미터 값 및 상기 제 2 양자화 파라미터 값은 저-정밀도 값이고, 상기 제 1 원본 파라미터 값 및 상기 제 2 원본 파라미터 값은 고-정밀도 값인,인공 신경망 연산 장치
|
| 11 |
11
제 9 항에 있어서,상기 제 3 동작은,상기 제 2 원본 파라미터 값이 상기 제 1 양자화 파라미터 값보다 큰 경우 상기 제 2 원본 파라미터를 내림연산한 값을 상기 제 2 양자화 파라미터 값으로 결정하고, 상기 제 2 원본 파라미터 값이 상기 제 1 양자화 파라미터 값보다 작거나 같은 경우 상기 제 2 원본 파라미터를 올림연산한 값을 상기 제 2 양자화 파라미터 값으로 결정하는 동작을 포함하는인공 신경망 연산 장치
|
| 12 |
12
제 9 항에 있어서,상기 적어도 하나의 명령어는 상기 프로세서에 의해 실행되어 상기 프로세서로 하여금,상기 인공 신경망의 순방향 경로상의 적어도 하나의 연결과 연계된 적어도 하나의 파라미터에 대하여 상기 제 1 동작, 상기 제 2 동작 및 상기 제 3 동작을 실행하도록 구성되는,인공 신경망 연산 장치
|
| 13 |
13
제 9 항에 있어서,상기 적어도 하나의 명령어는 상기 프로세서에 의해 실행되어 상기 프로세서로 하여금,상기 인공 신경망의 적어도 하나의 계층의 적어도 일부의 연결과 연계된 적어도 하나의 파라미터에 대하여 상기 제 1 동작, 상기 제 2 동작 및 상기 제 3 동작을 실행하도록 구성되는,인공 신경망 연산 장치
|
| 14 |
14
제 9 항에 있어서,상기 적어도 하나의 명령어는 상기 프로세서에 의해 실행되어 상기 프로세서로 하여금,입력 데이터에 대하여 상기 제 2 양자화 파라미터 값을 이용하여 상기 인공 신경망의 출력 값을 연산하도록 구성되는,인공 신경망 연산 장치
|
| 15 |
15
프로세서를 포함한 인공 신경망 연산 장치에 의해 제 1 항 내지 제 8 항 중 어느 한 항에 따른 인공 신경망 연산 방법을 실행하도록 구성된 적어도 하나의 명령어를 저장한 컴퓨터 판독가능한 비 일시적 기록 매체
|
