| 1 |
1
프로세서를 포함한 인공 신경망 성능 예측 장치에 의해 실행되는 데이터 형식에 따른 인공 신경망 성능 예측 방법에 있어서,후보 데이터 형식(candidate data format)을 사용할 인공 신경망의 구역(zone) 및 피연산자(operand)를 결정하는 단계;상기 구역에서 상기 피연산자에 원본 데이터 형식을 적용하여 입력 데이터에 대한 상기 인공 신경망의 제 1 모의 실행에 의해 제 1 파라미터 기울기를 획득하는 단계; 및상기 구역에서 상기 피연산자에 상기 후보 데이터 형식을 적용하여 상기 입력 데이터에 대한 상기 인공 신경망의 제 2 모의 실행에 의해 제 2 파라미터 기울기를 획득하는 단계;상기 제 1 파라미터 기울기 및 상기 제 2 파라미터 기울기에 기반하여 상기 후보 데이터 형식에 따른 성능 지표를 결정하는 단계를 포함하는,인공 신경망 성능 예측 방법
|
| 2 |
2
제 1 항에 있어서,상기 후보 데이터 형식은 상기 원본 데이터 형식보다 저-정밀도(low-precision)인 적어도 하나의 데이터 형식을 포함하는,인공 신경망 성능 예측 방법
|
| 3 |
3
제 1 항에 있어서,상기 피연산자는 활성화 값(activation), 활성화 기울기를 나타내는 오차(error) 및 가중치 기울기(weight gradient) 중 적어도 하나를 포함하는,인공 신경망 성능 예측 방법
|
| 4 |
4
제 1 항에 있어서,상기 성능 지표를 결정하는 단계는,상기 제 1 파라미터 기울기 및 상기 제 2 파라미터 기울기 사이의 거리(magnitude)를 결정하는 단계; 및상기 제 1 파라미터 기울기 및 상기 제 2 파라미터 기울기 사이의 각도(misalignment)를 결정하는 단계를 포함하는,인공 신경망 성능 예측 방법
|
| 5 |
5
제 1 항에 있어서,상기 인공 신경망의 구역 및 피연산자를 결정하는 단계는,상기 인공 신경망의 순방향 경로(Forward Path)와 연계된 제 1 구역을 결정하는 단계; 및상기 제 1 구역의 순방향 전파와 연계된 활성화 값을 상기 피연산자로 결정하는 단계를 포함하는,인공 신경망 성능 예측 방법
|
| 6 |
6
제 1 항에 있어서,상기 인공 신경망의 구역 및 피연산자를 결정하는 단계는,상기 인공 신경망의 역방향 경로(Backward Path)와 연계된 제 2 구역을 결정하는 단계; 및상기 제 2 구역의 역방향 전파와 연계된 활성화 기울기 및 가중치 기울기 중 적어도 하나를 상기 피연산자로 결정하는 단계를 포함하는,인공 신경망 성능 예측 방법
|
| 7 |
7
제 1 항에 있어서,상기 인공 신경망의 구역 및 피연산자를 결정하는 단계는,상기 인공 신경망의 적어도 하나의 계층과 연계된 제 3 구역을 결정하는 단계; 및상기 제 3 구역의 활성화 값, 활성화 기울기 및 가중치 기울기 중 적어도 하나를 상기 피연산자로 결정하는 단계를 포함하는,인공 신경망 성능 예측 방법
|
| 8 |
8
제 1 항에 있어서,상기 후보 데이터 형식은 적어도 하나의 후보 데이터 형식을 포함하고,상기 성능 지표에 기반하여 상기 적어도 하나의 후보 데이터 형식 중 상기 구역에 대한 최적 데이터 형식을 결정하는 단계를 더 포함하는,인공 신경망 성능 예측 방법
|
| 9 |
9
데이터 형식에 따른 인공 신경망 성능 예측 장치에 있어서,적어도 하나의 명령어를 저장하는 메모리; 및프로세서를 포함하고, 상기 적어도 하나의 명령어는 상기 프로세서에 의해 실행될 때 상기 프로세서로 하여금,후보 데이터 형식(candidate data format)을 사용할 인공 신경망의 구역(zone) 및 피연산자(operand)를 결정하고,상기 구역에서 상기 피연산자에 원본 데이터 형식을 적용하여 입력 데이터에 대한 상기 인공 신경망의 제 1 모의 실행에 의해 제 1 파라미터 기울기를 획득하고,상기 구역에서 상기 피연산자에 상기 후보 데이터 형식을 적용하여 상기 입력 데이터에 대한 상기 인공 신경망의 제 2 모의 실행에 의해 제 2 파라미터 기울기를 획득하고,상기 제 1 파라미터 기울기 및 상기 제 2 파라미터 기울기에 기반하여 상기 후보 데이터 형식에 따른 성능 지표를 결정하도록 구성되는,인공 신경망 성능 예측 장치
|
| 10 |
10
제 9 항에 있어서,상기 후보 데이터 형식은 상기 원본 데이터 형식보다 저-정밀도인 적어도 하나의 데이터 형식을 포함하는,인공 신경망 성능 예측 장치
|
| 11 |
11
제 9 항에 있어서,상기 적어도 하나의 명령어는 상기 프로세서에 의해 실행될 때 상기 프로세서로 하여금, 상기 성능 지표를 결정하기 위하여,상기 제 1 파라미터 기울기 및 상기 제 2 파라미터 기울기 사이의 거리(magnitude)를 결정하고,상기 제 1 파라미터 기울기 및 상기 제 2 파라미터 기울기 사이의 각도(misalignment)를 결정하도록 구성되는,인공 신경망 성능 예측 장치
|
| 12 |
12
제 9 항에 있어서,상기 적어도 하나의 명령어는 상기 프로세서에 의해 실행될 때 상기 프로세서로 하여금, 상기 인공 신경망의 구역 및 피연산자를 결정하기 위하여,상기 인공 신경망의 순방향 경로와 연계된 제 1 구역을 결정하고, 상기 제 1 구역의 순방향 전파와 연계된 활성화 값을 상기 피연산자로 결정하도록 구성되는,인공 신경망 성능 예측 장치
|
| 13 |
13
제 9 항에 있어서,상기 적어도 하나의 명령어는 상기 프로세서에 의해 실행될 때 상기 프로세서로 하여금, 상기 인공 신경망의 구역 및 피연산자를 결정하기 위하여,상기 인공 신경망의 역방향 경로와 연계된 제 2 구역을 결정하고, 상기 제 2 구역의 역방향 전파와 연계된 활성화 기울기 및 가중치 기울기 중 적어도 하나를 상기 피연산자로 결정하도록 구성되는,인공 신경망 성능 예측 장치
|
| 14 |
14
제 9 항에 있어서,상기 적어도 하나의 명령어는 상기 프로세서에 의해 실행될 때 상기 프로세서로 하여금, 상기 인공 신경망의 구역 및 피연산자를 결정하기 위하여,상기 인공 신경망의 적어도 하나의 계층과 연계된 제 3 구역을 결정하고, 상기 제 3 구역의 활성화 값, 활성화 기울기 및 가중치 기울기 중 적어도 하나를 상기 피연산자로 결정하도록 구성되는,인공 신경망 성능 예측 장치
|
| 15 |
15
제 9 항에 있어서,상기 후보 데이터 형식은 적어도 하나의 후보 데이터 형식을 포함하고, 상기 적어도 하나의 명령어는 상기 프로세서에 의해 실행될 때 상기 프로세서로 하여금,상기 성능 지표에 기반하여 상기 적어도 하나의 후보 데이터 형식 중 상기 구역에 대한 최적 데이터 형식을 결정하도록 구성되는,인공 신경망 성능 예측 장치
|
| 16 |
16
프로세서에 의해 제 1 항 내지 제 8 항 중 어느 한 항에 따른 인공 신경망 성능 예측 방법을 실행하기 위한 적어도 하나의 명령어를 포함한 컴퓨터 프로그램을 저장한 컴퓨터 판독가능한 비 일시적 기록 매체
|
