| 1 |
1
추론 장치에서 실행되는 다층 구조의 인공신경망을 포함하는 딥러닝 모델의 양자화 방법으로서,상기 추론 장치의 프로세서가, 저장 장치에 저장된 인공신경망의 연산자 종류 별 양자화 순위를 확인하는 단계;상기 프로세서가, 상기 양자화 순위에 기반하여 제1 연산자 종류를 선택하는 단계;상기 프로세서가, 상기 딥러닝 모델에서 상기 제1 연산자 종류에 해당하는 복수의 연산자들 중 양자화를 수행할 제1 연산자를 선택하는 단계; 상기 프로세서가, 상기 제1 연산자가 양자화된 상기 딥러닝 모델에 미리 설정된 제1 테스트 데이터를 입력하여 획득한 상기 딥러닝 모델의 정확도에 기반하여 상기 제1 연산자의 양자화 수행 여부를 결정하는 단계; 및상기 프로세서가 상기 제1 연산자의 양자화 수행 여부의 결정에 기반하여 상기 딥러닝 모델에서 상기 제1 연산자의 양자화를 수행하는 단계를 포함하는,추론 장치의 딥러닝 모델의 양자화 방법
|
| 2 |
2
제1 항에 있어서,상기 추론 장치의 상기 프로세서가, 상기 제1 연산자의 양자화가 수행된 상기 딥러닝 모델에 입력 데이터를 입력하여 결과를 출력하는 단계를 더 포함하는,추론 장치의 딥러닝 모델의 양자화 방법
|
| 3 |
3
제1 항에 있어서,상기 제1 연산자의 양자화 수행 여부를 결정하는 단계는,상기 제1 연산자의 양자화 수행 시, 미리 설정된 정확도 기준을 만족하는 경우 상기 제1 연산자의 양자화를 수행하는 것으로 결정하는 단계를 포함하는,추론 장치의 딥러닝 모델의 양자화 방법
|
| 4 |
4
제1 항에 있어서,상기 프로세서가, 상기 양자화 순위에 기반하여 상기 제1 연산자 종류에 해당하는 모든 연산자의 양자화 수행 여부를 결정했는지 확인하는 단계; 상기 프로세서가, 상기 양자화 순위에 기반하여 상기 제1 연산자 종류와 다른 제2 연산자 종류에 해당하는 연산자의 양자화 수행 여부를 결정하는 단계를 포함하는,추론 장치의 딥러닝 모델의 양자화 방법
|
| 5 |
5
제1 항에 있어서,양자화를 수행할 상기 제1 연산자를 선택하는 단계는,상기 딥러닝 모델에서 상기 제1 연산자 종류에 해당하는 복수의 연산자들의 호출 순서를 확인하는 단계;상기 호출 순서에서 먼저 호출되는 순서대로 양자화를 수행할 상기 제1 연산자를 선택하는 단계를 포함하는,추론 장치의 딥러닝 모델의 양자화 방법
|
| 6 |
6
제1 항에 있어서,상기 딥러닝 모델에 포함된 모든 연산자들의 양자화 여부가 결정된 이후, 상기 딥러닝 모델은 상기 제1 연산자 종류에 해당하는 복수의 연산자들 중 양자화되지 않은 연산자를 포함하는,추론 장치의 딥러닝 모델의 양자화 방법
|
| 7 |
7
제1 항에 있어서,상기 딥러닝 모델에 포함된 모든 연산자들의 양자화 여부가 결정된 이후,상기 딥러닝 모델의 연산자 종류가 다른 제2 연산자 및 제3 연산자 중 제2 연산자는 양자화가 수행되지 않는 것으로 결정되고, 호출 순서가 상기 제2 연산자보다 늦은 상기 제3 연산자는 양자화를 수행하는 것으로 결정된, 추론 장치의 딥러닝 모델의 양자화 방법
|
| 8 |
8
제1 항에 있어서,연산자 종류 별 상기 양자화 순위는 상기 딥러닝 모델의 추론 정확도에 영향을 덜 미치는 연산자 종류 순서대로 우선적으로 설정된, 추론 장치의 딥러닝 모델의 양자화 방법
|
| 9 |
9
제1 항에 있어서,인공신경망의 연산자 종류 별 상기 양자화 순위를 확인하는 단계 이전에,상기 프로세서가, 상기 딥러닝 모델에 포함된 연산자들을 확인하는 단계;상기 딥러닝 모델에 포함된 연산자들의 연산자 종류를 판단하는 단계;연산자 종류 중 상기 제1 연산자 종류에 해당하는 연산자들의 양자화를 수행하기 전 및 후의 상기 딥러닝 모델에 제2 테스트 데이터를 입력하여 획득한 출력의 차이인 제1 오차를 산출하는 단계;연산자 종류 중 제2 연산자 종류에 해당하는 연산자들의 양자화를 수행하기 전 및 후의 상기 딥러닝 모델에 상기 제2 테스트 데이터를 입력하여 획득한 출력의 차이인 제2 오차를 산출하는 단계; 및상기 제1 오차와 상기 제2 오차를 비교하여 상기 양자화 순위를 결정하는 단계를 더 포함하는,추론 장치의 딥러닝 모델의 양자화 방법
|
| 10 |
10
다층 구조의 인공신경망을 포함하는 딥러닝 모델 및 인공신경망의 연산자 종류 별 양자화 순위 정보를 저장하는 저장 장치;프로세서; 및상기 프로세서와 전기적으로 연결되고, 상기 프로세서에서 수행되는 적어도 하나의 코드(code)가 저장되는 메모리를 포함하고,상기 메모리는 상기 프로세서를 통해 실행될 때 상기 프로세서가, 상기 양자화 순위 정보에 포함된 양자화 순위에 기반하여 제1 연산자 종류를 선택하고, 상기 제1 연산자 종류에 해당하는 복수의 연산자들 중 양자화를 수행할 제1 연산자를 선택하고, 상기 제1 연산자가 양자화된 상기 딥러닝 모델에 미리 설정된 제1 테스트 데이터를 입력하여 획득한 상기 딥러닝 모델의 정확도에 기반하여 상기 제1 연산자의 양자화 수행 여부를 결정하고, 상기 제1 연산자의 양자화 수행 여부의 결정에 기반하여 상기 제1 연산자의 양자화를 수행하도록 야기하는 코드를 저장하는,추론 장치
|
| 11 |
11
제10 항에 있어서, 상기 메모리는 상기 프로세서로 하여금, 상기 제1 연산자의 양자화가 수행된 상기 딥러닝 모델에 입력 데이터를 입력하여 결과를 출력하도록 야기하는 코드를 더 저장하는, 추론 장치
|
| 12 |
12
제10 항에 있어서, 상기 메모리는 상기 프로세서로 하여금, 상기 제1 연산자의 양자화 수행 시, 미리 설정된 정확도 기준을 만족하는 경우 상기 제1 연산자의 양자화를 수행하는 것으로 결정하도록 야기하는 코드를 더 저장하는, 추론 장치
|
| 13 |
13
제10 항에 있어서, 상기 메모리는 상기 프로세서로 하여금, 상기 양자화 순위에 기반하여 상기 제1 연산자 종류에 해당하는 모든 연산자의 양자화 수행 여부를 결정했는지 확인하고, 상기 양자화 순위에 기반하여 상기 제1 연산자 종류와 다른 제2 연산자 종류에 해당하는 연산자의 양자화 수행 여부를 결정하도록 야기하는 코드를 더 저장하는, 추론 장치
|
| 14 |
14
제10 항에 있어서, 상기 메모리는 상기 프로세서로 하여금, 상기 딥러닝 모델에서 상기 제1 연산자 종류에 해당하는 복수의 연산자들의 호출 순서를 확인하고, 상기 호출 순서에서 먼저 호출되는 순서대로 양자화를 수행할 상기 제1 연산자를 선택하도록 야기하는 코드를 더 저장하는, 추론 장치
|
| 15 |
15
제10 항에 있어서, 상기 딥러닝 모델에 포함된 모든 연산자들의 양자화 여부가 결정된 이후, 상기 딥러닝 모델은 상기 제1 연산자 종류에 해당하는 복수의 연산자들 중 양자화되지 않은 연산자를 포함하는, 추론 장치
|
| 16 |
16
제10 항에 있어서, 상기 딥러닝 모델에 포함된 모든 연산자들의 양자화 여부가 결정된 이후,상기 딥러닝 모델의 연산자 종류가 다른 제2 연산자 및 제3 연산자 중 제2 연산자는 양자화가 수행되지 않는 것으로 결정되고, 호출 순서가 상기 제2 연산자보다 늦은 상기 제3 연산자는 양자화를 수행하는 것으로 결정된, 추론 장치
|
| 17 |
17
제10 항에 있어서, 연산자 종류 별 상기 양자화 순위는 상기 딥러닝 모델의 추론 정확도에 영향을 덜 미치는 연산자 종류 순서대로 우선적으로 설정된,추론 장치
|
| 18 |
18
제10 항에 있어서, 상기 메모리는 상기 프로세서로 하여금, 상기 딥러닝 모델에 포함된 연산자들을 확인하고, 상기 딥러닝 모델에 포함된 연산자들의 연산자 종류를 판단하고, 연산자 종류 중 상기 제1 연산자 종류에 해당하는 연산자들의 양자화를 수행하기 전 및 후의 상기 딥러닝 모델에 제2 테스트 데이터를 입력하여 획득한 출력의 차이인 제1 오차를 산출하고, 연산자 종류 중 제2 연산자 종류에 해당하는 연산자들의 양자화를 수행하기 전 및 후의 상기 딥러닝 모델에 상기 제2 테스트 데이터를 입력하여 획득한 출력의 차이인 제2 오차를 산출하고, 상기 제1 오차와 상기 제2 오차를 비교하여 상기 양자화 순위를 결정하도록 야기하는 코드를 더 저장하는, 추론 장치
|
| 19 |
19
컴퓨터인 추론 장치에서, 다층 구조의 인공신경망을 포함하는 딥러닝 모델의 양자화를 수행하는 복수의 단계들로서,상기 추론 장치의 프로세서가, 저장 장치에 저장된 인공신경망의 연산자 종류 별 양자화 순위를 확인하는 단계;상기 프로세서가, 상기 양자화 순위에 기반하여 제1 연산자 종류를 선택하는 단계;상기 프로세서가, 상기 딥러닝 모델에서 상기 제1 연산자 종류에 해당하는 복수의 연산자들 중 양자화를 수행할 제1 연산자를 선택하는 단계; 상기 프로세서가, 상기 제1 연산자가 양자화된 상기 딥러닝 모델에 미리 설정된 제1 테스트 데이터를 입력하여 획득한 상기 딥러닝 모델의 정확도에 기반하여 상기 제1 연산자의 양자화를 수행 여부를 결정하는 단계; 및상기 프로세서가 상기 제1 연산자의 양자화 수행 여부의 결정에 기반하여 상기 딥러닝 모델에서 상기 제1 연산자의 양자화를 수행하는 단계를 실행시키기 위하여 저장매체에 저장된 컴퓨터 프로그램
|
| 20 |
20
추론 장치에서 실행되는 다층 구조의 인공신경망을 포함하는 딥러닝 모델의 양자화 방법으로서,상기 추론 장치의 프로세서가, 저장 장치에 저장된 인공신경망의 연산자 종류 별 양자화 순위를 확인하는 단계; 및상기 프로세서가, 상기 양자화 순위에 기반하여 연산자 종류 별로 양자화 여부를 결정하는 단계를 포함하고,연산자 종류 별로 양자화 여부를 결정하는 단계는,동일한 연산자 종류인 복수의 연산자들 각각의 양자화를 수행한 후 정확도 변화에 기반하여 각 연산자의 양자화 수행 여부를 결정하는 단계를 포함하는,추론 장치의 딥러닝 모델의 양자화 방법
|
