| 1 |
1
구조 탐색부, 모델 도출부를 포함하는 양자화 시스템에 의해 수행되는 신경망 데이터 양자화 방법에 있어서,상기 구조 탐색부에서, 양자화 오류에 대한 강인한 신경망 모델을 도출하기 위하여 구성된 목표 신경망에 기초하여 상기 목표 신경망에 확장 가능한 최대 채널 수와 관련된 검색 매개변수를 통해 채널 정보가 조정된 신경망 구조를 탐색하는 단계; 및 상기 모델 도출부에서, 상기 탐색된 신경망 구조에 대한 훈련을 통해 양자화된 신경망 모델을 도출하는 단계를 포함하고, 상기 신경망 구조를 탐색하는 단계는, 가중치 매개변수가 초기화되고, 상기 검색 매개변수를 사용하여 채널의 개수에 대해 구성된 검색 공간에서, 양자화에 대한 각 계층의 민감도와 하드웨어 제약 조건을 기반으로 채널 선택을 통해 검색 매개변수와 상기 양자화를 통해 훈련 손실을 감소시키기 위한 가중치 매개변수를 업데이트하고, 상기 업데이트된 검색 매개변수의 크기를 목표 신경망의 하이퍼 파라미터에 의해 미리 정의된 특정 임계값과 비교하여 각 계층에 대한 채널 확장의 활성화 여부를 결정하는 단계를 포함하고,상기 검색 매개변수는, 교차 엔트로피 손실과 하드웨어 제약 조건 손실 사이의 트레이드 오프(trade-off)를 기반으로 채널 선택을 통해 업데이트되는 것을 포함하는 신경망 데이터의 양자화 방법
|
| 2 |
2
제1항에 있어서, 상기 신경망 구조를 탐색하는 단계는, 신경 채널 확장 기법에 기초하여 채널의 개수를 선택적으로 조정하는 단계를 포함하는 신경망 데이터의 양자화 방법
|
| 3 |
3
제2항에 있어서, 상기 신경망 구조를 탐색하는 단계는, 채널을 축소 또는 확장이 가능한 검색 공간을 사용하여 신경망을 구성하는 계층에 대한 채널을 확장시키는 단계 를 포함하는 신경망 데이터의 양자화 방법
|
| 4 |
4
제1항에 있어서, 상기 신경망 구조를 탐색하는 단계는, 검색 매개변수를 사용하여 채널의 개수에 대해 검색 공간을 구성하는 단계 를 포함하는 신경망 데이터의 양자화 방법
|
| 5 |
5
제3항에 있어서, 상기 신경망 구조를 탐색하는 단계는, 상기 검색 공간에서, 단일 비트 양자화 또는 다중 비트 양자화를 통해 훈련 손실을 감소시키기 위한 가중치 매개변수를 업데이트하는 단계를 포함하는 신경망 데이터의 양자화 방법
|
| 6 |
6
제4항에 있어서, 상기 신경망 구조를 탐색하는 단계는, 목표 신경망에 확장 가능한 최대 채널 수와 관련하여 업데이트된 검색 매개변수를 각 계층에서 채널 확장이 필요한 지 여부를 확인하기 위하여 상기 검색 매개변수의 크기를 목표 신경망의 하이퍼 파라미터에 의해 미리 결정된 특정 임계값과 비교하는 단계를 포함하는 신경망 데이터의 양자화 방법
|
| 7 |
7
제6항에 있어서, 상기 신경망 구조를 탐색하는 단계는, 상기 비교를 통해 상기 최대 채널 수와 관련하여 업데이트된 검색 매개변수의 크기가 특정 임계값을 초과할 때, 각 계층의 채널 확장을 활성화하고, 상기 채널 확장이 활성화된 계층에 상기 업데이트된 가중치 매개변수를 추가하고 상기 업데이트된 검색 매개변수를 복사하는 단계 를 포함하는 신경망 데이터의 양자화 방법
|
| 8 |
8
신경망 데이터 양자화를 위한 양자화 시스템에 있어서,양자화 오류에 대한 강인한 신경망 모델을 도출하기 위하여 구성된 목표 신경망에 기초하여 상기 목표 신경망에 확장 가능한 최대 채널 수와 관련된 검색 매개변수를 통해 채널 정보가 조정된 신경망 구조를 탐색하는 구조 탐색부; 및 상기 탐색된 신경망 구조에 대한 훈련을 통해 양자화된 신경망 모델을 도출하는 모델 도출부를 포함하고, 상기 구조 탐색부는, 가중치 매개변수가 초기화되고, 상기 검색 매개변수를 사용하여 채널의 개수에 대해 구성된 검색 공간에서, 양자화에 대한 각 계층의 민감도와 하드웨어 제약 조건을 기반으로 채널 선택을 통해 검색 매개변수와 상기 양자화를 통해 훈련 손실을 감소시키기 위한 가중치 매개변수를 업데이트하고, 상기 업데이트된 검색 매개변수의 크기를 목표 신경망의 하이퍼 파라미터에 의해 미리 정의된 특정 임계값과 비교하여 각 계층에 대한 채널 확장의 활성화 여부를 결정하는 것을 포함하고,상기 검색 매개변수는, 교차 엔트로피 손실과 하드웨어 제약 조건 손실 사이의 트레이드 오프(trade-off)를 기반으로 채널 선택을 통해 업데이트되는 것을 포함하는 양자화 시스템
|
| 9 |
9
제8항에 있어서, 상기 구조 탐색부는, 신경 채널 확장 기법에 기초하여 채널의 개수를 선택적으로 조정하는 것을 특징으로 하는 양자화 시스템
|
| 10 |
10
제8항에 있어서, 상기 구조 탐색부는, 채널을 축소 또는 확장이 가능한 검색 공간을 사용하여 신경망을 구성하는 계층에 대한 채널을 확장시키는것을 특징으로 하는 양자화 시스템
|
