| 1 |
1
복수의 트랜스포머 인코더 레이어를 포함하는 뉴럴 네트워크에서 양자화를 수행하는 방법에 있어서,상기 복수의 트랜스포머 인코더 레이어를 파라미터의 민감도에 기초하여 적어도 하나의 상기 트랜스포머 인코더 레이어를 포함하는 그룹들로 분할하는 단계; 분할된 그룹별로 결정된 양자화 방법을 적용하는 단계를 포함하는, 방법
|
| 2 |
2
제1항에 있어서,상기 복수의 트랜스포머 인코더 레이어의 파라미터의 민감도에 기초하여 적어도 하나의 그룹들로 분할하는 단계는,상기 복수의 트랜스포머 인코더 레이어를 최초 입력에 가까운 순서대로 미리 설정된 개수의 레이어를 제1그룹으로, 나머지 레이어를 제2그룹으로 분할하는, 방법
|
| 3 |
3
제2항에 있어서, 분할된 그룹별로 결정된 양자화 방법을 적용하는 단계는,최초 입력에 가까운 상기 제1그룹은 8 비트 인덱스 양자화를 적용하여 각각 양자화된 피드 포워드 네트워크와 셀프어텐션 레이어를 포함한 8 비트 인코더 레이어로 양자화하고, 최종 출력에 가까운 상기 제2그룹은 1 비트 양자화를 적용하여 양자화된 피드 포워드 네트워크와 8비트 인덱스 양자화를 적용하여 양자화된 셀프어텐션 레이어를 포함한 MP 인코더 레이어로 양자화하는, 방법
|
| 4 |
4
제 3항에 있어서,상기 8비트 인덱스 양자화는,순방향 전파에서 8 비트 인덱스를 사용하여 양자화와 역-양자화를 순차적으로 적용하는 단계; 및역방향 전파에서 8 비트 클립 함수를 사용하여 가중치를 학습시키는 단계를 포함하는, 방법
|
| 5 |
5
제3항에 있어서,상기 1 비트 양자화는,순방향 전파에서 sign 함수를 이용하여 양자화하는 단계; 및역방향 전파에서 1 비트 클립 함수를 사용하여 가중치를 학습시키는 단계를 포함하는, 방법
|
| 6 |
6
제5항에 있어서,상기 1 비트 양자화는,파라미터의 각 절대값을 1에 가깝게 학습하는 절대 이진 가중치 정규화(Absolute Binary Weight Regularization)를 수행하는 단계를 더 포함하는, 방법
|
| 7 |
7
제5항에 있어서,상기 1 비트 양자화는,상기 1 비트 양자화를 수행하기 전에, FP32 형식의 가중치가 입력의 이진 특성을 학습하도록 하는 이진화 특징 우선 학습(Prioritized Training)을 수행하는 단계를 더 포함하는, 방법
|
| 8 |
8
제5항에 있어서,상기 1 비트 양자화는,학습단계에서 레이어 별 재학습(Layer-wise Fine-Tuning)을 적용하는 단계를 더 포함하는, 방법
|
| 9 |
9
복수의 트랜스포머 인코더 레이어를 포함하는 뉴럴 네트워크에서 양자화를 수행하는 장치에 있어서,양자화를 수행하는 프로그램이 저장되는 저장부; 및적어도 하나의 프로세서를 포함하는 제어부를 포함하며,상기 제어부는,상기 복수의 트랜스포머 인코더 레이어를 파라미터의 민감도에 기초하여 적어도 하나의 상기 트랜스포머 인코더 레이어를 포함하는 그룹들로 분할하며, 분할된 그룹별로 결정된 양자화 방법을 적용하는, 장치
|
| 10 |
10
제9항에 있어서,상기 제어부는,상기 복수의 트랜스포머 인코더 레이어를 최초 입력에 가까운 순서대로 미리 설정된 개수의 레이어를 제1그룹으로, 나머지 레이어를 제2그룹으로 분할하는, 장치
|
| 11 |
11
제10항에 있어서,상기 제어부는,최초 입력에 가까운 상기 제1그룹은 8 비트 인덱스 양자화를 적용하여 각각 양자화된 피드 포워드 네트워크와 셀프어텐션 레이어를 포함한 8 비트 인코더 레이어로 양자화하고, 최종 출력에 가까운 상기 제2그룹은 1 비트 양자화를 적용하여 양자화된 피드 포워드 네트워크와 8비트 인덱스 양자화를 적용하여 양자화된 셀프어텐션 레이어를 포함한 MP 인코더 레이어로 양자화하는, 장치
|
| 12 |
12
제11항에 있어서,상기 제어부는,상기 8비트 인덱스 양자화를 하되,순방향 전파에서 8 비트 인덱스를 사용하여 양자화와 역-양자화를 순차적으로 적용하고,역방향 전파에서 8 비트 클립 함수를 사용하여 가중치를 학습시키는, 장치
|
| 13 |
13
제11항에 있어서,상기 제어부는,상기 1 비트 양자화를 하되,순방향 전파에서 sign 함수를 이용하여 양자화하고,역방향 전파에서 1 비트 클립 함수를 사용하여 가중치를 학습시키는, 장치
|
| 14 |
14
제13항에 있어서,상기 제어부는,상기 1 비트 양자화를 하되,파라미터의 각 절대값을 1에 가깝게 학습하는 절대 이진 가중치 정규화(Absolute Binary Weight Regularization)를 수행하는, 장치
|
| 15 |
15
제13항에 있어서,상기 제어부는,상기 1 비트 양자화를 하되,상기 1 비트 양자화를 수행하기 전에, FP32 형식의 가중치가 입력의 이진 특성을 학습하도록 하는 이진화 특징 우선 학습(Prioritized Training)을 수행하는, 장치
|
| 16 |
16
제13항에 있어서,상기 제어부는,상기 1 비트 양자화를 하되,학습단계에서 레이어 별 재학습(Layer-Wise Fine-Tuning)을 적용하는, 장치
|
| 17 |
17
컴퓨터에 제1항에 기재된 방법을 실행시키기 위한 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체
|
| 18 |
18
파라미터의 민감도에 기초하여 복수의 트랜스포머 인코더 레이어를 양자화하는 장치에 의해 수행되며, 제1항에 기재된 방법을 수행하기 위해 매체에 저장된 컴퓨터 프로그램
|
