| 1 |
1
복수의 트랜스포머 뉴럴 네트워크 레이어를 포함하는 뉴럴 네트워크의 어텐션헤드를 프루닝하는 방법에 있어서,제1뉴럴 네트워크의 어텐션 헤드 중 어떤 헤드를 프루닝할지 결정하도록 DQN(Deep Q Network)을 이용해 제2뉴럴 네트워크를 강화학습하는 단계; 및강화학습된 상기 제2뉴럴 네트워크를 이용하여 상기 제1뉴럴 네트워크의 어텐션헤드를 프루닝하는 단계를 포함하는, 방법
|
| 2 |
2
제1항에 있어서, 상기 복수의 트랜스포머 뉴럴 네트워크 레이어별로 레이어 순서대로 어텐션 헤드를 그리디 방식으로 프루닝하고, 각 레이어에서 어텐션 헤드를 프루닝 할 때 한번에 한 어텐션 헤드를 그리디 방식으로 프루닝하는, 듀얼리-그리디 서치 스페이스 프루닝(Dually-Greedy Search Space pruning) 방식을 이용하는, 방법
|
| 3 |
3
제1항에 있어서,상기 제2뉴럴 네트워크를 강화학습하는 단계는,어텐션 헤드의 밸류 행렬의 L1 노름(norm)에 기초하여 상기 트랜스포머 뉴럴 네트워크 레이어의 상태를 표현하는 단계; 및상기 트랜스포머 뉴럴 네트워크 레이어의 상태에 기초하여 DQN을 이용하여 제2뉴럴 네트워크를 강화학습하는 단계를 포함하는, 방법
|
| 4 |
4
제1항에 있어서,상기 제2뉴럴 네트워크를 강화학습하는 단계는,DQN을 이용한 강화학습에 필요한 보상을 계산하는 단계를 포함하며,상기 보상은,상기 제1뉴럴 네트워크 정확도의 변화인, 방법
|
| 5 |
5
제1항에 있어서,남아있는 어텐션 헤드의 가중치를 조절하기 위해 상기 제1뉴럴 네트워크를 재학습(fine-tuning)시키는 단계를 더 포함하는, 방법
|
| 6 |
6
복수의 트랜스포머 뉴럴 네트워크 레이어를 포함하는 뉴럴 네트워크의 어텐션 헤드를 프루닝하는 장치에 있어서,프루닝을 수행하는 프로그램이 저장되는 저장부; 및적어도 하나의 프로세서를 포함하는 제어부를 포함하며,상기 제어부는,제1뉴럴 네트워크의 어텐션 헤드 중 어떤 헤드를 프루닝할지 결정하도록 DQN(Deep Q Network)을 이용해 제2뉴럴 네트워크를 강화학습하고,강화학습된 상기 제2뉴럴 네트워크를 이용하여 상기 제1뉴럴 네트워크의 어텐션헤드를 프루닝하는, 장치
|
| 7 |
7
제6항에 있어서,상기 제어부는,상기 복수의 트랜스포머 뉴럴 네트워크 레이어별로 레이어 순서대로 어텐션 헤드를 그리디 방식으로 프루닝하고, 각 레이어에서 어텐션 헤드를 프루닝 할 때 한번에 한 어텐션 헤드를 그리디 방식으로 프루닝하는, 듀얼리-그리디 서치 스페이스 프루닝(Dually-Greedy Search Space pruning) 방식을 이용하는, 장치
|
| 8 |
8
제6항에 있어서,상기 제어부는,어텐션 헤드의 밸류 행렬의 L1 노름(norm)에 기초하여 상기 트랜스포머 뉴럴 네트워크 레이어의 상태를 표현하고,상기 트랜스포머 뉴럴 네트워크 레이어의 상태에 기초하여 DQN을 이용하여 제2뉴럴 네트워크를 강화학습하는, 장치
|
| 9 |
9
제6항에 있어서,상기 제어부는,DQN을 이용한 강화학습에 필요한 보상을 계산하는 단계를 포함하며,상기 보상은,상기 제1뉴럴 네트워크 정확도의 변화인, 장치
|
| 10 |
10
제6항에 있어서,상기 제어부는,남아있는 어텐션 헤드의 가중치를 조절하기 위해 상기 제1뉴럴 네트워크를 재학습(fine-tuning)시키는, 장치
|
| 11 |
11
컴퓨터에 제1항에 기재된 방법을 실행시키기 위한 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체
|
| 12 |
12
버트자동정규화장치에 의해 수행되며, 제1항에 기재된 방법을 수행하기 위해 매체에 저장된 컴퓨터 프로그램
|
