| 1 |
1
프루닝(pruning)을 반복적으로 수행하여 뉴럴 네트워크를 압축하는 네트워크 압축 방법에 있어서,상기 뉴럴 네트워크의 각 계층 별 가중치의 분포를 모델링하여 가중치 분포 모델을 생성하는 단계;상기 가중치 분포 모델의 확률 분포에 기초하여 상기 프루닝이 수행될 계층들을 선택하는 단계; 및프루닝 비율을 결정하고 상기 선택된 계층들에 대해 상기 결정된 프루닝 비율로 상기 프루닝을 수행하는 단계를 포함하고,상기 프루닝이 수행될 계층들을 선택하는 단계는,상기 뉴럴 네트워크의 목표 압축률 대비 현재의 압축률을 나타내는 달성률을 결정하는 단계; 상기 달성률에 기초하여 상기 뉴럴 네트워크의 계층들 중 상기 프루닝이 수행될 계층들의 비율을 결정하는 단계; 및상기 결정된 비율에 기초하여 상기 프루닝이 수행될 계층들을 선택하는 단계를 포함하는,네트워크 압축 방법
|
| 2 |
2
제1항에 있어서,상기 결정된 비율에 기초하여 상기 프루닝이 수행될 계층들을 선택하는 단계는,상기 가중치 분포 모델의 확률 분포에서 임계 값 이하인 값의 확률이 큰 순서대로 상기 결정된 비율에 기초하여 상기 프루닝이 수행될 계층들을 선택하는,네트워크 압축 방법
|
| 3 |
3
제2항에 있어서상기 프루닝이 수행될 계층들의 비율을 결정하는 단계는,상기 달성률이 커질수록 상기 프루닝이 수행될 계층들의 비율을 작게 설정하는,네트워크 압축 방법
|
| 4 |
4
제2항에 있어서,상기 프루닝을 수행하는 단계는,상기 달성률에 기초하여 상기 프루닝 비율을 결정하는 단계; 및상기 프루닝 비율로 상기 선택된 계층들에 대해 상기 프루닝을 수행하는 단계를 포함하는,네트워크 압축 방법
|
| 5 |
5
제4항에 있어서,상기 프루닝 비율을 결정하는 단계는,상기 달성률이 커질수록 상기 프루닝 비율을 크게 설정하는,네트워크 압축 방법
|
| 6 |
6
제5항에 있어서,상기 가중치 분포 모델을 생성하는 단계는,가우시안 혼합 모델(Gaussian Mixture Model; GMM)을 이용하여 상기 가중치 분포 모델을 생성하는,네트워크 압축 방법
|
| 7 |
7
제6항에 있어서,상기 현재의 압축률이 상기 목표 압축률에 도달했는지 여부를 판단하는 단계를 더 포함하고,상기 현재의 압축률이 상기 목표 압축률에 도달할 때까지 상기 가중치 분포 모델을 생성하는 단계, 상기 프루닝이 수행될 계층들을 선택하는 단계 및 상기 프루닝을 수행하는 단계가 반복되는,네트워크 압축 방법
|
| 8 |
8
제2항에 있어서,상기 프루닝이 수행될 계층들의 비율을 결정하는 단계는,하기의 수학식 3의 함수를 통해 상기 프루닝이 수행될 계층들의 비율을 결정하고,상기 프루닝을 수행하는 단계는, 하기의 수학식 4의 함수를 통해 상기 프루닝 비율을 결정하고,하기 수학식 3에서, 는 상기 프루닝이 수행될 계층들의 비율이고, 는 달성률이고, 는 상수이고,하기 수학식 4에서, 는 상기 프루닝 비율이고, 는 달성률이고, 는 상수인,네트워크 압축 방법
|
| 9 |
9
프루닝을 반복적으로 수행하여 뉴럴 네트워크를 압축하는 네트워크 압축 장치에 있어서,적어도 하나의 프로세서; 및상기 프로세서에 의해 실행될 인스트럭션들(instructions)을 저장하는 적어도 하나의 메모리를 포함하고,상기 인스트럭션들은, 상기 프로세서에 의해 실행될 때, 상기 프로세서로 하여금,상기 뉴럴 네트워크의 각 계층 별 가중치의 분포를 모델링하여 가중치 분포 모델을 생성하는 동작;상기 가중치 분포 모델의 확률 분포에 기초하여 상기 프루닝이 수행될 계층들을 선택하는 동작; 및프루닝 비율을 결정하고 상기 선택된 계층들에 대해 상기 결정된 프루닝 비율로 상기 프루닝을 수행하는 동작을 실행하도록 구성되고,상기 프루닝이 수행될 계층들을 선택하는 동작은,상기 뉴럴 네트워크의 목표 압축률 대비 현재의 압축률을 나타내는 달성률을 결정하는 동작; 상기 달성률에 기초하여 상기 뉴럴 네트워크의 계층들 중 상기 프루닝이 수행될 계층들의 비율을 결정하는 동작; 및상기 결정된 비율에 기초하여 상기 프루닝이 수행될 계층들을 선택하는 동작을 포함하는,네트워크 압축 장치
|
| 10 |
10
제9항에 있어서,상기 결정된 비율에 기초하여 상기 프루닝이 수행될 계층들을 선택하는 동작은,상기 가중치 분포 모델의 확률 분포에서 임계 값 이하의 값의 확률이 큰 순서대로 상기 결정된 비율에 기초하여 상기 프루닝이 수행될 계층들을 선택하는,네트워크 압축 장치
|
| 11 |
11
제10항에 있어서,상기 프루닝이 수행될 계층들의 비율을 결정하는 동작은,상기 달성률이 커질수록 더 적은 비율의 계층들이 선택되는 것으로 결정하는,네트워크 압축 장치
|
| 12 |
12
제10항에 있어서,상기 프루닝을 수행하는 동작은,상기 달성률에 기초하여 상기 프루닝 비율을 결정하는 동작; 및상기 프루닝 비율로 상기 선택된 계층들에 대해 상기 프루닝을 수행하는 동작을 포함하는,네트워크 압축 장치
|
| 13 |
13
제12항에 있어서,상기 프루닝 비율을 결정하는 동작은,상기 달성률이 커질수록 상기 프루닝 비율을 크게 설정하는,네트워크 압축 장치
|
| 14 |
14
제13항에 있어서,상기 가중치 분포 모델을 생성하는 동작은,가우시안 혼합 모델(Gaussian Mixture Model; GMM)을 이용하여 상기 가중치 분포 모델을 생성하는,네트워크 압축 장치
|
| 15 |
15
제14항에 있어서,상기 현재의 압축률이 상기 목표 압축률에 도달했는지 여부를 판단하는 동작을 더 포함하고,상기 프로세서는,상기 현재의 압축률이 상기 목표 압축률에 도달할 때까지 상기 가중치 분포 모델을 생성하는 동작, 상기 프루닝이 수행될 계층들을 선택하는 동작 및 상기 프루닝을 수행하는 동작을 반복하도록 구성되는,네트워크 압축 장치
|
