| 1 |
1
딥러닝 네트워크의 경량화를 위한 필터 프루닝 방법에 있어서,베이스라인 네트워크에 대해 1차 필터 프루닝을 수행하는 단계;상기 1차 필터 프루닝의 결과로 도출되는 복수의 가중치에 대해 테일러 확장을 이용하여 가중치 중요도를 평가하는 단계; 및상기 복수의 가중치 상호간 거리의 변화에 근거하여, 적응적 경사 학습을 수행하는 단계를 포함하는 필터 프루닝 방법
|
| 2 |
2
제1항에 있어서,상기 가중치 중요도를 평가하는 단계는,상기 복수의 가중치와, 그에 대응되는 경사 값을 이용하는 테일러 확장에 근거하여 구심 벡터(Centripetal vector)를 재설계하는 과정을 포함하는 것을 특징으로 하는 필터 프루닝 방법
|
| 3 |
3
제2항에 있어서,상기 구심 벡터를 재설계하는 과정은,제1 가중치(W0)와 제2 가중치(W1)가 미리 설정된 기준치(W*)와 대응될 때, 프루닝에 의한 손실의 변화량 변수(I0, I1)를 계산하는 것을 특징으로 하는 필터 프루닝 방법
|
| 4 |
4
제3항에 있어서,상기 구심 벡터를 재설계하는 과정은,제1 가중치와 상기 제2 가중치에 각각 대응되는 경사 값의 비교를 수행함으로써, 상기 손실의 변화량 변수를 계산하는 것을 특징으로 하는 필터 프루닝 방법
|
| 5 |
5
제4항에 있어서,상기 구심 벡터를 재설계하는 과정은,상기 제1 가중치를 업데이트함에 있어서 제1 마스크 변수를 이용하고, 상기 제2 가중치를 업데이트함에 있어서 제2 마크스 변수를 이용하며,상기 제1 마스크 변수와 상기 제2 마스크 변수를 서로 상이한 값인 것을 특징으로 하는 필터 프루닝 방법
|
| 6 |
6
제5항에 있어서,상기 제1 및 제2 마스크 변수는 0 내지 1 범위에 포함되는 바이너리 값인 것을 특징으로 하는 필터 프루닝 방법
|
| 7 |
7
제3항에 있어서,상기 적응적 경사 학습을 수행하는 단계는,상기 제1 가중치와 상기 제2 가중치 사이의 거리가 학습 단계가 반복됨에 따라 감소하는 경우, 미리 설정된 오리지널 경사 값을 이용하여 가중치 업데이트를 수행하는 과정을 포함하는 것을 특징으로 하는 필터 프루닝 방법
|
| 8 |
8
제7항에 있어서,상기 적응적 경사 학습을 수행하는 단계는,상기 제1 가중치와 상기 제2 가중치 사이의 거리가 학습 단계가 반복됨에 따라 증가하는 경우, 상기 테일러 확장에 의해 재설계된 구심 벡터와, 평균 경사 값을 이용하여 가중치 업데이트를 수행하는 과정을 포함하는 것을 특징으로 하는 필터 프루닝 방법
|
| 9 |
9
제1항에 있어서,상기 베이스라인에 적용되는 상기 1차 필터 프루닝은, C-SGD(Centripetal Stochastic Gradient Descent) 기법인 것을 특징으로 하는 필터 프루닝 방법
|
| 10 |
10
제9항에 있어서,상기 1차 필터 프루닝은,일 학습 단계가 종료된 후 클러스터 당 하나의 필터만을 유지시키고, 나머지 필터들은 삭제하는 것을 특징으로 하는 필터 프루닝 방법
|
