| 1 |
1
신경망에서 필터를 프루닝하는 방법에 있어서,복수개의 필터들을 갖는 컨볼루션 레이어를 획득하는 단계;상기 복수개의 필터들을 구분하여 복수개의 클러스터들을 생성하는 단계; 상기 복수개의 클러스터들 각각의 기하 중앙값을 산출하는 단계; 및상기 복수개의 클러스터들 각각에 대한 상기 기하 중앙값에 기초하여, 상기 복수개의 클러스터들 각각에 포함된 상기 복수개의 필터들 중 적어도 하나의 필터를 제외하는 단계를 포함하는 방법
|
| 2 |
2
제1 항에 있어서,상기 복수개의 클러스터들을 생성하는 단계는,상기 컨볼루션 레이어에 포함된 상기 복수개의 필터들을 라플라시안 행렬로 변환하는 단계;상기 라플라시안 행렬에서 고유값들의 크기에 기초하여 k개의 고유값들을 선택하는 단계;상기 k개의 고유값들 각각에 대응하는 고유벡터들을 획득하는 단계;상기 고유벡터들을 이용하여 상기 복수개의 필터들을 구분하여 상기 복수개의 클러스터들을 결정하는 단계를 포함하는 방법
|
| 3 |
3
제1 항에 있어서,상기 복수개의 클러스터들 각각의 기하 중앙값을 산출하는 단계는,상기 복수개의 클러스터들 중 제1 클러스터에 포함된 복수개의 제1 필터들에 기초하여, 상기 제1 클러스터의 제1 기하 중앙값을 산출하는 단계를 포함하는 방법
|
| 4 |
4
제3 항에 있어서,상기 제1 기하 중앙값과 상기 복수개의 제1 필터들 사이의 거리인 제1 기하 거리들을 산출하는 단계;를 더 포함하고,제1 기하 거리에 기초하여 우선순위를 결정하는 단계;상기 적어도 하나의 필터를 제외하는 단계는, 상기 우선순위에 기초하여 상기 복수개의 제1 필터들 중 적어도 하나의 필터를 제외하는 단계를 포함하며,상기 제1 기하 거리와 상기 우선순위는 음의 상관 관계를 가지는 방법
|
| 5 |
5
제1 항에 있어서,상기 복수개의 클러스터들 각각의 기하 거리 및 기하 평균 거리를 산출하는 단계를 더 포함하고,상기 복수개의 필터들 중 적어도 하나의 필터를 제외하는 단계는,상기 기하 평균 거리 및 상기 기하 중앙값에 기초하여, 상기 복수개의 클러스터들 각각에 포함된 상기 복수개의 필터들 중 적어도 하나의 필터를 제외하는 단계인 방법
|
| 6 |
6
제5 항에 있어서,상기 복수개의 클러스터들 각각의 상기 기하 거리 및 상기 기하 평균 거리를 산출하는 단계는,상기 복수개의 클러스터들 중 제1 클러스터에 포함된 복수개의 제1 필터들에 기초하여, 상기 제1 클러스터의 제1 기하 중앙값과 상기 제1 클러스터에 포함된 복수개의 필터들 사이의 거리인 제1 기하 거리들을 산출하는 단계;상기 복수개의 클러스터들 중 제2 클러스터에 포함된 복수개의 제2 필터들에 기초하여, 상기 제2 클러스터의 제2 기하 중앙값과 상기 제2 클러스터에 포함된 복수개의 필터들 사이의 거리인 제2 기하 거리들을 산출하는 단계;상기 제1 기하 거리들의 평균 값인 제1 기하 평균 거리를 산출하는 단계; 및상기 제2 기하 거리들의 평균 값인 제2 기하 평균 거리를 산출하는 단계를 포함하는 방법
|
| 7 |
7
제6 항에 있어서,상기 적어도 하나의 필터를 제외하는 단계는,상기 제1 기하 평균 거리 및 제2 기하 평균 거리에 기초하여 제1 축소율 및 제2 축소율을 결정하는 단계;상기 제1 축소율 및 상기 제1 클러스터의 제1 기하 중앙값에 기초하여, 상기 복수개의 제1 필터들 중 적어도 하나의 필터를 제외하는 단계;상기 제2 축소율 및 상기 제2 클러스터의 제2 기하 중앙값에 기초하여, 상기 복수개의 제2 필터들 중 적어도 하나의 필터를 제외하는 단계를 포함하고,상기 제1 기하 평균 거리 및 상기 제2 기하 평균 거리에 따른 기하 평균 거리와 제1 축소율 및 제2 축소율에 따른 축소율은 음의 상관 관계를 가지고, 상기 제1 축소율이 상기 제2 축소율보다 큰 경우, a)상기 복수개의 제1 필터들의 수 대비 상기 제1 클러스터에서 제외된 적어도 하나의 필터의 수는 b)상기 복수개의 제2 필터들의 수 대비 상기 제2 클러스터에서 제외된 적어도 하나의 필터의 수 이상인 방법
|
| 8 |
8
제1 항에 있어서,상기 복수개의 클러스터들 각각에 포함된 상기 복수개의 필터들의 norm 을 산출하고, 상기 복수개의 클러스터들 각각에 대응하는 norm 평균을 산출하는 단계를 더 포함하고,상기 복수개의 필터들 중 적어도 하나의 필터를 제외하는 단계는,상기 norm 평균 및 상기 기하 중앙값에 기초하여, 상기 복수개의 클러스터들 각각에 포함된 상기 복수개의 필터들 중 적어도 하나의 필터를 제외하는 단계인 방법
|
| 9 |
9
제8 항에 있어서,상기 복수개의 필터들의 상기 norm 을 산출하고, 상기 복수개의 클러스터들 각각에 대응하는 상기 norm 평균을 산출하는 단계는,상기 복수개의 클러스터들 중 제1 클러스터에 포함된 복수개의 제1 필터들에 기초하여, 상기 복수개의 제1 필터들 각각의 norm을 산출하고, 상기 복수개의 제1 필터들 각각의 norm을 평균인 제1 norm 평균을 산출하는 단계;상기 복수개의 클러스터들 중 제2 클러스터에 포함된 복수개의 제2 필터들에 기초하여, 상기 복수개의 제2 필터들 각각의 norm을 산출하고, 상기 복수개의 제2 필터들 각각의 norm을 평균인 제2 norm 평균을 산출하는 단계를 포함하는 방법
|
| 10 |
10
제9 항에 있어서,상기 적어도 하나의 필터를 제외하는 단계는,상기 제1 norm 평균 및 제2 norm 평균에 기초하여 제1 축소율 및 제2 축소율을 결정하는 단계;상기 제1 축소율 및 상기 제1 클러스터의 제1 기하 중앙값에 기초하여, 상기 복수개의 제1 필터들 중 적어도 하나의 필터를 제외하는 단계;상기 제2 축소율 및 상기 제2 클러스터의 제2 기하 중앙값에 기초하여, 상기 복수개의 제2 필터들 중 적어도 하나의 필터를 제외하는 단계를 포함하고,상기 제1 norm 평균 및 상기 norm 평균에 따른 norm 평균과 제1 축소율 및 제2 축소율에 따른 축소율은 음의 상관 관계를 가지고, 상기 제1 축소율이 상기 제2 축소율보다 큰 경우, a)상기 복수개의 제1 필터들의 수 대비 상기 제1 클러스터에서 제외된 적어도 하나의 필터의 수는 b)상기 복수개의 제2 필터들의 수 대비 상기 제2 클러스터에서 제외된 적어도 하나의 필터의 수 이상인 방법
|
| 11 |
11
신경망에서 필터를 프루닝하기 위한 컴퓨터 장치에 있어서,복수개의 필터들을 갖는 컨볼루션 레이어를 포함하는 메모리; 및상기 복수개의 필터들을 구분하여 복수개의 클러스터들을 생성하고, 상기 복수개의 클러스터들 각각의 기하 중앙값을 산출하며, 상기 복수개의 클러스터들 각각에 대한 상기 기하 중앙값에 기초하여, 상기 복수개의 클러스터들 각각에 포함된 상기 복수개의 필터들 중 적어도 하나의 필터를 제외하는 프로세서를 포함하는 컴퓨터 장치
|
| 12 |
12
제11 항에 있어서,상기 프로세서는,상기 컨볼루션 레이어에 포함된 상기 복수개의 필터들을 라플라시안 행렬로 변환하고, 상기 라플라시안 행렬에서 고유값들의 크기에 기초하여 k개의 고유값들을 선택하고, 상기 k개의 고유값들 각각에 대응하는 고유벡터들을 획득하며, 상기 고유벡터들을 이용하여 상기 복수개의 필터들을 구분하여 상기 복수개의 클러스터들을 결정하는 컴퓨터 장치
|
| 13 |
13
제11 항에 있어서,상기 프로세서는,상기 복수개의 클러스터들 중 제1 클러스터에 포함된 복수개의 제1 필터들에 기초하여, 상기 제1 클러스터의 제1 기하 중앙값을 산출하는 컴퓨터 장치
|
| 14 |
14
제13 항에 있어서,상기 프로세서는,상기 제1 기하 중앙값과 상기 복수개의 제1 필터들 사이의 거리인 제1 기하 거리들을 산출하고, 제1 기하 거리에 기초하여 우선순위를 결정하며, 상기 우선순위에 기초하여 상기 복수개의 제1 필터들 중 적어도 하나의 필터를 제외하고,상기 제1 기하 거리와 상기 우선순위는 음의 상관 관계를 가지는 컴퓨터 장치
|
| 15 |
15
제11 항에 있어서,상기 프로세서는,상기 복수개의 클러스터들 각각의 기하 거리 및 기하 평균 거리를 산출하고, 상기 기하 평균 거리 및 상기 기하 중앙값에 기초하여, 상기 복수개의 클러스터들 각각에 포함된 상기 복수개의 필터들 중 적어도 하나의 필터를 제외하는 컴퓨터 장치
|
| 16 |
16
제15 항에 있어서,상기 프로세서는,상기 복수개의 클러스터들 중 제1 클러스터에 포함된 복수개의 제1 필터들에 기초하여, 상기 제1 클러스터의 제1 기하 중앙값과 상기 제1 클러스터에 포함된 복수개의 필터들 사이의 거리인 제1 기하 거리들을 산출하고, 상기 복수개의 클러스터들 중 제2 클러스터에 포함된 복수개의 제2 필터들에 기초하여, 상기 제2 클러스터의 제2 기하 중앙값과 상기 제2 클러스터에 포함된 복수개의 필터들 사이의 거리인 제2 기하 거리들을 산출하며, 상기 제1 기하 거리의 평균 값인 제1 기하 평균 거리를 산출하고, 상기 제2 기하 거리의 평균 값인 제2 기하 평균 거리를 산출하는 컴퓨터 장치
|
| 17 |
17
제16 항에 있어서,상기 프로세서는,상기 제1 기하 평균 거리 및 제2 기하 평균 거리에 기초하여 제1 축소율 및 제2 축소율을 결정하고, 상기 제1 축소율 및 상기 제1 클러스터의 제1 기하 중앙값에 기초하여, 상기 복수개의 제1 필터들 중 적어도 하나의 필터를 제외하며, 상기 제2 축소율 및 상기 제2 클러스터의 제2 기하 중앙값에 기초하여, 상기 복수개의 제2 필터들 중 적어도 하나의 필터를 제외하고,상기 제1 기하 평균 거리 및 상기 제2 기하 평균 거리에 따른 기하 평균 거리와 제1 축소율 및 제2 축소율에 따른 축소율은 음의 상관 관계를 가지며,상기 제1 축소율이 상기 제2 축소율보다 큰 경우, a)상기 복수개의 제1 필터들의 수 대비 상기 제1 클러스터에서 제외된 적어도 하나의 필터의 수는 b)상기 복수개의 제2 필터들의 수 대비 상기 제2 클러스터에서 제외된 적어도 하나의 필터의 수 이상인 컴퓨터 장치
|
| 18 |
18
제11 항에 있어서,상기 프로세서는,상기 복수개의 클러스터들 각각에 포함된 상기 복수개의 필터들의 norm 을 산출하고, 상기 복수개의 클러스터들 각각에 대응하는 norm 평균을 산출하며, 상기 norm 평균 및 상기 기하 중앙값에 기초하여, 상기 복수개의 클러스터들 각각에 포함된 상기 복수개의 필터들 중 적어도 하나의 필터를 제외하는 컴퓨터 장치
|
| 19 |
19
제18 항에 있어서,상기 프로세서는,상기 복수개의 클러스터들 중 제1 클러스터에 포함된 복수개의 제1 필터들에 기초하여, 상기 복수개의 제1 필터들 각각의 norm을 산출하고, 상기 복수개의 제1 필터들 각각의 norm을 평균인 제1 norm 평균을 산출하고, 상기 복수개의 클러스터들 중 제2 클러스터에 포함된 복수개의 제2 필터들에 기초하여, 상기 복수개의 제2 필터들 각각의 norm을 산출하고, 상기 복수개의 제2 필터들 각각의 norm을 평균인 제2 norm 평균을 산출하는 컴퓨터 장치
|
| 20 |
20
제19 항에 있어서,상기 프로세서는,상기 제1 norm 평균 및 제2 norm 평균에 기초하여 제1 축소율 및 제2 축소율을 결정하고, 상기 제1 축소율 및 상기 제1 클러스터의 제1 기하 중앙값에 기초하여, 상기 복수개의 제1 필터들 중 적어도 하나의 필터를 제외하며, 상기 제2 축소율 및 상기 제2 클러스터의 제2 기하 중앙값에 기초하여, 상기 복수개의 제2 필터들 중 적어도 하나의 필터를 제외하고, 상기 제1 norm 평균 및 상기 norm 평균에 따른 norm 평균과 제1 축소율 및 제2 축소율에 따른 축소율은 음의 상관 관계를 가지며,상기 제1 축소율이 상기 제2 축소율보다 큰 경우, a)상기 복수개의 제1 필터들의 수 대비 상기 제1 클러스터에서 제외된 적어도 하나의 필터의 수는 b)상기 복수개의 제2 필터들의 수 대비 상기 제2 클러스터에서 제외된 적어도 하나의 필터의 수 이상인 컴퓨터 장치
|
