| 1 |
1
심층신경망(Deep Neural Network, DNN) 모델의 비정렬된(unaligned) 그룹-레벨(group-level) 프루닝(pruning) 방법에 있어서,가중치 그룹의 크기(size) 및 로드 밸런싱 팩터(load balancing factor)를 결정하는 단계;상기 가중치 그룹의 크기 및 상기 로드 밸런싱 팩터에 기초하여 상기 가중치 그룹을 선택하는 단계; 및상기 선택된 가중치 그룹에 포함되지 않은 가중치 요소들(elements)을 제거하는 단계를 포함하는, 비정렬된 그룹-레벨 프루닝 방법
|
| 2 |
2
제1항에 있어서,상기 심층신경망(DNN) 모델을 재훈련시키는(retraining) 단계를 더 포함하는, 비정렬된 그룹-레벨 프루닝 방법
|
| 3 |
3
제1항에 있어서,상기 가중치 그룹의 크기는 하드웨어의 특성에 기초하여 결정되는, 비정렬된 그룹-레벨 프루닝 방법
|
| 4 |
4
제3항에 있어서,상기 하드웨어의 특성은컴퓨팅 코어의 개수, 캐시 라인(cache line)의 크기, 및 SIMD(Single Instruction Multiple Data) 유닛의 개수 중 적어도 하나를 포함하는, 비정렬된 그룹-레벨 프루닝 방법
|
| 5 |
5
제1항에 있어서,상기 가중치 그룹의 크기는 가중치 행렬의 모양에 기초하여 결정되는, 비정렬된 그룹-레벨 프루닝 방법
|
| 6 |
6
제1항에 있어서,상기 로드 밸런싱 팩터는 가중치 행렬의 각 행에서 최대로 보존될 수 있는 가중치 그룹의 수에 따라 결정되는, 비정렬된 그룹-레벨 프루닝 방법
|
| 7 |
7
제1항에 있어서,상기 가중치 그룹을 선택하는 단계는 고정되지 않은 임의의 위치에서 상기 가중치 그룹을 선택하는, 비정렬된 그룹-레벨 프루닝 방법
|
| 8 |
8
제7항에 있어서,상기 가중치 그룹을 선택하는 단계는목표 희소성(sparsity)을 충족시키면서 후보 가중치 그룹들 중에서 가장 큰 규모(magnitude)의 가중치 그룹을 선택하는, 비정렬된 그룹-레벨 프루닝 방법
|
| 9 |
9
제8항에 있어서,이미 선택된 제1 가중치 그룹 및 상기 이미 선택된 제1 가중치 그룹과 겹치는 제2 가중치 그룹들은 상기 후보 가중치 그룹에서 제외되는, 비정렬된 그룹-레벨 프루닝 방법
|
| 10 |
10
제7항에 있어서,상기 가중치 그룹을 선택하는 단계는가중치 행렬을 1차원 가중치 행렬로 변경하고, 하기의 수학식에 의해 계산되는 Wks,e에 대하여, Wm1,n이 최대가 되는 m개의 가중치 그룹을 선택하는, 비정렬된 그룹-레벨 프루닝 방법
|
| 11 |
11
제10항에 있어서,상기 Wm1,n이 최대가 되는 m개의 가중치 그룹은 동적 프로그래밍(dynamic programming)에 의해 선택되는, 비정렬된 그룹-레벨 프루닝 방법
|
| 12 |
12
제1항에 있어서,상기 가중치 요소들을 제거하는 단계는 상기 선택된 가중치 그룹에 포함되지 않은 가중치 요소들을 영(0)으로 마스킹하는, 비정렬된 그룹-레벨 프루닝 방법
|
| 13 |
13
심층신경망(Deep Neural Network, DNN) 모델의 비정렬된(unaligned) 그룹-레벨(group-level) 프루닝(pruning) 장치에 있어서,가중치 그룹의 크기(size)를 결정하는 가중치 그룹 크기 결정부;로드 밸런싱 팩터(load balancing factor)를 결정하는 로드 밸런싱 팩터 결정부;상기 가중치 그룹의 크기 및 상기 로드 밸런싱 팩터에 기초하여 상기 가중치 그룹을 선택하는 가중치 그룹 선택부; 및상기 선택된 가중치 그룹에 포함되지 않은 가중치 요소들(elements)을 제거하는 프루닝부를 포함하는, 비정렬된 그룹-레벨 프루닝 장치
|
| 14 |
14
제13항에 있어서,상기 심층신경망(DNN) 모델을 재훈련시키는(retraining) 모델 재훈련부를 더 포함하는, 비정렬된 그룹-레벨 프루닝 장치
|
| 15 |
15
제13항에 있어서,상기 가중치 그룹의 크기는 하드웨어의 특성에 기초하여 결정되는, 비정렬된 그룹-레벨 프루닝 장치
|
| 16 |
16
제15항에 있어서,상기 하드웨어의 특성은컴퓨팅 코어의 개수, 캐시 라인(cache line)의 크기, 및 SIMD(Single Instruction Multiple Data) 유닛의 개수 중 적어도 하나를 포함하는, 비정렬된 그룹-레벨 프루닝 장치
|
| 17 |
17
제13항에 있어서,상기 가중치 그룹의 크기는 가중치 행렬의 모양에 기초하여 결정되는, 비정렬된 그룹-레벨 프루닝 장치
|
| 18 |
18
제13항에 있어서,상기 로드 밸런싱 팩터는 가중치 행렬의 각 행에서 최대로 보존될 수 있는 가중치 그룹의 수에 따라 결정되는, 비정렬된 그룹-레벨 프루닝 장치
|
| 19 |
19
제13항에 있어서,상기 가중치 그룹 선택부는 고정되지 않은 임의의 위치에서 상기 가중치 그룹을 선택하는, 비정렬된 그룹-레벨 프루닝 장치
|
| 20 |
20
제19항에 있어서,상기 가중치 그룹 선택부는목표 희소성(sparsity)을 충족시키면서 후보 가중치 그룹들 중에서 가장 큰 규모(magnitude)의 가중치 그룹을 선택하는, 비정렬된 그룹-레벨 프루닝 장치
|
| 21 |
21
제20항에 있어서,이미 선택된 제1 가중치 그룹 및 상기 이미 선택된 제1 가중치 그룹과 겹치는 제2 가중치 그룹들은 상기 후보 가중치 그룹에서 제외되는, 비정렬된 그룹-레벨 프루닝 장치
|
| 22 |
22
제19항에 있어서,상기 가중치 그룹 선택부는가중치 행렬을 1차원 가중치 행렬로 변경하고, 하기의 수학식에 의해 계산되는 Wks,e에 대하여, Wm1,n이 최대가 되는 m개의 가중치 그룹을 선택하는, 비정렬된 그룹-레벨 프루닝 장치
|
| 23 |
23
제22항에 있어서,상기 Wm1,n이 최대가 되는 m개의 가중치 그룹은 동적 프로그래밍(dynamic programming)에 의해 선택되는, 비정렬된 그룹-레벨 프루닝 장치
|
| 24 |
24
제13항에 있어서,상기 프루닝부는 상기 선택된 가중치 그룹에 포함되지 않은 가중치 요소들을 영(0)으로 마스킹하는, 비정렬된 그룹-레벨 프루닝 장치
|
| 25 |
25
심층신경망(Deep Neural Network, DNN) 모델의 비정렬된(unaligned) 그룹-레벨(group-level) 프루닝(pruning)을 수행하는 컴퓨터 프로그램을 저장한 컴퓨터 판독 가능한 기록매체에 있어서, 상기 컴퓨터 프로그램은 컴퓨팅 시스템이:가중치 그룹의 크기(size) 및 로드 밸런싱 팩터(load balancing factor)를 결정하고;상기 가중치 그룹의 크기 및 상기 로드 밸런싱 팩터에 기초하여 상기 가중치 그룹을 선택하고; 및상기 선택된 가중치 그룹에 포함되지 않은 가중치 요소들(elements)을 제거하도록 하는 명령을 포함하는, 비정렬된(unaligned) 그룹-레벨(group-level) 프루닝(pruning)을 수행하는 컴퓨터 프로그램을 저장한 컴퓨터 판독 가능한 기록매체
|
