| 1 |
1
임베디드 플랫폼을 위한 심층신경망 최적화 방법에 있어서,기 구축된 학습 심층신경망의 특성 정보를 획득하는 단계;상기 특성 정보에 기초하여 상기 학습 심층신경망과 연계된 복수의 연산 중 적어도 일부에 대한 최적의 연산 융합 수준을 출력하는 최적화 모델을 학습시키는 단계;타겟 디바이스의 하드웨어 정보 및 상기 타겟 디바이스에 구축하려는 타겟 심층신경망에 대한 대상 특성 정보를 수신하는 단계; 및상기 하드웨어 정보 및 상기 대상 특성 정보에 대응하는 상기 연산 융합 수준을 상기 최적화 모델에 기초하여 도출하는 단계,를 포함하는, 최적화 방법
|
| 2 |
2
제1항에 있어서,상기 최적화 모델을 학습시키는 단계는,상기 연산 융합 수준의 변화에 따른 보상에 기초하여 상기 최적화 모델을 강화학습(Reinforcement learning)을 통해 학습시키는 것인, 최적화 방법
|
| 3 |
3
제2항에 있어서,상기 보상은,상기 연산 융합 수준의 변화에 따른 메모리 소비에 대한 제1변화 정보 및 지연 수준에 대한 제2변화 정보로부터 연산되는 것인, 최적화 방법
|
| 4 |
4
제2항에 있어서,상기 최적화 모델을 학습시키는 단계는,이전 연산 융합 수준과 현재 연산 융합 수준에 대응하여 각각 도출되는 보상 중 큰 보상이 도출된 연산 융합 수준으로 상기 최적의 연산 융합 수준을 갱신하는 프로세스를 반복 수행하는 DDPG(Deep Deterministic Policy Gradient) 에이전트에 기초하여 상기 최적화 모델을 학습시키는 것인, 최적화 방법
|
| 5 |
5
제2항에 있어서,상기 특성 정보는,상기 학습 심층신경망의 입력 채널의 수, 출력 채널의 수, 입력 피처 맵의 크기, 커널 크기 및 레이어 인덱스를 포함하고,상기 대상 특성 정보는,상기 타겟 심층신경망의 입력 채널의 수, 출력 채널의 수, 입력 피처 맵의 크기, 커널 크기 및 레이어 인덱스를 포함하는 것인, 최적화 방법
|
| 6 |
6
제1항에 있어서,상기 학습 심층신경망 및 상기 타겟 심층신경망은,입력된 영상으로부터 등장인물의 행동을 인식하기 위한 ST-GCN(Spatial Temporal Graph Convolutional Network) 모델이고,상기 ST-GCN 모델은 각각이 상호 순차 연결되는 복수 개의 유닛을 포함하는 것인, 최적화 방법
|
| 7 |
7
제6항에 있어서,상기 도출하는 단계는,상기 타겟 심층신경망에 포함된 상기 복수 개의 유닛 중 하나의 함수로 병합할 연속한 유닛의 수를 상기 연산 융합 수준으로 도출하는 것인, 최적화 방법
|
| 8 |
8
제6항에 있어서,상기 복수 개의 유닛 각각은,컨볼루션(Convolution) 연산, 배치 정규화(Batch Normalization) 연산, 정류 선형 유닛(ReLU) 연산 및 드롭아웃(Dropout) 연산을 각각 수행하는 복수의 레이어를 포함하는 것인, 최적화 방법
|
| 9 |
9
제8항에 있어서,상기 도출하는 단계는,상기 타겟 심층신경망에 포함된 상기 복수 개의 유닛 각각에 대하여 하나의 함수로 병합할 연속한 레이어의 수를 상기 연산 융합 수준으로 도출하는 것인, 최적화 방법
|
| 10 |
10
제1항에 있어서,상기 타겟 디바이스는 GPU(Graphics Processing Unit)를 포함하고,상기 타겟 심층신경망과 연계된 지연 시간 및 계산 복잡도 중 적어도 하나에 대한 요구 사항 정보에 기초하여 상기 GPU의 병렬 수준을 결정하는 단계,를 더 포함하는 것인, 최적화 방법
|
| 11 |
11
임베디드 플랫폼을 위한 심층신경망 최적화 장치에 있어서,기 구축된 학습 심층신경망의 특성 정보를 획득하고, 상기 특성 정보에 기초하여 상기 학습 심층신경망과 연계된 복수의 연산 중 적어도 일부에 대한 최적의 연산 융합 수준을 출력하는 최적화 모델을 학습시키는 모델 구축부; 및타겟 디바이스의 하드웨어 정보 및 상기 타겟 디바이스에 구축하려는 타겟 심층신경망에 대한 대상 특성 정보를 수신하고, 상기 하드웨어 정보 및 상기 대상 특성 정보에 대응하는 상기 연산 융합 수준을 상기 최적화 모델에 기초하여 도출하는 모델 적용부,를 포함하는, 최적화 장치
|
| 12 |
12
제11항에 있어서,상기 모델 구축부는,상기 연산 융합 수준의 변화에 따른 보상에 기초하여 상기 최적화 모델을 강화학습(Reinforcement learning)을 통해 학습시키고,상기 보상은,상기 연산 융합 수준의 변화에 따른 메모리 소비에 대한 제1변화 정보 및 지연 수준에 대한 제2변화 정보로부터 연산되는 것인, 최적화 장치
|
| 13 |
13
제12항에 있어서,상기 모델 구축부는,이전 연산 융합 수준과 현재 연산 융합 수준에 대응하여 각각 도출되는 보상 중 큰 보상이 도출된 연산 융합 수준으로 상기 최적의 연산 융합 수준을 갱신하는 프로세스를 반복 수행하는 DDPG(Deep Deterministic Policy Gradient) 에이전트에 기초하여 상기 최적화 모델을 학습시키는 것인, 최적화 장치
|
| 14 |
14
제11항에 있어서,상기 학습 심층신경망 및 상기 타겟 심층신경망은,입력된 영상으로부터 등장인물의 행동을 인식하기 위한 ST-GCN(Spatial Temporal Graph Convolutional Network) 모델이고,상기 ST-GCN 모델은 각각이 상호 순차 연결되는 복수 개의 유닛을 포함하고,상기 모델 적용부는,상기 타겟 심층신경망에 포함된 상기 복수 개의 유닛 중 하나의 함수로 병합할 연속한 유닛의 수를 상기 연산 융합 수준으로 도출하는 것인, 최적화 장치
|
| 15 |
15
제14항에 있어서,상기 복수 개의 유닛 각각은,컨볼루션(Convolution) 연산, 배치 정규화(Batch Normalization) 연산, 정류 선형 유닛(ReLU) 연산 및 드롭아웃(Dropout) 연산을 각각 수행하는 복수의 레이어를 포함하고,상기 모델 적용부는,상기 타겟 심층신경망에 포함된 상기 복수 개의 유닛 각각에 대하여 하나의 함수로 병합할 연속한 레이어의 수를 상기 연산 융합 수준으로 도출하는 것인, 최적화 장치
|
| 16 |
16
제11항에 있어서,상기 타겟 디바이스는 GPU(Graphics Processing Unit)를 포함하고,상기 타겟 심층신경망과 연계된 지연 시간 및 계산 복잡도 중 적어도 하나에 대한 요구 사항 정보에 기초하여 상기 GPU의 병렬 수준을 결정하는 병렬 수준 결정부,를 더 포함하는 것인, 최적화 장치
|
