| 1 |
1
딥러닝 모델을 구축하기 위한 딥러닝 알고리즘을 수신하는 단계;상기 딥러닝 알고리즘을 복수의 동작 단계들로 분할하는 단계;상기 딥러닝 알고리즘에 따른 학습 과정에서 상기 복수의 동작 단계들 사이에 존재하는 적어도 하나의 분기 지점을 결정하는 단계;상기 적어도 하나의 분기 지점을 기준으로 상기 학습 과정의 진행 방향으로부터 분기하고 상기 딥러닝 알고리즘의 마지막 동작 단계로 진행하는 적어도 하나의 중간 딥러닝 모델을 생성하는 단계; 및상기 학습 과정의 완료에 따라 상기 딥러닝 모델 및 상기 적어도 하나의 중간 딥러닝 모델을 완성하는 단계를 포함하는 딥러닝 모델 서빙 최적화를 위한 모델 자동 경량화 방법
|
| 2 |
2
제1항에 있어서, 상기 딥러닝 알고리즘은DNN(Deep Neural Network), CNN(Convolution Neural Network) 및 RNN(Recurrent Neural Network)을 포함하는 것을 특징으로 하는 딥러닝 모델 서빙 최적화를 위한 모델 자동 경량화 방법
|
| 3 |
3
제1항에 있어서,상기 딥러닝 모델 및 상기 적어도 하나의 중간 딥러닝 모델은 예측 정확도와 연산 속도가 각각 상이한 것을 특징으로 하는 딥러닝 모델 서빙 최적화를 위한 모델 자동 경량화 방법
|
| 4 |
4
제1항에 있어서,상기 복수의 동작 단계들로 분할하는 단계는상기 딥러닝 알고리즘의 동작들을 복수의 레이어(layer)들로 분할하는 단계; 및상기 복수의 레이어들 각각에 대응하는 동작 단계들을 결정하는 단계를 포함하는 것을 특징으로 하는 딥러닝 모델 서빙 최적화를 위한 모델 자동 경량화 방법
|
| 5 |
5
제1항에 있어서,상기 복수의 동작 단계들로 분할하는 단계는상기 딥러닝 알고리즘의 동작 과정에서 반복적으로 수행되는 반복 구간을 결정하는 단계;상기 반복 구간을 기준으로 반복 전 구간 및 반복 후 구간을 결정하는 단계;상기 반복 구간에 대해 적어도 하나의 단위 구간을 결정하는 단계; 및상기 반복 전 구간, 상기 적어도 하나의 단위 구간 및 상기 반복 후 구간을 순서대로 정렬하여 상기 복수의 동작 단계들로 결정하는 단계를 포함하는 딥러닝 모델 서빙 최적화를 위한 모델 자동 경량화 방법
|
| 6 |
6
제5항에 있어서,상기 적어도 하나의 분기 지점을 결정하는 단계는상기 반복 구간이 종료되는 지점마다 분기 지점으로 결정하는 단계를 포함하는 것을 특징으로 하는 딥러닝 모델 서빙 최적화를 위한 모델 자동 경량화 방법
|
| 7 |
7
제6항에 있어서,상기 적어도 하나의 분기 지점을 결정하는 단계는상기 딥러닝 알고리즘이 CNN인 경우 적어도 하나의 콘볼루션 레이어(convolution layer)와 풀링 레이어(pooling layer)를 순차적으로 진행하는 반복 구간의 종료 지점을 상기 분기 지점으로 결정하는 단계를 포함하는 것을 특징으로 하는 딥러닝 모델 서빙 최적화를 위한 모델 자동 경량화 방법
|
| 8 |
8
제1항에 있어서,상기 적어도 하나의 중간 딥러닝 모델을 생성하는 단계는상기 분기에 따른 후보 중간 딥러닝 모델을 정의하는 단계;상기 후보 중간 딥러닝 모델의 레이어 수(L) 및 예측 정확도(A)를 기초로 해당 분기 지점의 적정성을 산출하는 단계; 및상기 해당 분기 지점의 적정성이 기 설정된 조건을 충족하는 경우 상기 후보 중간 딥러닝 모델을 중간 딥러닝 모델로 결정하는 단계를 포함하는 것을 특징으로 하는 딥러닝 모델 서빙 최적화를 위한 모델 자동 경량화 방법
|
| 9 |
9
제8항에 있어서,상기 적정성을 산출하는 단계는상기 레이어 수(L)와 상기 예측 정확도(A) 간의 곱 연산(A*L)을 통해 상기 적정성을 산출하는 단계를 포함하고,상기 중간 딥러닝 모델로 결정하는 단계는상기 적정성이 이전 단계에서 생성된 중간 딥러닝 모델보다 2배 증가한 경우 해당 후보 중간 딥러닝 모델을 상기 중간 딥러닝 모델로 결정하는 단계를 포함하는 것을 특징으로 하는 딥러닝 모델 서빙 최적화를 위한 모델 자동 경량화 방법
|
| 10 |
10
딥러닝 모델을 구축하기 위한 딥러닝 알고리즘을 수신하는 알고리즘 수신부;상기 딥러닝 알고리즘을 복수의 동작 단계들로 분할하는 알고리즘 분석부;상기 딥러닝 알고리즘에 따른 학습 과정에서 상기 복수의 동작 단계들 사이에 존재하는 적어도 하나의 분기 지점을 결정하는 분기지점 결정부;상기 적어도 하나의 분기 지점을 기준으로 상기 학습 과정의 진행 방향으로부터 분기하고 상기 딥러닝 알고리즘의 마지막 동작 단계로 진행하는 적어도 하나의 중간 딥러닝 모델을 생성하는 중간모델 생성부; 및상기 학습 과정의 완료에 따라 상기 딥러닝 모델 및 상기 적어도 하나의 중간 딥러닝 모델을 완성하는 딥러닝 모델 구축부를 포함하는 딥러닝 모델 서빙 최적화를 위한 모델 자동 경량화 장치
|
| 11 |
11
제10항에 있어서, 상기 중간모델 생성부는상기 분기에 따른 후보 중간 딥러닝 모델을 정의하고 상기 후보 중간 딥러닝 모델의 레이어 수(L) 및 예측 정확도(A)를 기초로 해당 분기 지점의 적정성을 산출하며 상기 해당 분기 지점의 적정성이 기 설정된 조건을 충족하는 경우 상기 후보 중간 딥러닝 모델을 중간 딥러닝 모델로 결정하는 것을 특징으로 하는 딥러닝 모델 서빙 최적화를 위한 모델 자동 경량화 장치
|
| 12 |
12
제11항에 있어서, 상기 중간모델 생성부는상기 레이어 수(L)와 상기 예측 정확도(A) 간의 곱 연산(A*L)을 통해 상기 적정성을 산출하고 상기 적정성이 이전 단계에서 생성된 중간 딥러닝 모델보다 2배 증가한 경우 해당 후보 중간 딥러닝 모델을 상기 중간 딥러닝 모델로 결정하는 것을 특징으로 하는 딥러닝 모델 서빙 최적화를 위한 모델 자동 경량화 장치
|
| 13 |
13
사용자 단말로부터 추론 서비스에 관한 요청을 수신하는 단계;상기 요청의 수신 시점을 기준으로 클라우드 가용 자원 현황을 결정하고 상기 요청에 대한 응답 생성 시간을 예측하여 해당 응답 생성 시간에 따라 상기 복수의 딥러닝 모델들 중 어느 하나를 결정하는 단계; 및상기 결정된 딥러닝 모델을 이용하여 상기 요청에 대한 응답을 생성하여 상기 사용자 단말에 제공하는 단계를 포함하고,상기 복수의 딥러닝 모델들은 딥러닝 모델 서빙 최적화를 위한 모델 자동 경량화 방법을 기초로 예측 정확도와 연산 속도가 각각 상이하도록 생성되는 것을 특징으로 하는 딥러닝 모델 서빙 최적화를 위한 모델 자동 경량화 방법을 이용한 클라우드 추론 서비스 제공 방법
|
