| 1 |
1
복수의 프로세서들을 포함하는 장치에서 기계학습 모델을 수행하는 방법에 있어서,복수의 레이어들을 포함하는 기계학습 모델을 입력 받는 단계;상기 복수의 레이어들 각각의 수행 시간 및 소모 전력 중에서 적어도 하나에 대한 프로파일링을 수행하여 프로파일링 데이터를 생성하는 단계;상기 복수의 레이어들 각각에 입력되는 입력 텐서의 크기 및 상기 복수의 레이어들 각각으로부터 출력되는 출력 텐서의 크기를 결정하는 단계;상기 복수의 레이어들 각각의 상기 프로파일링 데이터, 상기 입력 텐서의 크기 및 상기 출력 텐서의 크기를 이용하여, 상기 복수의 레이어들을 실행할 때의 제1 최소 실행 비용을 계산하는 단계;상기 제1 최소 실행 비용에 기초하여, 상기 복수의 레이어들을 하나 이상의 슬라이스로 분할하는 단계; 및상기 복수의 프로세서들 중에서 하나 이상의 프로세서를 이용하여, 상기 하나 이상의 슬라이스를 수행하는 단계를 포함하고,상기 제1 최소 실행 비용은,상기 복수의 레이어들 중에서 제1 개수만큼의 연속된 레이어의 프로파일링 데이터, 입력 텐서의 크기 및 출력 텐서의 크기를 이용하여, 상기 복수의 프로세서들 각각이 상기 제1 개수만큼의 연속된 레이어를 실행할 때의 제1 총 실행 비용, 및 상기 제1 개수만큼의 연속된 레이어를 제외한 나머지 레이어에 대한 제2 최소 실행 비용이 결정되면, 상기 제1 총 실행 비용 및 상기 제2 최소 실행 비용에 기초하여 결정되는기계학습 모델을 수행하는 방법
|
| 2 |
2
제1 항에 있어서,상기 제1 최소 실행 비용에 기초하여, 상기 복수의 프로세서들 중에서 상기 복수의 레이어들 각각을 수행하는 프로세서를 결정하는 단계를 더 포함하는기계학습 모델을 수행하는 방법
|
| 3 |
3
제1 항에 있어서,상기 제1 최소 실행 비용을 계산하는 단계는,상기 제1 총 실행 비용, 및 상기 제2 최소 실행 비용을 결정하는 단계;상기 복수의 레이어들 중에서 제2 개수만큼의 연속된 레이어의 입력 텐서의 크기 및 출력 텐서의 크기를 이용하여, 상기 복수의 프로세서들 각각이 상기 제2 개수만큼의 연속된 레이어를 실행할 때의 제2 총 실행 비용, 및 상기 제2 개수만큼의 연속된 레이어를 제외한 나머지 레이어에 대한 제3 최소 실행 비용을 결정하는 단계; 및상기 제1 총 실행 비용 및 상기 제2 최소 실행 비용의 제1 합과 상기 제2 총 실행 비용 및 상기 제3 최소 실행 비용의 제2 합 중에서 더 적은 상기 제1 합을 상기 제1 최소 실행 비용으로 결정하는 단계를 포함하는기계학습 모델을 수행하는 방법
|
| 4 |
4
제3 항에 있어서,상기 제1 총 실행 비용은,상기 제1 개수만큼의 연속된 레이어 중에서 가장 먼저 수행되는 레이어의 입력 텐서의 크기, 상기 제1 개수만큼의 연속된 레이어 중에서 가장 나중에 수행되는 레이어의 출력 텐서의 크기 및 상기 제1 개수만큼의 연속된 레이어들 자체의 실행 비용을 이용하여 결정되는기계학습 모델을 수행하는 방법
|
| 5 |
5
제4 항에 있어서, 상기 제1 개수만큼의 연속된 레이어들 자체의 실행 비용은 프로세서의 성능을 최적화하는 기준에 기초하여 결정되는기계학습 모델을 수행하는 방법
|
| 6 |
6
제5 항에 있어서, 상기 프로세서의 성능을 최적화하는 기준이 수행 성능인 경우, 상기 제1 개수만큼의 연속된 레이어들 자체의 실행 비용은 상기 제1 개수만큼의 연속된 레이어들의 수행 성능에 따라 결정되고,상기 프로세서의 성능을 최적화하는 기준이 에너지 소모량인 경우, 상기 제1 개수만큼의 연속된 레이어들 자체의 실행 비용은 상기 제1 개수만큼의 연속된 레이어들의 수행 성능 및 총 소모 전력에 따라 결정되는기계학습 모델을 수행하는 방법
|
| 7 |
7
제6 항에 있어서, 상기 수행 성능 및 상기 총 소모 전력은 상기 제1 개수만큼의 연속된 레이어들 각각을 수행하는 프로세서의 동작 주파수에 기초하여 결정되는기계학습 모델을 수행하는 방법
|
| 8 |
8
복수의 레이어들을 포함하는 기계학습 모델을 수행하는 기계학습 모델 수행 장치에 있어서,상기 기계학습 모델을 입력 받는 입출력기; 및복수의 프로세서들을 포함하고, 상기 입출력기를 제어하는 프로세서부를 포함하고,상기 프로세서부는,상기 복수의 레이어들 각각의 수행 시간 및 소모 전력 중에서 적어도 하나에 대한 프로파일링을 수행하여 프로파일링 데이터를 생성하고,상기 복수의 레이어들 각각에 입력되는 입력 텐서의 크기 및 상기 복수의 레이어들 각각으로부터 출력되는 출력 텐서의 크기를 결정하고,상기 복수의 레이어들 각각의 상기 프로파일링 데이터, 상기 입력 텐서의 크기 및 상기 출력 텐서의 크기를 이용하여, 상기 복수의 레이어들을 실행할 때의 제1 최소 실행 비용을 계산하고,상기 제1 최소 실행 비용에 기초하여, 상기 복수의 레이어들을 하나 이상의 슬라이스로 분할하고,상기 복수의 프로세서들 중에서 하나 이상의 프로세서를 이용하여, 상기 하나 이상의 슬라이스를 수행하며,상기 제1 최소 실행 비용은,상기 복수의 레이어들 중에서 제1 개수만큼의 연속된 레이어의 프로파일링 데이터, 입력 텐서의 크기 및 출력 텐서의 크기를 이용하여, 상기 복수의 프로세서들 각각이 상기 제1 개수만큼의 연속된 레이어를 실행할 때의 제1 총 실행 비용, 및 상기 제1 개수만큼의 연속된 레이어를 제외한 나머지 레이어에 대한 제2 최소 실행 비용이 결정되면, 상기 제1 총 실행 비용 및 상기 제2 최소 실행 비용에 기초하여 결정되는기계학습 모델 수행 장치
|
| 9 |
9
제8 항에 있어서,상기 프로세서부는,상기 제1 최소 실행 비용에 기초하여, 상기 복수의 프로세서들 중에서 상기 복수의 레이어들 각각을 수행하는 프로세서를 결정하는기계학습 모델 수행 장치
|
| 10 |
10
제8 항에 있어서,상기 프로세서부는,상기 제1 총 실행 비용, 및 상기 제2 최소 실행 비용을 결정하고,상기 복수의 레이어들 중에서 제2 개수만큼의 연속된 레이어의 입력 텐서의 크기 및 출력 텐서의 크기를 이용하여, 상기 복수의 프로세서들 각각이 상기 제2 개수만큼의 연속된 레이어를 실행할 때의 제2 총 실행 비용, 및 상기 제2 개수만큼의 연속된 레이어를 제외한 나머지 레이어에 대한 제3 최소 실행 비용을 결정하고,상기 제1 총 실행 비용 및 상기 제2 최소 실행 비용의 제1 합과 상기 제2 총 실행 비용 및 상기 제3 최소 실행 비용의 제2 합 중에서 더 적은 상기 제1 합을 상기 제1 최소 실행 비용으로 결정하는기계학습 모델 수행 장치
|
| 11 |
11
제10 항에 있어서,상기 제1 총 실행 비용은,상기 제1 개수만큼의 연속된 레이어 중에서 가장 먼저 수행되는 레이어의 입력 텐서의 크기, 상기 제1 개수만큼의 연속된 레이어 중에서 가장 나중에 수행되는 레이어의 출력 텐서의 크기 및 상기 제1 개수만큼의 연속된 레이어들 자체의 실행 비용을 이용하여 결정되는기계학습 모델 수행 장치
|
| 12 |
12
제11 항에 있어서, 상기 제1 개수만큼의 연속된 레이어들 자체의 실행 비용은 프로세서의 성능을 최적화하는 기준에 기초하여 결정되는기계학습 모델 수행 장치
|
| 13 |
13
제12 항에 있어서,상기 프로세서의 성능을 최적화하는 기준이 수행 성능인 경우, 상기 제1 개수만큼의 연속된 레이어들 자체의 실행 비용은 상기 제1 개수만큼의 연속된 레이어들의 수행 성능에 따라 결정되고,상기 프로세서의 성능을 최적화하는 기준이 에너지 소모량인 경우, 상기 제1 개수만큼의 연속된 레이어들 자체의 실행 비용은 상기 제1 개수만큼의 연속된 레이어들의 수행 성능 및 총 소모 전력에 따라 결정되는기계학습 모델 수행 장치
|
| 14 |
14
제13 항에 있어서,상기 수행 성능 및 상기 총 소모 전력은 상기 제1 개수만큼의 연속된 레이어들 각각을 수행하는 프로세서의 동작 주파수에 기초하여 결정되는기계학습 모델 수행 장치
|
| 15 |
15
컴퓨터 프로그램을 저장하고 있는 컴퓨터 판독 가능 기록매체로서,상기 컴퓨터 프로그램은,제1 항 내지 제7 항 중 어느 한 항에 따른 방법을 프로세서가 수행하도록 하기 위한 명령어를 포함하는컴퓨터 판독 가능한 기록매체
|
| 16 |
16
컴퓨터 판독 가능한 기록매체에 저장되어 있는 컴퓨터 프로그램으로서,상기 컴퓨터 프로그램은,제1 항 내지 제7 항 중 어느 한 항에 따른 방법을 프로세서가 수행하도록 하기 위한 명령어를 포함하는컴퓨터 프로그램
|
