| 1 |
1
연산 처리 장치의 하이퍼 파라미터 최적화를 위한 최적화기로서,훈련 데이터를 입력받아 통계적 분석을 담당하는 통계 분석부와, 상기 통계 분석부의 통계적 분석값을 이용하여 하이퍼 파라미터별 목적 함수를 생성하는 목적 함수 생성부와, 상기 하이퍼 파라미터별 목적 함수에 의하여 소정의 규칙에 따라 최적의 하이퍼 파라미터를 선택하는 최적 하이퍼 파라미터 선택부를 포함하는 하이퍼 파라미터 최적화기
|
| 2 |
2
제1항에 있어서, 상기 통계 분석부는,상기 훈련 데이터에 대해서, 데이터 수, 라벨별 분포특성, 데이터의 최솟값, 최댓값, 분산, 표준편차를 포함한 통계정보를 산출하는 것인 하이퍼 파라미터 최적화기
|
| 3 |
3
제1항에 있어서, 상기 목적 함수 생성부는, 하이퍼 파라미터 별로 생성된 상기 목적 함수에 대하여 소정의 리그레션 방법을 통해 실험적 데이터에 근사시키는 것인 하이퍼 파라미터 최적화기
|
| 4 |
4
제1항에 있어서, 상기 목적 함수 생성부는,상기 통계 분석부의 통계적 분석 결과를 사용하여 2차 다항식 커브의 계수(coefficient) 및 시그모이드 커브 계수(sigmoid curve coefficient) 중 어느 하나인 하이퍼 파라미터 별 목적 함수의 계수값을 계산하여 실험적 데이터에 근사시키는 것인 하이퍼 파라미터 최적화기
|
| 5 |
5
제1항에 있어서, 상기 최적 하이퍼 파라미터 선택부는,둘 이상의 소정의 특정 규칙을 사용하여 목적하는 어플리케이션 별 스파이킹 뉴럴 네트워크의 연산 결과치 정확도를 구하여, 이 중에서 가장 높은 정확도를 유도하는 하이퍼 파라미터를 최적 하이퍼 파라미터로 선택하는 것인 하이퍼 파라미터 최적화기
|
| 6 |
6
제1항에 있어서, 상기 최적 하이퍼 파라미터 선택부는,둘 이상의 소정의 특정 규칙을 사용하여 도출한, 목적하는 어플리케이션 별 RMSE가 가장 낮게 되는 하이퍼 파라미터를 최적 하이퍼 파라미터로 선택하는 것인 하이퍼 파라미터 최적화기
|
| 7 |
7
제5항 및 제6항 중 어느 한 항에 있어서, 상기 특정 규칙은 피크 값, 최소값, 최대값, 두 목적함수의 교차값, 최댓값 및 최솟값에서의 백오프값 중 어느 하나인, 하이퍼 파라미터 최적화기
|
| 8 |
8
통계적 분석 방법을 적용한 하이퍼 파라미터 최적화 방법에 있어서,훈련 데이터를 입력받는 단계와,상기 훈련 데이터에 대한 데이터 수, 라벨별 분포특성, 데이터의 최솟값, 최댓값, 분산, 표준편차 중 적어도 하나를 포함하는 통계 값을 산출하는 단계와,산출된 상기 통계 값을 토대로 스파이킹 뉴럴 네트워크에 사용되는 하이퍼 파라미터별 목적 함수를 생성하는 단계와,상기 목적 함수에 대한 리그레션을 수행하는 단계와,소정의 선택 규칙에 따라 최적 하이퍼 파라미터를 선택하는 단계를 포함하는 하이퍼 파라미터 최적화 방법
|
| 9 |
9
제8항에 있어서, 상기 리그레션을 수행하는 단계는,상기 통계 값을 사용하여 2차 다항식 커브의 계수(coefficient) 및 시그모이드 커브 계수(sigmoid curve coefficient) 중 하나인 하이퍼 파라미터별 목적 함수의 계수값을 계산하여 실험적 데이터에 근사시키는 것인 하이퍼 파라미터 최적화 방법
|
| 10 |
10
제8항에 있어서, 상기 하이퍼 파라미터를 선택하는 단계는,상기 리그레션 수행 결과, 각 어플리케이션에 적합한 스파이킹 뉴럴 네트워크의 정확도가 가장 높은 하이퍼 파라미터 및 RMSE 값이 최소인 하이퍼 파라미터 중 하나를 선택하는 것인 하이퍼 파라미터 최적화 방법
|
| 11 |
11
제8항에 있어서, 선택된 최적 하이퍼 파라미터를 스파이킹 뉴럴 네트워크 연산 처리 장치로 전달하는 단계를 더 포함하는 하이퍼 파라미터 최적화 방법
|
| 12 |
12
연산 처리 장치와 연동한 하이퍼 파라미터 최적화 방법에 있어서,상기 연산 처리 장치로부터 하드웨어 성능 요소를 전달받는 단계와,상기 하드웨어 성능 요소에 따라 미리 정한 하이퍼 파라미터 별 허용 범위 내에서 최적의 하이퍼 파라미터를 선택하는 단계를 포함하는 하이퍼 파라미터 최적화 방법
|
| 13 |
13
제12항에 있어서, 상기 선택하는 단계는,설계 가능한 범위의 하드웨어 성능 요소별로, 허용 가능한 하이퍼 파라미터별 허용 범위 테이블을 준비하는 단계와,입력된 상기 하드웨어 성능 요소에 부합하는 허용 범위 테이블을 참조하여, 참조된 상기 허용 범위 테이블에 정의된 하이퍼 파라미터별 허용 범위 내에서 하이퍼 파라미터를 선택하는 단계를 포함하는 것인 하이퍼 파라미터 최적화 방법
|
| 14 |
14
제12항에 있어서, 상기 하드웨어 성능 요소를 전달받는 단계는,SNN 가속기의 소비 전력 및 칩 면적 중 적어도 하나를 전달받는 것인 하이퍼 파라미터 최적화 방법
|
| 15 |
15
제12항에 있어서, 훈련 데이터를 입력받는 단계를 더 포함하고,상기 하이퍼 파라미터 선택 단계는, 상기 하드웨어 성능 요소에 따라 미리 정한 하이퍼 파라미터 별 허용 범위 내에서 상기 훈련 데이터를 기초로 최적의 하이퍼 파라미터를 선택하는 단계인 것인 하이퍼 파라미터 최적화 방법
|
| 16 |
16
훈련 데이터를 통하여 학습하고 이를 토대로 추론을 수행하는 SNN 가속기와,상기 SNN 가속기의 하드웨어 성능 요소를 고려하고 통계적 분석 방법을 적용하여, 상기 SNN 가속기에서 연산 처리시 이용하는 하이퍼 파라미터를 선택하고 이를 상기 SNN 가속기로 전달하는 하이퍼 파라미터 최적화기를 포함하는 스파이킹 뉴럴 네트워크 연산 처리 장치
|
| 17 |
17
제16항에 있어서, 상기 하이퍼 파라미터 최적화기는,상기 훈련 데이터를 입력받아 통계적 분석을 담당하는 통계 분석부와, 상기 통계 분석부의 통계적 분석값을 이용하여 하이퍼 파라미터별 목적 함수를 생성하는 목적 함수 생성부와, 상기 하이퍼 파라미터별 목적 함수에 의하여 소정의 규칙에 따라 최적의 하이퍼 파라미터를 선택하되, 상기 하드웨어 성능 요소에 따른 허용 범위 내에서 하이퍼 파라미터를 선택하는 선택부를 포함하는 것인 스파이킹 뉴럴 네트워크 연산 처리 장치
|
