| 1 |
1
인공지능 기술을 이용한 적층형 저항 변화 메모리 소자의 계층 최적화하는 뉴럴 네트워크 장치를 이용한 방법에 있어서,상기 뉴럴 네트워크 장치가 BNN모델에서 BNN매개변수를 물리적 매개변수 및 하이퍼 매개변수로 분류하는 단계;상기 뉴럴 네트워크 장치가 상기 물리적 매개변수 및 상기 하이퍼 매개변수를 이용하여 최적의 파라미터를 획득하는 단계;상기 뉴럴 네트워크 장치가 상기 최적의 파라미터를 이용하여 상기 BNN모델에서 최소채널크기를 산출하는 단계;를 포함하는, 인공지능 기술을 이용한 적층형 저항 변화 메모리 소자의 계층 최적화하는 뉴럴 네트워크 방법
|
| 2 |
2
제1항에 있어서,상기 물리적 매개변수는 컨볼루션 레이어(Convolutional Layer)의 수, 채널(필터) 크기, 커널 크기, 배치 정규화(Batch Normalization) 유무 및 풀링 계층(Pooling Layer) 유무를 포함하고,상기 하이퍼 매개변수는 최적화 기기(Optimizer), 학습률(learning rate) 및 모멘텀(Momentum)을 포함하는, 인공지능 기술을 이용한 적층형 저항 변화 메모리 소자의 계층 최적화하는 뉴럴 네트워크 방법
|
| 3 |
3
제2항에 있어서,상기 최적화 기기는 배치 경사 하강(Batch Gradient Descent) 알고리즘, 확률적 경사 하강(Stochastic Gradient Descent, SGD) 알고리즘, 경사 하강(Gradient Descent) 알고리즘, 미니 배치 경사 하강(Mini-Batch Gradient Descent) 알고리즘, 모멘텀(Momentum) 알고리즘, 아다그라드(Adagrad) 알고리즘, 알엠에스프롭(RMSprop) 알고리즘 및 아담(Adam) 알고리즘 중 적어도 하나의 알고리즘을 포함하는, 인공지능 기술을 이용한 적층형 저항 변화 메모리 소자의 계층 최적화하는 뉴럴 네트워크 방법
|
| 4 |
4
제3항에 있어서,상기 최적의 파라미터를 획득하는 단계는,상기 하이퍼 매개변수에 포함된 상기 최적화 기기의 알고리즘을 이용하여 최적알고리즘을 산출하는 단계;상기 하이퍼 매개변수에 포함된 상기 학습률을 이용하여 BNN에서 가중치 및 커널 업데이트의 강도를 조절하는 최적학습률을 산출하는 단계; 및상기 하이퍼 매개변수에 포함된 상기 모멘텀을 이용하여 BNN에서 운동량값을 고려하여 최적모멘텀을 산출하는 단계;를 포함하는, 인공지능 기술을 이용한 적층형 저항 변화 메모리 소자의 계층 최적화하는 뉴럴 네트워크 방법
|
| 5 |
5
제4항에 있어서,상기 최적알고리즘을 산출하는 단계는,상기 최적화 기기에 포함된 적어도 하나의 알고리즘 사이의 최적의 알고리즘조합을 산출하는 단계; 및상기 최적의 알고리즘조합의 비율을 산출하는 단계;를 포함하는, 인공지능 기술을 이용한 적층형 저항 변화 메모리 소자의 계층 최적화하는 뉴럴 네트워크 방법
|
| 6 |
6
제5항에 있어서,상기 최적알고리즘은,커널 크기가 3 x 3인 경우 Adam 알고리즘과 SGD 알고리즘의 비율이 3 : 7 이고,커널 크기가 5 x 5인 경우 Adam 알고리즘과 SGD 알고리즘의 비율이 6 : 4 인, 인공지능 기술을 이용한 적층형 저항 변화 메모리 소자의 계층 최적화하는 뉴럴 네트워크 방법
|
| 7 |
7
제4항에 있어서,커널 크기가 3 x 3 및 커널 크기가 5 x 5인 경우 동일한 최적학습률을 갖고,상기 최적학습률은 0
|
| 8 |
8
제4항에 있어서,상기 최적모멘텀은,커널 크기가 3 x 3인 경우 0
|
| 9 |
9
제4항에 있어서,상기 최적의 파라미터를 획득하는 단계는,상기 배치 정규화 및 상기 풀링 계층의 존재유무를 판단하는 단계;를 포함하는, 인공지능 기술을 이용한 적층형 저항 변화 메모리 소자의 계층 최적화하는 뉴럴 네트워크 방법
|
| 10 |
10
제9항에 있어서,컨볼루션 레이어의 수가 4이고, 채널 크기가 9이고, 커널 크기가 3 x 3인 경우, 상기 배치 정규화는 상기 컨볼루션 레이어 각각에 포함되는, 인공지능 기술을 이용한 적층형 저항 변화 메모리 소자의 계층 최적화하는 뉴럴 네트워크 방법
|
| 11 |
11
제10항에 있어서,상기 배치 정규화는 상기 컨볼루션 레이어 각각에 포함되지 않는 경우, 8%의 정확도가 차이나는, 인공지능 기술을 이용한 적층형 저항 변화 메모리 소자의 계층 최적화하는 뉴럴 네트워크 방법
|
| 12 |
12
제10항에 있어서,상기 배치 정규화는 에 의해 연산 수행되는, 인공지능 기술을 이용한 적층형 저항 변화 메모리 소자의 계층 최적화하는 뉴럴 네트워크 방법
|
| 13 |
13
제9항에 있어서,컨볼루션 레이어의 수가 4이고, 채널 크기가 9이고, 커널 크기가 3 x 3인 경우, 상기 풀링 계층은 상기 컨볼루션 레이어 중 마지막 2개의 계층에 위치하는, 인공지능 기술을 이용한 적층형 저항 변화 메모리 소자의 계층 최적화하는 뉴럴 네트워크 방법
|
| 14 |
14
제1항에 있어서,상기 최소채널크기를 산출하는 단계는,상기 최소채널크기의 정확성을 판단하는 단계;를 포함하는, 인공지능 기술을 이용한 적층형 저항 변화 메모리 소자의 계층 최적화하는 뉴럴 네트워크 방법
|
| 15 |
15
제14항에 있어서,상기 최소채널크기가 8인 경우, 커널 크기가 3 x 3인 일 때 정확도가 96% 이상인, 인공지능 기술을 이용한 적층형 저항 변화 메모리 소자의 계층 최적화하는 뉴럴 네트워크 방법
|
| 16 |
16
제15항에 있어서,상기 최소채널크기를 산출하는 단계는,상기 최소채널크기별로 계층별 에러율을 적용하여 상기 최소채널크기의 정확성을 판단하는 단계;를 더 포함하는, 인공지능 기술을 이용한 적층형 저항 변화 메모리 소자의 계층 최적화하는 뉴럴 네트워크 방법
|
| 17 |
17
제16항에 있어서,상기 최소채널크기가 8이고, 커널 크기가 3 x 3인 인 경우,40nm 노드에서 정확도가 94
|
| 18 |
18
제1항에 있어서,상기 뉴럴 네트워크 장치가 상기 최소채널크기를 이용하여 최소편차를 갖는 RRAM의 계층을 최적화하는 단계;를 포함하는, 인공지능 기술을 이용한 적층형 저항 변화 메모리 소자의 계층 최적화하는 뉴럴 네트워크 방법
|
| 19 |
19
제1항 내지 제18항 중 적어도 하나의 방법을 뉴럴 네트워크 장치에 의해 수행하는, 인공지능 기술을 이용한 적층형 저항 변화 메모리 소자의 계층 최적화하는 뉴럴 네트워크 시스템
|
| 20 |
20
하드웨어인 컴퓨터와 결합되어, 제1항의 방법을 수행할 수 있도록 컴퓨터에서 독출가능한 기록매체에 저장된 컴퓨터 프로그램
|
