| 1 |
1
행렬-벡터 곱 연산을 수행하는 저항성 메모리(ReRAM) 기반의 뉴럴 네트워크 가속기에 적용되기 위한 연산 오차 보정 장치에 있어서,설정 입력 벡터와 임의 가중치 행렬을 포함한 학습 데이터를 이용하여, 상기 임의 가중치 행렬의 입력에 대응하여 상기 저항성 메모리의 전압 강하가 반영된 실효 가중치 행렬을 출력하기 위한 실효 가중치 예측 모델을 학습시키는 제1 학습부; 연산 대상이 되는 제1 입력 벡터와 제1 가중치 행렬 중에서 상기 제1 가중치 행렬을 상기 실효 가중치 예측 모델에 입력시켜서 그에 대응된 실효 가중치 행렬을 도출하는 실효 가중치 연산부;타겟 뉴럴 네트워크에 제2 입력 벡터를 입력 값으로 적용하고 상기 도출된 실효 가중치 행렬을 가중치 값으로 적용하여 출력 벡터를 도출하고 출력 벡터가 상기 제2 입력 벡터와 제1 가중치 행렬 간의 곱셈 결과를 추종하도록 타겟 뉴럴 네트워크의 가중치 값을 훈련시켜서 훈련된 가중치 행렬을 획득하는 제2 학습부; 및상기 제1 입력 벡터와 상기 훈련된 가중치 행렬을 상기 저항성 메모리에 매핑하여 행렬-벡터 곱 연산을 수행하는 제어부를 포함하는 뉴럴 네트워크 가속기를 위한 연산 오차 보정 장치
|
| 2 |
2
청구항 1에 있어서,상기 저항성 메모리는, n차원의 입력 벡터가 인가되는 n개 비트 라인, m×n크기의 가중치 행렬이 매핑되는 n×m개 저항성 소자, 그리고 상기 행렬-벡터 곱 연산에 따른 m차원의 출력 벡터를 도출하는 m개 워드 라인을 포함하는 뉴럴 네트워크 가속기를 위한 연산 오차 보정 장치
|
| 3 |
3
청구항 1에 있어서,상기 제1 학습부는, 상기 출력되는 실효 가중치 행렬이 상기 학습 데이터와 상기 저항성 메모리의 정보로부터 기 추정된 타겟 가중치 행렬을 추종하도록 상기 실효 가중치 예측 모델을 학습시키는 뉴럴 네트워크 가속기를 위한 연산 오차 보정 장치
|
| 4 |
4
청구항 3에 있어서,상기 타겟 가중치 행렬은,상기 저항성 메모리의 스펙 정보, 각 라인의 구성소재의 저항값, 해당 학습 데이터를 시뮬레이션에 적용하여 기 추정되는 뉴럴 네트워크 가속기를 위한 연산 오차 보정 장치
|
| 5 |
5
청구항 1에 있어서,상기 실효 가중치 예측 모델은,상기 저항성 메모리의 비트 라인 및 워드 라인에 각각 대응한 행 성분의 레이어 및 열 성분의 레이어를 조합하여 학습하는 RCN(Row-Column Network)으로 구현된 뉴럴 네트워크 가속기를 위한 연산 오차 보정 장치
|
| 6 |
6
청구항 3에 있어서,상기 제1 학습부는,아래 수학식에 의해 연산되는 평균 제곱 오차를 이용하여, 상기 실효 가중치 예측 모델에서 출력되는 실효 가중치 행렬()이 상기 타겟 가중치 행렬()을 추종하도록 학습시키는 뉴럴 네트워크 가속기를 위한 연산 오차 보정 장치:여기서, L은 평균 제곱 오차, N = n×m을 나타낸다
|
| 7 |
7
행렬-벡터 곱 연산을 수행하는 저항성 메모리(ReRAM) 기반의 뉴럴 네트워크 가속기를 위한 연산 오차 보정 장치를 이용한 연산 오차 보정 방법에 있어서,설정 입력 벡터와 임의 가중치 행렬을 포함한 학습 데이터를 이용하여, 상기 임의 가중치 행렬의 입력에 대응하여 상기 저항성 메모리의 전압 강하가 반영된 실효 가중치 행렬을 출력하기 위한 실효 가중치 예측 모델을 학습시키는 단계;연산 대상이 되는 제1 입력 벡터와 제1 가중치 행렬 중에서 상기 제1 가중치 행렬을 상기 실효 가중치 예측 모델에 입력시켜서 그에 대응된 실효 가중치 행렬을 도출하는 단계;타겟 뉴럴 네트워크에 제2 입력 벡터를 입력 값으로 적용하고 상기 도출된 실효 가중치 행렬을 가중치 값으로 적용하여 출력 벡터를 도출하고 출력 벡터가 상기 제2 입력 벡터와 제1 가중치 행렬 간의 곱셈 결과를 추종하도록 타겟 뉴럴 네트워크의 가중치 값을 훈련시켜서 훈련된 가중치 행렬을 획득하는 단계; 및상기 제1 입력 벡터와 상기 훈련된 가중치 행렬을 상기 저항성 메모리에 매핑하여 행렬-벡터 곱 연산을 수행하는 단계를 포함하는 뉴럴 네트워크 가속기를 위한 연산 오차 보정 방법
|
| 8 |
8
청구항 7에 있어서,상기 저항성 메모리는, n차원의 입력 벡터가 인가되는 n개 비트 라인, m×n크기의 가중치 행렬이 매핑되는 n×m개 저항성 소자, 그리고 상기 행렬-벡터 곱 연산에 따른 m차원의 출력 벡터를 도출하는 m개 워드 라인을 포함하는 뉴럴 네트워크 가속기를 위한 연산 오차 보정 방법
|
| 9 |
9
청구항 7에 있어서,상기 실효 가중치 예측 모델을 학습시키는 단계는,상기 출력되는 실효 가중치 행렬이 상기 학습 데이터와 상기 저항성 메모리의 정보로부터 기 추정된 타겟 가중치 행렬을 추종하도록 상기 실효 가중치 예측 모델을 학습시키는 뉴럴 네트워크 가속기를 위한 연산 오차 보정 방법
|
| 10 |
10
청구항 9에 있어서,상기 타겟 가중치 행렬은,상기 저항성 메모리의 스펙 정보, 각 라인의 구성소재의 저항값, 해당 훈련 데이터를 시뮬레이션에 적용하여 기 추정되는 뉴럴 네트워크 가속기를 위한 연산 오차 보정 방법
|
| 11 |
11
청구항 7에 있어서,상기 실효 가중치 예측 모델은,상기 저항성 메모리의 비트 라인 및 워드 라인에 각각 대응한 행 성분의 레이어 및 열 성분의 레이어를 조합하여 학습하는 RCN(Row-Column Network)으로 구현된 뉴럴 네트워크 가속기를 위한 연산 오차 보정 방법
|
| 12 |
12
청구항 9에 있어서,상기 실효 가중치 예측 모델을 학습시키는 단계는,아래 수학식에 의해 연산되는 평균 제곱 오차를 이용하여, 상기 예측 모델에서 출력되는 실효 가중치 행렬()이 상기 타겟 가중치 행렬()을 추종하도록 학습시키는 뉴럴 네트워크 가속기를 위한 연산 오차 보정 방법:여기서, L은 평균 제곱 오차, N = n×m을 나타낸다
|
