| 1 |
1
(이 때, 은 자연수임)개의 레이어들로 구성된 은닉층을 포함하는 심층신경망을 학습하는 심층신경망 학습장치에 있어서,미리 설정된 심층신경망 학습 알고리즘에 의거하여, 입력데이터에 대한 학습을 실시하는 심층신경망 학습 프로세서;심층신경망 학습을 위해 상기 레이어들 각각에 적용될 다수의 가중치값들을 저장하되, 초기에는 각각의 레이어별로 미리 설정된 초기 가중치값들을 저장하고, 학습과정에서 상기 가중치값들을 갱신하여 저장하는 가중치 메모리;상기 가중치 메모리에 저장된 레이어별 가중치값을 이용하여 대응된 레이어의 난수를 생성하는 난수 생성기; 상기 레이어들 각각에서 학습결과로 생성되는 중간 결과값을 저장하는 중간값 메모리; 및상기 난수 생성기에서 생성된 난수와, 상기 중간값 메모리에 저장된 중간 결과값을 더하여 중간 결과값을 갱신하는 덧셈기를 포함하되,상기 덧셈기는 (이 때, 은 인 자연수임)번째 레이어의 난수와, 번째 레이어의 중간 결과값을 이용하여 상기 번째 레이어의 중간 결과값을 갱신하고, 상기 심층신경망 학습 프로세서는번째 레이어의 학습시, 상기 덧셈기로부터 전달된, 갱신된 번째 레이어의 중간 결과값과 상기 가중치 메모리로부터 전달된, 번째 레이어의 가중치값을 이용하는 것을 특징으로 하는 심층신경망 학습장치
|
| 2 |
2
제1항에 있어서, 상기 난수 생성기는상기 가중치 메모리에 레이어별로 저장된 다수의 가중치값들 각각으로부터 소정의 연속된 하위비트만을 추출하여 진성 난수를 생성하는 하위비트 추출기를 포함하는 것을 특징으로 하는 심층신경망 학습장치
|
| 3 |
3
제2항에 있어서, 상기 난수 생성기는상기 하위비트 추출기에서 생성된 다수의 진성 난수들 중 소정개씩을 더하여 가우시안 난수를 생성하는 덧셈기 트리를 더 포함하는 것을 특징으로 하는 심층신경망 학습장치
|
| 4 |
4
제3항에 있어서, 상기 난수 생성기는상기 덧셈기 트리에서 생성된 가우시안 난수를 시프트(shift) 연산함으로써, 상기 가우시안 난수의 크기를 변환시키는 표준편차 변환기를 더 포함하는 것을 특징으로 하는 심층신경망 학습장치
|
| 5 |
5
제1항에 있어서, 상기 난수 생성기는상기 심층신경망 학습 프로세서가 층을 학습할 때,층의 난수를 생성하는 과정을 동시에 수행하는 것을 특징으로 하는 심층신경망 학습 장치
|
| 6 |
6
(이 때, 은 자연수임)개의 레이어들로 구성된 은닉층을 포함하는 심층신경망을 학습하는 심층신경망 학습방법에 있어서,심층신경망 학습을 위해 상기 레이어별로 적용될 다수의 가중치값들을 미리 설정하여 가중치 메모리에 저장하는 가중치 초기화 단계;상기 초기화된 레이어별 가중치를 이용하여 레이어들을 학습하는 제1 심층신경망 학습단계;상기 제1 심층신경망 학습단계의 학습결과로 상기 레이어들 각각에서 생성된 중간 결과값을 중간 결과값 메모리에 저장하는 제1 중간결과값 저장단계;상기 제1 심층신경망 학습단계의 학습결과로 갱신된 레이어별 가중치값들을 상기 가중치 메모리에 반영하는 제1 가중치 갱신단계;상기 가중치 메모리에 저장된 레이어별 가중치값들 각각으로부터 대응된 레이어의 난수를 생성하는 난수 생성단계;상기 레이어별 난수 및 상기 중간 결과값 메모리에 저장된 중간 결과값을 이용하여 상기 은닉층을 구성하는 레이어들을 갱신하는 은닉층 갱신단계;상기 갱신된 은닉층을 이용하여 심층신경망을 학습하는 제2 심층신경망 학습단계;상기 제2 심층신경망 학습단계의 학습결과로 상기 레이어들 각각에서 생성된 중간 결과값을 상기 중간 결과값 메모리에 저장하는 제2 중간결과값 저장단계; 및상기 제2 심층신경망 학습단계의 학습결과로 갱신된 가중치값들을 상기 가중치 메모리에 반영하는 제2 가중치 갱신단계를 포함하고, 상기 심층신경망 학습과정이 종료될 때까지, 상기 난수 생성단계, 상기 은닉층 갱신단계, 상기 제2 심층신경망 학습단계, 상기 제2 중간결과값 저장단계, 및 상기 제2 가중치 갱신단계를 반복하는 것을 특징으로 하는 심층신경망 학습방법
|
| 7 |
7
제6항에 있어서, 상기 난수 생성단계는상기 가중치 메모리에 저장된 레이어별 가중치값들 각각으로부터 진성 난수성을 보이는 소정의 하위비트만을 추출하여 다수의 진성 난수를 생성하는 진성난수 생성단계; 및상기 하위비트 추출단계에서 생성된 다수의 진성 난수들 중 소정개씩을 더하여 가우시안 난수를 생성하는 가우시안 난수 생성단계를 포함하는 것을 특징으로 하는 심층신경망 학습방법
|
| 8 |
8
제7항에 있어서, 상기 난수 생성단계는상기 덧셈단계에서 생성된 가우시안 난수를 시프트(shift) 연산함으로써, 상기 가우시안 난수의 크기를 변환시키는 표준편차 변환단계를 더 포함하는 것을 특징으로 하는 심층신경망 학습방법
|
| 9 |
9
제6항에 있어서, 상기 은닉층 갱신단계는(이 때, 은 인 자연수임)번째 레이어의 난수와, 번째 레이어의 중간 결과값을 이용하여, 상기 번째 레이어를 갱신하는 것을 특징으로 하는 심층신경망 학습방법
|
| 10 |
10
제6항에 있어서, 상기 제2 심층신경망 학습단계는번째 레이어의 학습시, 갱신된 번째 레이어의 중간 결과값과 상기 가중치 메모리로부터 전달된, 번째 레이어의 가중치값을 이용하는 것을 특징으로 하는 심층신경망 학습방법
|
| 11 |
11
제6항에 있어서, 번째 레이어를 학습하는 상기 제2 심층신경망 학습단계와, 번째 레이어의 난수를 생성하는 상기 난수 생성단계를 동시에 수행하는 것을 특징으로 하는 심층신경망 학습방법
|
