| 1 |
1
딥러닝 알고리즘의 최적화 방법에 있어서,딥 러닝 장치가 훈련 데이터의 손실 함수를 결정하는 단계;상기 딥 러닝 장치가 상기 손실 함수의 기울기(gradient)를 구할 때마다 상기 손실 함수를 스무딩(smoothing)하는 단계; 및상기 딥 러닝 장치가 상기 스무딩된 손실 함수에 기반하여 학습을 수행하는 단계를 포함하는,딥러닝 알고리즘 최적화 방법
|
| 2 |
2
제1항에 있어서,상기 손실 함수는 상기 훈련 데이터와 목적 함수와의 차이에 기반하여 결정되는 것을 특징으로 하는,딥러닝 알고리즘 최적화 방법
|
| 3 |
3
제1항에 있어서,상기 스무딩 하는 단계는,상기 딥 러닝 장치가 상기 훈련 데이터를 복수개의 미니 배치(batch)로 분할하는 단계;상기 딥 러닝 장치가 상기 미니 배치에 따라 파라미터값을 다르게 결정하는 단계; 및상기 딥 러닝 장치가 상기 각 미니 배치에 대응되는 파라미터값에 기반하여 상기 손실 함수를 스무딩하는 단계를 포함하는,딥러닝 알고리즘 최적화 방법
|
| 4 |
4
제1항에 있어서,상기 손실 함수에 포함된 로컬 미니멈(local minimum) 성분은 상기 스무딩 단계가 수행됨에 따라 제거되는 것을 특징으로 하는,딥러닝 알고리즘 최적화 방법
|
| 5 |
5
제1항에 있어서,상기 손실 함수는 Stochastic Gradient Descent 방식에 기반하여 상기 훈련 데이터와 상기 목적 함수간의 차이의 합이 최소가 되도록 결정되는 것을 특징으로 하는,딥러닝 알고리즘 최적화 방법
|
| 6 |
6
딥러닝 장치에 있어서,훈련 데이터의 손실 함수를 결정하는 손실 함수 결정부;상기 손실 함수의 기울기(gradient)를 구할 때마다 상기 손실 함수를 스무딩(smoothing)하는 스무딩부; 및상기 스무딩된 손실 함수에 기반하여 학습을 수행하는 학습부를 포함하는,딥러닝 장치
|
| 7 |
7
제6항에 있어서,상기 손실 함수는 상기 훈련 데이터와 목적 함수와의 차이에 기반하여 결정되는 것을 특징으로 하는,딥러닝 장치
|
| 8 |
8
제6항에 있어서,상기 스무딩부는 상기 훈련 데이터를 복수개의 미니 배치(batch)로 분할하고, 상기 미니 배치에 따라 파라미터값을 다르게 결정하며, 각 미니 배치에 대응되는 파라미터값에 기반하여 상기 손실 함수를 스무딩하는 것을 특징으로 하는,딥러닝 장치
|
| 9 |
9
제6항에 있어서,상기 손실 함수에 포함된 로컬 미니멈(local minimum) 성분은 상기 스무딩부의 동작에 따라 제거되는 것을 특징으로 하는,딥러닝 장치
|
| 10 |
10
제6항에 있어서,상기 손실 함수 결정부는 Stochastic Gradient Descent 방식에 기반하여 상기 훈련 데이터와 상기 목적 함수간의 차이의 합이 최소가 되도록 상기 손실 함수를 결정하는 것을 특징으로 하는,딥러닝 장치
|
