| 1 |
1
심층 신경망 학습 장치에서 심층 신경망 학습의 성능 향상을 위한 심층 신경망 학습 방법에 있어서,(a) 상기 장치의 결정부에서, 신경망 모델에 포함된 복수의 은닉 계층에 대응하는 복수의 손실 함수 각각에서의 그래디언트 값 산출시 사용되는 레이블 값을 결정하는 단계;(b) 상기 장치의 조절부에서, 결정된 상기 레이블 값에 기초한 신경망 학습 수행시 상기 복수의 손실 함수 각각에서 발생하는 그래디언트(gradient) 값을 조절하는 단계; 및(c) 상기 장치의 수행부에서, 조절된 상기 그래디언트 값에 기초하여 상기 신경망 모델에 기반한 심층 신경망 학습을 수행하는 단계,를 포함하고,상기 레이블 값은, 상기 복수의 손실 함수 각각에서 발생하는 그래디언트의 방향 중 비정상 학습에 대응하는 복수의 잘못된 그래디언트 방향에 대한 그래디언트 값의 적어도 일부가 상쇄되도록 결정되고,상기 (b) 단계는,상기 복수의 손실 함수 각각에 의하여 산출된 에러 값을 기 설정된 허용 범위 조건을 충족하도록 변환함으로써 상기 그래디언트 값을 조절하되,소프트 임계 처리를 이용하는 경우, 하기 수학식 1을 만족하도록, 기 설정된 임계값 이상인 제1 그래디언트 값은 상기 제1 그래디언트 값보다 상기 임계값 만큼 감소한 값을 갖도록 조절하고, 상기 임계값 미만인 제2 그래디언트 값은 0을 갖도록 조절하며,[수학식 1]여기서, e는 입력 값, T 는 임계 값을 나타내는 것인, 심층 신경망 학습 방법
|
| 2 |
2
삭제
|
| 3 |
3
제1항에 있어서,상기 레이블 값은, 상기 신경망 모델의 입력 값과 상기 복수의 손실 함수 각각에 대한 레이블 값의 블렌딩(blending)에 의하여 생성된 가공 레이블 값으로 결정되는 것인, 심층 신경망 학습 방법
|
| 4 |
4
제1항에 있어서,상기 레이블 값은, 상기 신경망 모델의 입력 값 또는 상기 복수의 손실 함수 각각에 대한 레이블 값에 후처리를 적용하여 생성된 가공 레이블 값으로 결정되는 것인, 심층 신경망 학습 방법
|
| 5 |
5
삭제
|
| 6 |
6
삭제
|
| 7 |
7
삭제
|
| 8 |
8
제1항에 있어서,상기 (b) 단계는,하드 임계 처리를 이용하는 경우, 기 설정된 임계값 이상인 제3 그래디언트 값은 상기 제3 그래디언트 값으로 유지하고, 상기 임계값 미만인 제4 그래디언트 값은 0을 갖도록 조절하는 것인, 심층 신경망 학습 방법
|
| 9 |
9
제8항에 있어서,상기 (b) 단계는,상기 하드 임계 처리를 이용하는 경우 하기 수학식 2를 만족하도록 상기 그래디언트 값을 조절하는 것인, 심층 신경망 학습 방법;[수학식 2](여기서, e는 입력 값, T는 임계 값을 나타냄)
|
| 10 |
10
삭제
|
| 11 |
11
심층 신경망 학습 장치에 있어서,신경망 모델에 포함된 복수의 은닉 계층에 대응하는 복수의 손실 함수 각각에서의 그래디언트 값 산출시 사용되는 레이블 값을 결정하는 결정부;결정된 상기 레이블 값에 기초한 신경망 학습 수행시 상기 복수의 손실 함수 각각에서 발생하는 그래디언트 (gradient) 값을 조절하는 조절부; 및조절된 상기 그래디언트 값에 기초하여 상기 신경망 모델에 기반한 심층 신경망 학습을 수행하는 수행부,를 포함하고,상기 레이블 값은, 상기 복수의 손실 함수 각각에서 발생하는 그래디언트의 방향 중 비정상 학습에 대응하는 복수의 잘못된 그래디언트 방향에 대한 그래디언트 값의 적어도 일부가 상쇄되도록 결정되고,상기 조절부는,상기 복수의 손실 함수 각각에 의하여 산출된 에러 값을 기 설정된 허용 범위 조건을 충족하도록 변환함으로써 상기 그래디언트 값을 조절하되,소프트 임계 처리를 이용하는 경우, 하기 수학식 3을 만족하도록, 기 설정된 임계값 이상인 제1 그래디언트 값은 상기 제1 그래디언트 값보다 상기 임계값 만큼 감소한 값을 갖도록 조절하고, 상기 임계값 미만인 제2 그래디언트 값은 0을 갖도록 조절하며,[수학식 3]여기서, e는 입력 값, T는 임계 값을 나타내는 것인, 심층 신경망 학습 장치
|
| 12 |
12
삭제
|
| 13 |
13
제11항에 있어서,상기 레이블 값은, 상기 신경망 모델의 입력 값과 상기 복수의 손실 함수 각각에 대한 레이블 값의 블렌딩(blending)에 의하여 생성된 가공 레이블 값으로 결정되는 것인, 심층 신경망 학습 장치
|
| 14 |
14
제11항에 있어서,상기 레이블 값은, 상기 신경망 모델의 입력 값 또는 상기 복수의 손실 함수 각각에 대한 레이블 값에 후처리를 적용하여 생성된 가공 레이블 값으로 결정되는 것인, 심층 신경망 학습 장치
|
| 15 |
15
삭제
|
| 16 |
16
삭제
|
| 17 |
17
삭제
|
| 18 |
18
제11항에 있어서,상기 조절부는,하드 임계 처리를 이용하는 경우, 기 설정된 임계값 이상인 제3 그래디언트 값은 상기 제3 그래디언트 값으로 유지하고, 상기 임계값 미만인 제4 그래디언트 값은 0을 갖도록 조절하는 것인, 심층 신경망 학습 장치
|
| 19 |
19
제18항에 있어서,상기 조절부는,상기 하드 임계 처리를 이용하는 경우 하기 수학식 4를 만족하도록 상기 그래디언트 값을 조절하는 것인, 심층 신경망 학습 장치;[수학식 4](여기서, e는 입력 값, T는 임계 값을 나타냄)
|
| 20 |
20
삭제
|
| 21 |
21
제1항, 제3항, 제4항, 제8항 및 제9항 중 어느 한 항의 방법을 컴퓨터에서 실행하기 위한 프로그램을 기록한 컴퓨터에서 판독 가능한 기록매체
|
