| 1 |
1
입력층과, 출력층 사이에 (이 때, 은 자연수임)개의 레이어들로 구성된 은닉층을 포함하는 심층신경망을 학습하는 심층신경망 학습장치에 있어서,상기 심층신경망 학습을 위한 학습데이터를 입력받는 입력수단; 및상기 학습데이터를 이용하여 상기 심층신경망을 학습하는 학습수단을 포함하고,상기 학습수단은미리 설정된 제1 정밀도에 의해 상기 학습을 수행하는 학습모듈;상기 학습을 위한 연산 과정에서 생성되는 내부 데이터들의 표현 방식을 결정하되, 동적 고정 소수점 체계에서 오버플로우(overflow) 허용 비트를 임의로 가변시키도록 상기 내부 데이터들의 소수점 위치를 결정하는 표현방식 결정모듈; 및상기 학습을 위해 수행되는 추론 단계 및 전사 단계 각각의 연산 시, 레이어 별로 정밀도를 결정하고 그 결과에 의거하여 대응된 레이어의 정밀도를 자동으로 변경하는 레이어별 정밀도 결정모듈을 포함하는 것을 특징으로 하는 심층신경망 학습장치
|
| 2 |
2
제1항에 있어서, 상기 표현방식 결정모듈은상기 오버플로우(overflow)를 허용하는 최대 비트수인 오버플로우 임계치를 저장하는 저장부;상기 내부 데이터의 생성에 응답하여, 0에서 1사이의 난수를 발생시키는 난수 생성기;상기 오버플로우 임계치와 상기 난수를 곱하여 오버플로우 허용 범위를 결정하는 곱셈기; 및상기 오버플로우 허용 범위에 의거하여 상기 내부 데이터들의 소수점 위치를 결정하는 소수점 위치 결정부를 포함하는 것을 특징으로 하는 심층신경망 학습장치
|
| 3 |
3
제2항에 있어서, 상기 표현방식 결정모듈은상기 내부 데이터에 대하여 확률적 반올림을 수행하는 반올림부를 더 포함하고, 상기 소수점 위치 결정부는상기 확률적 반올림이 적용된 내부 데이터에 대하여, 상기 오버플로우 허용 범위에 의거한 소수점 위치를 결정하는 것을 특징으로 하는 심층신경망 학습장치
|
| 4 |
4
제1항에 있어서, 상기 레이어별 정밀도 결정모듈은상기 추론 단계 및 전사 단계 각각의 연산 시, 레이어별로, 상기 제1 정밀도 보다 높은 정밀도인 제2 정밀도에 의한 고비트 연산을 더 수행한 후, 상기 제1 정밀도에 의한 저비트 연산 결과와 상기 제2 정밀도에 의한 고비트 연산 결과 간의 유사도에 의거하여 대응된 레이어의 정밀도를 결정하는 것을 특징으로 하는 심층신경망 학습장치
|
| 5 |
5
제4항에 있어서, 상기 레이어별 정밀도 결정모듈은레이어별 정밀도 변경 여부를 결정하기 위한 유사도 값의 기준으로 미리 설정된 제1 임계값과, 상기 제1 임계값 보다 큰 값으로 미리 설정된 제2 임계값을 저장하고, 상기 유사도가 상기 제1 임계값 이하인 경우 대응된 레이어의 정밀도를 상기 제1 정밀도 보다 높은 값으로 변경하고, 상기 유사도가 상기 제2 임계값 이상인 경우 대응된 레이어의 정밀도를 상기 제1 정밀도 보다 낮은 값으로 변경하고, 상기 유사도가 상기 제1 임계값과 상기 제2 임계값 사이인 경우 상기 제1 정밀도를 유지하는 것을 특징으로 하는 심층신경망 학습장치
|
| 6 |
6
제4항에 있어서, 상기 레이어별 정밀도 결정모듈은상기 입력층과 출력층을 제외한 모든 레이어들에 대하여, 대응된 레이어의 정밀도를 자동으로 변경하는 것을 특징으로 하는 심층신경망 학습장치
|
| 7 |
7
제4항에 있어서, 상기 레이어별 정밀도 결정모듈은상기 레이어들 각각의 학습 단위인 에포크(Epoch)별로, 그 에포크(Epoch)에 포함된 다수의 반복구간(Iteration)들 중 초기 개의 반복구간(Iteration)에 대하여만 상기 레이어별 정밀도를 자동으로 변경하고,상기 학습모듈은상기 레이어별 정밀도 결정모듈에서 자동으로 변경된 레이어별 정밀도에 의거하여 번째 이후의 반복구간(Iteration)에 대한 학습을 진행하는 것을 특징으로 하는 심층신경망 학습장치
|
| 8 |
8
제7항에 있어서, 상기 레이어별 정밀도 결정모듈은상기 초기 개의 반복구간(Iteration)에서 상기 레이어별 정밀도를 자동으로 결정하기 위해 실시된 상기 저비트 연산 및 고비트 연산 결과에 따라 유한 상태 머신(Finite State Machine, FSM)을 구성하고, 그 결과에 따라 대응된 레이어의 정밀도를 변경하는 것을 특징으로 하는 심층신경망 학습장치
|
| 9 |
9
제1항에 있어서, 상기 레이어별 정밀도 결정모듈은상기 추론 단계시 상기 심층신경망의 순방향(Feed-forward) 가중치와, 입력활성화 값 중 적어도 하나의 비트를 추가하여 고비트 연산을 수행하고, 상기 전사 단계시 상기 심층신경망의 역방향(Backward) 가중치와 오류값 중 적어도 하나의 비트를 추가하여 고비트 연산을 수행하는 것을 특징으로 하는 심층신경망 학습장치
|
| 10 |
10
입력층과, 출력층 사이에 (이 때, 은 자연수임)개의 레이어들로 구성된 은닉층을 포함하는 심층신경망을 학습하는 심층신경망 학습방법에 있어서,상기 심층신경망 학습을 위한 학습데이터를 입력받는 입력단계; 및상기 학습데이터를 이용하여 상기 심층신경망을 학습하되, 레이어별로 미리 설정된 제1 정밀도에 의해 상기 학습을 수행하는 학습단계를 포함하고,상기 학습단계는상기 학습을 위한 연산 과정에서 생성되는 내부 데이터들의 표현 방식을 결정하되, 동적 고정 소수점 체계에서 오버플로우(overflow) 허용 비트를 임의로 가변시키도록 상기 내부 데이터들의 소수점 위치를 결정하는 표현방식 결정단계; 및상기 학습을 위해 수행되는 추론 단계 및 전사 단계 각각의 연산 시, 레이어별로 정밀도를 결정하고 그 결과에 의거하여 대응된 레이어의 정밀도를 자동으로 변경하는 레이어별 정밀도 결정단계를 포함하는 것을 특징으로 하는 심층신경망 학습방법
|
| 11 |
11
제10항에 있어서, 상기 표현방식 결정단계는상기 오버플로우(overflow)를 허용하는 최대 비트수인 오버플로우 임계치를 결정하는 오버플로우 임계치 결정단계;상기 내부 데이터의 생성에 응답하여, 0에서 1사이의 난수를 생성하는 난수 생성단계;상기 오버플로우 임계치와 상기 난수를 곱하여 오버플로우 허용 범위를 결정하는 오버플로우 허용 범위 결정단계; 및상기 오버플로우 허용 범위에 의거하여 상기 내부 데이터들의 소수점 위치를 결정하는 소수점 위치 결정단계를 포함하는 것을 특징으로 하는 심층신경망 학습장치
|
| 12 |
12
제11항에 있어서, 상기 표현방식 결정단계는상기 내부 데이터에 대하여 확률적 반올림을 수행하는 반올림 단계를 더 포함하고, 상기 소수점 위치 결정단계는상기 확률적 반올림이 적용된 내부 데이터에 대하여, 상기 오버플로우 허용 범위에 의거한 소수점 위치를 결정하는 것을 특징으로 하는 심층신경망 학습방법
|
| 13 |
13
제10항에 있어서, 상기 레이어별 정밀도 결정단계는상기 추론 단계 및 전사 단계 각각의 연산 시, 레이어 별로, 상기 제1 정밀도 보다 높은 정밀도인 제2 정밀도에 의한 고비트 연산을 수행하는 고비트 연산 단계; 및상기 제1 정밀도에 의한 저비트 연산 결과와 상기 제2 정밀도에 의한 고비트 연산 결과 간의 유사도를 결정하는 유사도 결정단계를 더 포함하고,상기 결정된 유사도에 의거하여 대응된 레이어의 정밀도를 결정한 후, 그 결과에 의해 대응된 레이어의 정밀도를 변경하는 것을 특징으로 하는 심층신경망 학습방법
|
| 14 |
14
제13항에 있어서, 상기 레이어별 정밀도 결정단계는레이어별 정밀도 변경 여부를 결정하기 위한 유사도 값의 기준인 제1 및 제2 임계값을 설정하되, 상기 제2 임계값은 상기 제1 임계값 보다 큰 값으로 설정하는 임계값 설정단계를 더 포함하고, 상기 레이어별 정밀도 결정단계는상기 유사도가 상기 제1 임계값 이하인 경우 대응된 레이어의 정밀도를 상기 제1 정밀도 보다 높은 값으로 변경하고, 상기 유사도가 상기 제2 임계값 이상인 경우 대응된 레이어의 정밀도를 상기 제1 정밀도 보다 낮은 값으로 변경하고, 상기 유사도가 상기 제1 임계값과 상기 제2 임계값 사이인 경우 상기 제1 정밀도를 유지하는 것을 특징으로 하는 심층신경망 학습방법
|
| 15 |
15
제13항에 있어서, 상기 레이어별 정밀도 결정단계는상기 입력층과 출력층을 제외한 모든 레이어들에 대하여, 대응된 레이어의 정밀도를 자동으로 결정하는 것을 특징으로 하는 심층신경망 학습방법
|
| 16 |
16
제13항에 있어서, 상기 레이어별 정밀도 결정단계는상기 레이어들 각각의 학습 단위인 에포크(Epoch)별로, 그 에포크(Epoch)에 포함된 다수의 반복구간(Iteration)들 중 초기 개의 반복구간(Iteration)에 대하여 상기 레이어별 정밀도를 자동으로 결정하고, 상기 학습단계는 상기 레이어별 정밀도 결정단계에서 자동으로 결정된 레이어별 정밀도에 의거하여 번째 이후의 반복구간(Iteration)에 대한 학습을 진행하는 것을 특징으로 하는 심층신경망 학습방법
|
| 17 |
17
제16항에 있어서, 상기 레이어별 정밀도 결정단계는상기 초기 개의 반복구간(Iteration)에서 상기 레이어별 정밀도를 자동으로 결정하기 위한 상기 저비트 연산 및 고비트 연산 결과에 따라 유한 상태 머신(Finite State Machine, FSM)을 구성하는 유한 상태 머신 구성단계를 더 포함하고, 그 결과에 따라 대응된 레이어의 정밀도를 변경하는 것을 특징으로 하는 심층신경망 학습방법
|
| 18 |
18
제10항에 있어서, 상기 레이어별 정밀도 결정단계는상기 추론 단계시,상기 심층신경망의 순방향(Feed-forward) 가중치와 입력활성화 값 중 적어도 하나의 비트를 추가하여 고비트 연산을 수행하고, 상기 전사 단계시,상기 심층신경망의 역방향(Backward) 가중치와 오류값 중 적어도 하나의 비트를 추가하여 고비트 연산을 수행하는 것을 특징으로 하는 심층신경망 학습방법
|
