| 1 |
1
적어도 하나의 프로세서(processor); 및상기 적어도 하나의 프로세서에 동작 가능하게 연결되어 상기 적어도 하나의 프로세서가 동작들을 수행하도록 하는 적어도 하나의 명령어들(instructions)을 저장하는 적어도 하나의 메모리(memory)를 포함하고,상기 동작들은,상기 적어도 하나의 메모리에 저장된 입력 데이터에 대하여 레이블(label)을 예측하는 인공 지능(artificial intelligence) 모델의 학습 동작을 수행하고,상기 학습 동작은,상기 입력 데이터에 대하여 미니-배치(mini-batch) - 여기서, 상기 미니-배치는 상기 입력 데이터에 포함된 B개의 하위 입력 데이터를 가지고, 상기 B는 자연수임 -; 단위로 순전파(forward propagation) 동작을 수행하여 상기 레이블에 대한 예측 신뢰도 값을 획득하고,상기 하위 입력 데이터 중 상기 예측 신뢰도 값이 예측 신뢰도 임계 값 이상인 하위 입력 데이터에 대하여만 역전파(backward propagation) 동작을 수행하여 상기 인공 지능 모델의 가중치에 대한 근사 가중치 그래디언트(gradient)를 획득하고,상기 근사 가중치 그래디언트에 기초하여 상기 가중치를 업데이트하는,전자 장치
|
| 2 |
2
제1항에 있어서,상기 학습 동작은,상기 하위 입력 데이터 중 상기 예측 신뢰도 값이 상기 예측 신뢰도 임계 값 미만인 하위 입력 데이터에 대하여 상기 역전파 동작을 생략하는,전자 장치
|
| 3 |
3
제2항에 있어서,상기 학습 동작은,상기 예측 신뢰도 임계 값을 설정하는 예측 신뢰도 임계 값 설정 동작을 포함하고,상기 예측 신뢰도 임계 값 설정 동작은,(a) 임의 예측 신뢰도 임계 값 및 RSEskip - 상기 RSEskip는 상기 역전파 동작의 생략에 따른 가중치 그래디언트 오류 값임 -;을 초기화하는 동작,(b) 상기 임의 예측 신뢰도 임계 값을 특정 변동 값 단위로 감소시키고, 상기 임의 예측 신뢰도 임계 값이 상기 특정 변동 값 단위로 감소될 때마다 상기 RSEskip를 계산하는 동작,(c) 상기 RSEskip가 기 설정된 오류 경계 값과 최초로 동일해지거나 또는 최초로 초과할 때까지 (b) 동작을 반복적으로 수행하는 동작,(d) 상기 RSEskip가 기 설정된 오류 경계 값과 최초로 동일해지거나 또는 최초로 초과할 때의 상기 임의 예측 신뢰도 임계 값을 상기 예측 신뢰도 임계 값으로 설정하는 동작을 포함하는,전자 장치
|
| 4 |
4
제3항에 있어서,상기 RSEskip는 기 설정된 스케일링 인자, 상기 하위 입력 데이터 중 상기 예측 신뢰도 값이 상기 예측 신뢰도 임계 값 이상인 하위 입력 데이터의 개수 및 상기 예측 신뢰도 값의 평균 절대 그래디언트의 곱으로 정의되는,전자 장치
|
| 5 |
5
제4항에 있어서,상기 평균 절대 그래디언트는 상기 예측 신뢰도 값의 전체 신뢰도 구간에 대한 선형 보간법에 기초하여 정의되는,전자 장치
|
| 6 |
6
전자 장치에 의해 수행되는 적어도 하나의 메모리에 저장된 입력 데이터에 대하여 레이블(label)을 예측하는 인공 지능(artificial intelligence) 모델의 학습 방법으로서,상기 입력 데이터에 대하여 미니-배치(mini-batch) - 여기서, 상기 미니-배치는 상기 입력 데이터에 포함된 B개의 하위 입력 데이터를 가지고, 상기 B는 자연수임 -; 단위로 순전파(forward propagation) 동작을 수행하여 상기 레이블에 대한 예측 신뢰도 값을 획득하는 단계;상기 하위 입력 데이터 중 상기 예측 신뢰도 값이 예측 신뢰도 임계 값 이상인 하위 입력 데이터에 대하여만 역전파(backward propagation) 동작을 수행하여 상기 인공 지능 모델의 가중치에 대한 근사 가중치 그래디언트(gradient)를 획득하는 단계; 및상기 근사 가중치 그래디언트에 기초하여 상기 가중치를 업데이트하는 단계를 포함하는,학습 방법
|
| 7 |
7
제6항에 있어서,상기 하위 입력 데이터 중 상기 예측 신뢰도 값이 상기 예측 신뢰도 임계 값 미만인 하위 입력 데이터에 대한 상기 역전파 동작은 생략되는,학습 방법
|
| 8 |
8
제7항에 있어서,상기 예측 신뢰도 임계 값을 설정하는 예측 신뢰도 임계 값을 설정 단계를 더 포함하고,상기 예측 신뢰도 임계 값 설정 단계는:(a) 임의 예측 신뢰도 임계 값 및 RSEskip - 상기 RSEskip는 상기 역전파 동작의 생략에 따른 가중치 그래디언트 오류 값임 -;을 초기화하는 단계;(b) 상기 임의 예측 신뢰도 임계 값을 특정 변동 값 단위로 감소시키고, 상기 임의 예측 신뢰도 임계 값이 상기 특정 변동 값 단위로 감소될 때마다 상기 RSEskip를 계산하는 단계;(c) 상기 RSEskip가 기 설정된 오류 경계 값과 최초로 동일해지거나 또는 최초로 초과할 때까지 (b) 동작을 반복적으로 수행하는 단계; 및(d) 상기 RSEskip가 기 설정된 오류 경계 값과 최초로 동일해지거나 또는 최초로 초과할 때의 상기 임의 예측 신뢰도 임계 값을 상기 예측 신뢰도 임계 값으로 설정하는 단계를 포함하는,학습 방법
|
| 9 |
9
제8항에 있어서,상기 RSEskip는 기 설정된 스케일링 인자, 상기 하위 입력 데이터 중 상기 예측 신뢰도 값이 상기 예측 신뢰도 임계 값 이상인 하위 입력 데이터의 개수 및 상기 예측 신뢰도 값의 평균 절대 그래디언트의 곱으로 정의되는,학습 방법
|
| 10 |
10
제9항에 있어서,상기 평균 절대 그래디언트는 상기 예측 신뢰도 값의 전체 신뢰도 구간에 대한 선형 보간법에 기초하여 정의되는,학습 방법
|
