| 1 |
1
주어진 전체 학습 표본들을 입력받는 데이터 입력모듈;상기 데이터 입력모듈로부터 학습 표본들을 입력받고, 입력받은 학습 표본들을 딥 러닝 학습의 기본 단위인 미니배치 표본으로 분할 선택하는 미니배치 선택모듈;상기 미니배치 선택모듈로부터 분할 선택된 미니배치 표본을 입력받고, 입력받은 상기 미니배치 표본에 대해 딥 뉴럴 네트워크 학습을 진행하는 네트워크 학습모듈;상기 네트워크 학습모듈로부터 출력되는 각 학습 표본에 대한 라벨 예측 확률인 소프트 맥스 확률을 포함하는 학습 로그 정보를 기록 및 누적하는 학습 기록모듈; 및상기 학습 기록모듈로부터 학습 로그 정보를 입력받아 학습 표본별 중요도를 평가하고, 상기 학습 표본별 중요도를 상기 미니배치 선택모듈로 전송하는 표본 중요도 평가모듈;을 포함하는 적응적 배치 선택 전략을 이용한 딥 뉴럴 네트워크 학습 가속 시스템
|
| 2 |
2
제 1 항에 있어서,상기 데이터 입력모듈로 입력되는 전체 학습 표본들은 각각 다차원 벡터와 실제 라벨을 포함하는 적응적 배치 선택 전략을 이용한 딥 뉴럴 네트워크 학습 가속 시스템
|
| 3 |
3
제 1 항에 있어서,상기 미니배치 표본은 상기 데이터 입력모듈로 입력되는 전체 학습 표본들의 부분 집합으로서, 전체 학습 표본들로부터 얻어지는 총 미니배치 표본의 개수는 하기 [수학식 1]로 결정하는 적응적 배치 선택 전략을 이용한 딥 뉴럴 네트워크 학습 가속 시스템
|
| 4 |
4
제 1 항에 있어서,상기 미니배치 선택모듈은 상기 표본 중요도 평가모듈에서 학습 표본에 대한 중요도가 주어지지 않으면, 전체 학습 표본들 중 무작위로 미니배치 표본으로 분할 선택하고, 상기 표본 중요도 평가모듈에서 학습 표본별 중요도가 평가되어 학습 표본별 중요도가 주어지면, 해당 학습 표본별 중요도에 기반해 학습 표본별로 선택될 확률을 할당하는 적응적 배치 선택 전략을 이용한 딥 뉴럴 네트워크 학습 가속 시스템
|
| 5 |
5
제 1 항에 있어서,상기 네트워크 학습 모듈은 상기 미니배치 선택모듈에서 전송된 미니배치 표본 각각에 대해서 네트워크의 파라미터들을 업데이트하고, 각각의 파라미터 업데이트에서는 각 미니배치 표본의 학습 손실도와 해당 미니배치 표본이 복수 개의 라벨 중 어떠한 라벨에 해당하는지에 대한 소프트 맥스 확률(softmax probability)을 출력으로 제공하는 적응적 배치 선택 전략을 이용한 딥 뉴럴 네트워크 학습 가속 시스템
|
| 6 |
6
제 1 항에 있어서,상기 표본 중요도 평가모듈은 상기 학습 기록모듈에 누적 저장된 전체 학습 표본들에 대한 소프트 맥스 확률을 기반으로 예측이 불확실한 학습 표본이 무엇인지를 평가하는 적응적 배치 선택 전략을 이용한 딥 뉴럴 네트워크 학습 가속 시스템
|
| 7 |
7
제 6 항에 있어서,상기 예측이 불확실한 학습 표본은 현재까지 학습된 학습 모델에서 주어진 학습 표본이 어떤 라벨인지 확실하게 예측하지 못하는 학습 표본을 나타내는 적응적 배치 선택 전략을 이용한 딥 뉴럴 네트워크 학습 가속 시스템
|
| 8 |
8
제 6 항에 있어서,상기 표본 중요도 평가모듈은 모든 라벨에 대한 소프트 맥스 확률의 표준 편차(std)로서 상기 예측이 불확실한 학습 표본의 불확실도를 하기 [수학식 2]를 이용하여 측정하고, 이때, 측정된 해당 값이 높으면 학습 표본의 예측이 불확실한 것으로 평가하는 적응적 배치 선택 전략을 이용한 딥 뉴럴 네트워크 학습 가속 시스템
|
| 9 |
9
제 8 항에 있어서,상기 표본 중요도 평가모듈은 상기 예측이 불확실한 학습 표본의 불확실도 를 양자화하여 양자화 지수 를 얻고, 이를 활용하여 학습 표본 가 다음 미니배치 표본으로 선택될 학습 표본 중요도 를 하기 [수학식 3]을 이용하여 계산하는 적응적 배치 선택 전략을 이용한 딥 뉴럴 네트워크 학습 가속 시스템
|
| 10 |
10
전체 학습 표본들을 입력받는 과정;입력받은 학습 표본들을 딥 러닝 학습의 기본 단위인 미니배치 표본으로 분할 선택하는 과정;분할 선택된 미니배치 표본에 대해 딥 뉴럴 네트워크 학습을 진행하는 과정;상기 딥 뉴럴 네트워크 학습을 통해 얻어진 각 미니배치 표본의 라벨 예측 확률인 소프트 맥스 확률을 포함하는 학습 로그 정보를 집계하여 기록 저장하는 과정; 전체 학습 표본들에 대해 예측이 불확실한 예측 불확실도를 평가하는 과정; 및딥 뉴럴 네트워크 학습을 가속화하는 동시에 어려운 학습 표본들에 대해 학습 모델이 과적합되지 않게 하기 위해 예측 불확실도가 높은 학습 표본들을 딥 뉴럴 네트워크 학습에 강조하는 과정;을 포함하는 적응적 배치 선택 전략을 이용한 딥 뉴럴 네트워크 학습 가속 방법
|
| 11 |
11
제 10 항에 있어서, 상기 입력받은 학습 표본들을 딥 러닝 학습의 기본 단위인 미니배치 표본으로 분할 선택하는 과정에서는,분할 선택된 미니배치 표본이 입력되는 전체 학습 표본들의 부분 집합으로서, 전체 학습 표본들로부터 얻어지는 총 미니배치 표본의 개수는 하기 [수학식 1]로 결정하는 적응적 배치 선택 전략을 이용한 딥 뉴럴 네트워크 학습 가속 방법
|
| 12 |
12
제 10 항에 있어서, 전체 학습 표본들에 대해 예측이 불확실한 예측 불확실도를 평가하는 과정은, 기록 저장된 소프트 맥스 확률을 기반으로 예측 불확실도를 계산하는 과정; 및상기 계산된 예측 불확실도가 높으면 학습 표본의 예측이 불확실한 것으로 평가하는 과정; 을 포함하는 적응적 배치 선택 전략을 이용한 딥 뉴럴 네트워크 학습 가속 방법
|
| 13 |
13
제 12 항에 있어서, 상기 딥 뉴럴 네트워크 학습을 통해 얻어진 각 미니배치 표본의 라벨 예측 확률인 소프트 맥스 확률을 포함하는 학습 로그 정보를 집계하여 기록 저장하는 과정은, 각 미니배치 표본에 대한 소프트 맥스 확률을 계산하는 과정; 및모든 미니배치 표본에 대한 소프트 맥스 확률을 집계하는 과정;을 포함하는 적응적 배치 선택 전략을 이용한 딥 뉴럴 네트워크 학습 가속 방법
|
| 14 |
14
제 12 항에 있어서, 상기 기록 저장된 소프트 맥스 확률을 기반으로 예측 불확실도를 계산하는 과정은, 모든 라벨에 대한 소프트 맥스 확률의 표준 편차(std)로서 예측 불확실도를 하기 [수학식 2]를 이용하여 계산하는 적응적 배치 선택 전략을 이용한 딥 뉴럴 네트워크 학습 가속 방법
|
| 15 |
15
제 14 항에 있어서, 상기 예측 불확실도가 높은 학습 표본들을 딥 뉴럴 네트워크 학습에 강조하는 과정은, 상기 예측 불확실도를 기반으로 표본 중요도를 계산하는 과정;계산된 표본 중요도를 활용하여 학습의 기본 단위인 미니배치 표본을 분할 선택하는 과정; 및해당 미니배치 표본을 통해 딥 뉴럴 네트워크를 업데이트하는 과정;을 포함하는 적응적 배치 선택 전략을 이용한 딥 뉴럴 네트워크 학습 가속 방법
|
| 16 |
16
제 15 항에 있어서, 상기 예측 불확실도를 기반으로 표본 중요도를 계산하는 과정은, 상기 예측 불확실도를 양자화하여 양자화 지수를 계산하는 과정;상기 양자화 지수에 해당하는 표본 중요도를 계산하는 과정; 및계산된 표본 중요도를 활용하여 학습 표본이 다음 미니배치 표본으로 선택될 표본 선택 확률로 할당하는 과정;을 포함하는 적응적 배치 선택 전략을 이용한 딥 뉴럴 네트워크 학습 가속 방법
|
| 17 |
17
제 16 항에 있어서, 상기 양자화 지수에 해당하는 표본 중요도를 계산하는 과정은, 하기 [수학식 3]을 이용하여 계산하는 적응적 배치 선택 전략을 이용한 딥 뉴럴 네트워크 학습 가속 방법
|
| 18 |
18
프로세서에 의해 실행되는 것을 통하여 제 10 항 내지 제 17 항 중 어느 한 항의 적응적 배치 선택 전략을 이용한 딥 뉴럴 네트워크 학습 가속 방법을 실현하는 컴퓨터 판독 가능한 기록매체에 저장된 컴퓨터 프로그램
|
