| 1 |
1
지식 증류(Knowledge Distillation)를 이용한 학생 네트워크 학습용 시스템에 있어서,로우 데이터를 학습하는 교사 네트워크; 상기 교사 네트워크와 지식 연결(knowledge connection)되는 복수의 조교 네트워크; 및상기 교사 네트워크 및 상기 복수의 조교 네트워크 각각과 지식 연결되는 학생 네트워크;를 포함하되,상기 네트워크 각각은 복수의 레이어를 포함하고,상기 교사 네트워크에 포함된 레이어의 개수는 상기 복수의 조교 네트워크 및 상기 학생 네트워크에 포함된 레이어의 개수보다 많고,상기 복수의 조교 네트워크는, 상기 교사 네트워크와 지식 연결되는 제1 조교 네트워크; 및상기 교사 네트워크 및 상기 제1 조교 네트워크와 지식 연결되는 제2 조교 네트워크;를 포함하고,상기 교사 네트워크는 상기 로우 데이터에 기초하여 학습된 학습 데이터를 상기 제1 조교 네트워크, 상기 제2 조교 네트워크 및 상기 학생 네트워크 각각에 전달하고,상기 제1 조교 네트워크는 상기 학습 데이터에 기초하여 학습된 제1 학습 데이터를 상기 제2 조교 네트워크 및 상기 학생 네트워크 각각에 전달하고,상기 제2 조교 네트워크는 상기 학습 데이터 또는 상기 제1 학습 데이터에 기초하여 학습된 제2 학습 데이터를 상기 학생 네트워크 각각에 전달하고,상기 학생 네트워크는 상기 학습 데이터, 상기 제1 학습 데이터, 상기 제2 학습 데이터 중 적어도 하나에 기초하여 학습하고,상기 복수의 조교 네트워크 각각은 서로 지식 연결되고,상기 네트워크들이 서로 지식 연결된 이후, 상기 네트워크들 사이의 지식 연결들은 무작위로(randomly) 변경되는 것인, 시스템
|
| 2 |
2
삭제
|
| 3 |
3
삭제
|
| 4 |
4
제1항에 있어서,상기 교사 네트워크에 포함된 레이어의 개수는 상기 제1 조교 네트워크에 포함된 레이어의 개수보다 큰 것인, 시스템
|
| 5 |
5
제4항에 있어서,상기 제1 조교 네트워크에 포함된 레이어의 개수는 상기 제2 조교 네트워크에 포함된 레이어의 개수보다 큰 것인, 시스템
|
| 6 |
6
제5항에 있어서,상기 제2 조교 네트워크에 포함된 레이어의 개수는 상기 학생 네트워크에 포함된 레이어의 개수보다 큰 것인, 시스템
|
| 7 |
7
제1항에 있어서,상기 복수의 조교 네트워크는, 상기 교사 네트워크, 상기 제1 조교 네트워크 및 상기 제2 조교 네트워크와 지식 연결되는 제3 조교 네트워크를 더 포함하는 것인, 시스템
|
| 8 |
8
제1항에 있어서,상기 시스템의 학습 방법은,평면 CNN(plain Convolution Neural Network)을 포함하는 것인, 시스템
|
| 9 |
9
제1항에 있어서,상기 네트워크들 사이의 지식 연결들은,무작위로(randomly) 변경되되, 미리 설정된 개수만큼 상기 지식 연결이 차단되는 것인, 시스템
|
| 10 |
10
제9항에 있어서,상기 미리 설정된 개수는, 상기 시스템의 상기 네트워크들의 전체 개수를 고려하여 설정되는 것인, 시스템
|
| 11 |
11
학생 네트워크 학습용 시스템이 지식 증류(Knowledge Distillation)을 이용하여 학생 네트워크를 학습시키는 방법에 있어서,상기 학생 네트워크가, 교사 네트워크 및 복수의 조교 네트워크와 지식 연결(knowledge connection)되는 단계;상기 네트워크들이 서로 지식 연결된 이후, 상기 교사 네트워크 및 상기 복수의 조교 네트워크들 각각과 연결된 지식 연결들 중 적어도 하나를 무작위로(randomly) 변경하는 단계; 상기 교사 네트워크 및 상기 복수의 조교 네트워크들 중 지식 연결된 상태의 네트워크로부터 데이터를 수신하는 단계; 및 상기 수신된 데이터를 기초로 학습하는 단계;를 포함하되,상기 네트워크 각각은 복수의 레이어를 포함하고,상기 교사 네트워크에 포함된 레이어의 개수는 상기 복수의 조교 네트워크 및 상기 학생 네트워크에 포함된 레이어의 개수보다 많고,상기 교사 네트워크 및 상기 복수의 조교 네트워크들은 상호간 지식 연결되고,상기 복수의 조교 네트워크는, 상기 교사 네트워크와 지식 연결되는 제1 조교 네트워크; 및상기 교사 네트워크 및 상기 제1 조교 네트워크와 지식 연결되는 제2 조교 네트워크;를 포함하고,상기 교사 네트워크는 로우 데이터에 기초하여 학습된 학습 데이터를 상기 제1 조교 네트워크, 상기 제2 조교 네트워크 및 상기 학생 네트워크 각각에 전달하고,상기 제1 조교 네트워크는 상기 학습 데이터에 기초하여 학습된 제1 학습 데이터를 상기 제2 조교 네트워크 및 상기 학생 네트워크 각각에 전달하고,상기 제2 조교 네트워크는 상기 학습 데이터 또는 상기 제1 학습 데이터에 기초하여 학습된 제2 학습 데이터를 상기 학생 네트워크 각각에 전달하고,상기 학생 네트워크는 상기 학습 데이터, 상기 제1 학습 데이터, 상기 제2 학습 데이터 중 적어도 하나에 기초하여 학습하는, 지식 증류를 이용한 학생 네트워크 학습 방법
|
| 12 |
12
삭제
|
| 13 |
13
제11항에 있어서,상기 교사 네트워크에 포함된 레이어의 개수는 상기 제1 조교 네트워크에 포함된 레이어의 개수보다 큰 것인, 지식 증류를 이용한 학생 네트워크 학습 방법
|
| 14 |
14
제13항에 있어서,상기 제1 조교 네트워크에 포함된 레이어의 개수는 상기 제2 조교 네트워크에 포함된 레이어의 개수보다 큰 것인, 지식 증류를 이용한 학생 네트워크 학습 방법
|
| 15 |
15
제14항에 있어서,상기 제2 조교 네트워크에 포함된 레이어의 개수는 상기 학생 네트워크에 포함된 레이어의 개수보다 큰 것인, 지식 증류를 이용한 학생 네트워크 학습 방법
|
| 16 |
16
제11항에 있어서,상기 복수의 조교 네트워크는, 상기 교사 네트워크, 상기 제1 조교 네트워크 및 상기 제2 조교 네트워크와 지식 연결되는 제3 조교 네트워크를 더 포함하는 것인, 지식 증류를 이용한 학생 네트워크 학습 방법
|
| 17 |
17
제11항에 있어서,상기 시스템의 학습 방법은,평면 CNN(plain Convolution Neural Network)을 포함하는 것인, 지식 증류를 이용한 학생 네트워크 학습 방법
|
| 18 |
18
제11항에 있어서,상기 지식 연결들 중 적어도 하나를 무작위로(randomly) 변경하는 단계는,미리 설정된 개수만큼 상기 지식 연결이 무작위로(randomly) 차단되는 것인, 지식 증류를 이용한 학생 네트워크 학습 방법
|
| 19 |
19
제18항에 있어서,상기 미리 설정된 개수는, 상기 시스템의 상기 네트워크들의 전체 개수를 고려하여 설정되는 것인, 지식 증류를 이용한 학생 네트워크 학습 방법
|
