| 1 |
1
교사-학생 프레임워크로서,데이터 세트 A를 이용하여, 교사 심층 네트워크 및 교사 랜덤 포레스트로 구성되는 교사 모델을 학습시키는 교사 학습 모듈(100);데이터 세트 B를 상기 교사 학습 모듈(100)에서 학습된 교사 심층 네트워크 및 교사 랜덤 포레스트에 입력하고, 출력된 두 출력을 결합하여 소프트 타겟 데이터 세트 B*를 생성하는 소프트 타겟 데이터 생성 모듈(200);상기 소프트 타겟 데이터 생성 모듈(200)에서 생성된 데이터 세트 B*를 이용하여, 학생 네트워크 및 학생 랜덤 포레스트로 구성되는 학생 모델을 학습시키는 학생 학습 모듈(300); 및상기 학생 학습 모듈(300)에서 학습된 학생 네트워크 및 학생 랜덤 포레스트의 두 출력을 결합하여 분류를 수행하는 분류 모듈(400)을 포함하는 것을 특징으로 하는, 심층 네트워크와 랜덤 포레스트가 결합된 앙상블 분류기의 경량화를 위한 교사-학생 프레임워크
|
| 2 |
2
제1항에 있어서, 상기 데이터 세트 A는,클래스 레이블이 포함되는 하드 타겟 데이터 세트인 것을 특징으로 하는, 심층 네트워크와 랜덤 포레스트가 결합된 앙상블 분류기의 경량화를 위한 교사-학생 프레임워크
|
| 3 |
3
제1항에 있어서, 상기 데이터 세트 B는,클래스 레이블이 포함되지 않는 데이터 세트인 것을 특징으로 하는, 심층 네트워크와 랜덤 포레스트가 결합된 앙상블 분류기의 경량화를 위한 교사-학생 프레임워크
|
| 4 |
4
제1항에 있어서, 상기 교사 학습 모듈(100)은,상기 데이터 세트 A를 이용하여 교사 심층 네트워크를 학습시키는 제1 교사 학습부(110); 및상기 교사 심층 네트워크의 특징 맵(feature map)을 이용하여 교사 랜덤 포레스트를 학습시키는 제2 교사 학습부(120)를 포함하는 것을 특징으로 하는, 심층 네트워크와 랜덤 포레스트가 결합된 앙상블 분류기의 경량화를 위한 교사-학생 프레임워크
|
| 5 |
5
제1항에 있어서, 상기 교사 심층 네트워크는,각각의 클래스의 확률값인 소프트 타겟 출력을 얻기 위해, 연화된 소프트맥스 함수(softened softmax function)를 적용한 것을 특징으로 하는, 심층 네트워크와 랜덤 포레스트가 결합된 앙상블 분류기의 경량화를 위한 교사-학생 프레임워크
|
| 6 |
6
제1항에 있어서,웨이블렛 변환을 적용하여 입력 이미지에 대한 전처리를 수행하는 전처리 모듈(500)을 더 포함하는 것을 특징으로 하는, 심층 네트워크와 랜덤 포레스트가 결합된 앙상블 분류기의 경량화를 위한 교사-학생 프레임워크
|
| 7 |
7
제1항에 있어서, 상기 학생 학습 모듈(300)은,상기 소프트 타겟 데이터 생성 모듈(200)에서 생성된 데이터 세트 B*를 이용하여, 학생 네트워크를 학습시키는 제1 학생 학습부(310); 및상기 소프트 타겟 데이터 생성 모듈(200)에서 생성된 데이터 세트 B*를 이용하여, 학생 랜덤 포레스트를 학습시키는 제2 학생 학습부(320)를 포함하는 것을 특징으로 하는, 심층 네트워크와 랜덤 포레스트가 결합된 앙상블 분류기의 경량화를 위한 교사-학생 프레임워크
|
| 8 |
8
제7항에 있어서, 상기 제1 학생 학습부(310)는,(3-1-1) 학생 네트워크의 파라미터(WS)를 초기화하는 단계;(3-1-2) 사전 학습된 네트워크에 상기 데이터 세트 B*를 입력하는 단계;(3-1-3) 손실 함수(loss function, L(Ws))를 계산하는 단계;(3-1-4) 를 WS*로 업데이트하는 단계; 및(3-1-5) 학생 네트워크를 위한 최적 파라미터 WS*를 선택하는 단계를 수행하여, 상기 학생 네트워크를 학습시키는 것을 특징으로 하는, 심층 네트워크와 랜덤 포레스트가 결합된 앙상블 분류기의 경량화를 위한 교사-학생 프레임워크
|
| 9 |
9
제8항에 있어서, 상기 단계 (3-1-3)에서,다음 수학식을 이용해 손실 함수를 계산하는 것을 특징으로 하는, 심층 네트워크와 랜덤 포레스트가 결합된 앙상블 분류기의 경량화를 위한 교사-학생 프레임워크
|
| 10 |
10
제7항에 있어서, 상기 제2 학생 학습부(320)는,(3-2-1) 교사 랜덤 포레스트의 t번째 트리 구조(T-RFt)를 학생 랜덤 포레스트의 t번째 트리 구조(S-RFt)로 복사하여 이전학습(Transfer Learning)을 하는 단계;(3-2-2) 입력벡터 v를 갖는 데이터 세트 B*를 S-RFt의 의사결정 트리 중 하나에 입력하는 단계;(3-2-3) 노드 O에서 스플릿 함수 f(v)를 생성하는 단계;(3-2-4) 노드 O에서 정보 이득(information gain) ΔE을 계산하는 단계;(3-2-5) 교차-엔트로피(cross-entropy) Tr(Te, S)t를 계산하는 단계; 및(3-2-6) 상기 계산된 교차-엔트로피가 부스팅을 멈추는 최소 임계값 미만이면, 현재의 S-RFt를 저장하고, 그렇지 않으면 상기 단계 (3-2-2)부터 재수행하는 단계를 T개의 랜덤 의사결정 트리를 구성할 때까지 수행하여, 상기 학생 랜덤 포레스트를 학습시키는 것을 특징으로 하는, 심층 네트워크와 랜덤 포레스트가 결합된 앙상블 분류기의 경량화를 위한 교사-학생 프레임워크
|
| 11 |
11
교사-학생 프레임워크 기반의 분류 방법으로서,(1) 데이터 세트 A를 이용하여, 교사 심층 네트워크 및 교사 랜덤 포레스트로 구성되는 교사 모델을 학습시키는 단계;(2) 데이터 세트 B를 상기 단계 (1)에서 학습된 교사 심층 네트워크 및 교사 랜덤 포레스트에 입력하고, 출력된 두 출력을 결합하여 소프트 타겟 데이터 세트 B*를 생성하는 단계;(3) 상기 단계 (2)에서 생성된 데이터 세트 B*를 이용하여, 학생 네트워크 및 학생 랜덤 포레스트로 구성되는 학생 모델을 학습시키는 단계; 및(4) 상기 단계 (3)에서 학습된 학생 네트워크 및 학생 랜덤 포레스트의 두 출력을 결합하여 분류를 수행하는 단계를 포함하는 것을 특징으로 하는, 심층 네트워크와 랜덤 포레스트가 결합된 앙상블 분류기의 경량화를 위한 교사-학생 프레임워크 기반의 분류 방법
|
| 12 |
12
제11항에 있어서, 상기 데이터 세트 A는,클래스 레이블이 포함되는 하드 타겟 데이터 세트인 것을 특징으로 하는, 심층 네트워크와 랜덤 포레스트가 결합된 앙상블 분류기의 경량화를 위한 교사-학생 프레임워크 기반의 분류 방법
|
| 13 |
13
제11항에 있어서, 상기 데이터 세트 B는,클래스 레이블이 포함되지 않는 데이터 세트인 것을 특징으로 하는, 심층 네트워크와 랜덤 포레스트가 결합된 앙상블 분류기의 경량화를 위한 교사-학생 프레임워크 기반의 분류 방법
|
| 14 |
14
제11항에 있어서, 상기 단계 (1)은,(1-1) 상기 데이터 세트 A를 이용하여 교사 심층 네트워크를 학습시키는 단계; 및(1-2) 상기 교사 심층 네트워크의 특징 맵(feature map)을 이용하여 교사 랜덤 포레스트를 학습시키는 단계를 포함하는 것을 특징으로 하는, 심층 네트워크와 랜덤 포레스트가 결합된 앙상블 분류기의 경량화를 위한 교사-학생 프레임워크 기반의 분류 방법
|
| 15 |
15
제11항에 있어서, 상기 교사 심층 네트워크는,각각의 클래스의 확률값인 소프트 타겟 출력을 얻기 위해, 연화된 소프트맥스 함수(softened softmax function)를 적용한 것을 특징으로 하는, 심층 네트워크와 랜덤 포레스트가 결합된 앙상블 분류기의 경량화를 위한 교사-학생 프레임워크 기반의 분류 방법
|
| 16 |
16
제11항에 있어서,(0) 웨이블렛 변환을 적용하여 입력 이미지에 대한 전처리를 수행하는 단계를 더 포함하는 것을 특징으로 하는, 심층 네트워크와 랜덤 포레스트가 결합된 앙상블 분류기의 경량화를 위한 교사-학생 프레임워크 기반의 분류 방법
|
| 17 |
17
제11항에 있어서, 상기 단계 (3)은,(3-1) 상기 단계 (2)에서 생성된 데이터 세트 B*를 이용하여, 학생 네트워크를 학습시키는 단계; 및(3-2) 상기 단계 (2)에서 생성된 데이터 세트 B*를 이용하여, 학생 랜덤 포레스트를 학습시키는 단계를 포함하는 것을 특징으로 하는, 심층 네트워크와 랜덤 포레스트가 결합된 앙상블 분류기의 경량화를 위한 교사-학생 프레임워크 기반의 분류 방법
|
| 18 |
18
제17항에 있어서, 상기 단계 (3-1)은,(3-1-1) 학생 네트워크의 파라미터(WS)를 초기화하는 단계;(3-1-2) 사전 학습된 네트워크에 상기 데이터 세트 B*를 입력하는 단계;(3-1-3) 손실 함수(loss function, L(Ws))를 계산하는 단계;(3-1-4) 를 WS*로 업데이트하는 단계; 및(3-1-5) 학생 네트워크를 위한 최적 파라미터 WS*를 선택하는 단계를 수행하여, 상기 학생 네트워크를 학습시키는 것을 특징으로 하는, 심층 네트워크와 랜덤 포레스트가 결합된 앙상블 분류기의 경량화를 위한 교사-학생 프레임워크 기반의 분류 방법
|
| 19 |
19
제18항에 있어서, 상기 단계 (3-1-3)에서,다음 수학식을 이용해 손실 함수를 계산하는 것을 특징으로 하는, 심층 네트워크와 랜덤 포레스트가 결합된 앙상블 분류기의 경량화를 위한 교사-학생 프레임워크 기반의 분류 방법
|
| 20 |
20
제17항에 있어서, 상기 단계 (3-2)는,(3-2-1) 교사 랜덤 포레스트의 t번째 트리 구조(T-RFt)를 학생 랜덤 포레스트의 t번째 트리 구조(S-RFt)로 복사하여 이전학습(Transfer Learning)을 하는 단계;(3-2-2) 입력벡터 v를 갖는 데이터 세트 B*를 S-RFt의 의사결정 트리 중 하나에 입력하는 단계;(3-2-3) 노드 O에서 스플릿 함수 f(v)를 생성하는 단계;(3-2-4) 노드 O에서 정보 이득(information gain) ΔE을 계산하는 단계;(3-2-5) 교차-엔트로피(cross-entropy) Tr(Te, S)t를 계산하는 단계; 및(3-2-6) 상기 계산된 교차-엔트로피가 부스팅을 멈추는 최소 임계값 미만이면, 현재의 S-RFt를 저장하고, 그렇지 않으면 상기 단계 (3-2-2)부터 재수행하는 단계를 T개의 랜덤 의사결정 트리를 구성할 때까지 수행하여, 상기 학생 랜덤 포레스트를 학습시키는 것을 특징으로 하는, 심층 네트워크와 랜덤 포레스트가 결합된 앙상블 분류기의 경량화를 위한 교사-학생 프레임워크 기반의 분류 방법
|
