| 1 |
1
둘 이상의 잔여 블록(residual block)으로 구성된 원본 신경망에서 상기 둘 이상의 잔여 블록 중 적어도 하나를 우회 블록(bypassing block) 및 재활용 블록(recycling block) 중 적어도 하나로 변환한 하나 이상의 변환 신경망을 생성하는 블록 변환 단계;상기 하나 이상의 변환 신경망 중 소정 기준으로 선택된 하나 이상의 선택 변환 신경망을 레이블이 부여된 소스 데이터를 이용하여 학습 시키는 사전 학습 단계; 및상기 사전 학습된 하나 이상의 선택 변환 신경망 중 정규화 점수(regularization score)를 기준으로 선별된 선별 변환 신경망을 레이블이 부여되지 않은 타겟 데이터를 이용하여 학습시키는 타겟 적응 단계를 포함하는, 블록 변환을 이용한 신경망 압축 방법
|
| 2 |
2
제 1 항에 있어서,상기 블록 변환 단계는 m개의 잔여 블록으로 구성된 원본 신경망 S0으로부터 1개의 잔여 블록을 변환하여 생성한 변환 신경망의 집합 S1 내지 m-1개 잔여 블록을 변환하여 생성한 변환 신경망의 집합 Sm-1을 생성하는, 블록 변환을 이용한 신경망 압축 방법
|
| 3 |
3
제 2 항에 있어서,상기 사전 학습 단계는변환 신경망의 집합 S1 내지 변환 신경망의 집합 Sm-1의 집합들 각각으로부터 하나의 변환 신경망을 선택하며, 선택된 m-1 개의 선택 변환 신경망들을 학습시키는, 블록 변환을 이용한 신경망 압축 방법
|
| 4 |
4
제 1 항에 있어서,상기 사전 학습 단계는상기 레이블이 부여된 소스 데이터 중 상기 하나 이상의 변환 신경망에서 모두 레이블 값을 예측한 하나 이상의 양성 샘플 소스 데이터를 추출하며,상기 하나 이상의 양성 샘플 소스 데이터를 기초로 선택 변환 신경망의 정규화 손실(regularizations loss)을 계산하는, 블록 변환을 이용한 신경망 압축 방법
|
| 5 |
5
제 4 항에 있어서,상기 정규화 손실은 상기 소스 데이터에 대한 원본 신경망의 예측값과 상기 하나 이상의 선택 변환 신경망의 예측값의 확률 분포 차이 및 상기 양성 샘플 소스 데이터에 대한 원본 신경망의 예측값과 상기 하나 이상의 선택 변환 신경망의 예측값의 확률 분포 차이에 기초하여 계산되는, 블록 변환을 이용한 신경망 압축 방법
|
| 6 |
6
제 4 항에 있어서,상기 정규화 손실은 상기 소스 데이터의 레이블에 레이블 스무딩(label-smoothing)을 적용하여 계산되는, 블록 변환을 이용한 신경망 압축 방법
|
| 7 |
7
제 6 항에 있어서,상기 사전 학습 단계는원본 소스 데이터 및 레이블 스무딩이 적용된 소스 데이터에 대한 원본 신경망의 예측값을 기초로 레이블 스무딩에 대한 교차 엔트로피 손실(cross-entropy loss)을 계산하는, 블록 변환을 이용한 신경망 압축 방법
|
| 8 |
8
제 7 항에 있어서,상기 사전 학습 단계는상기 정규화 손실 및 상기 교차 엔트로피 손실에 기초하여 상기 하나 이상의 선택 변환 신경망을 학습시키는, 블록 변환을 이용한 신경망 압축 방법
|
| 9 |
9
제 1 항에 있어서,정규화 점수는타겟 데이터에 대한 원본 신경망의 예측값과 상기 사전 학습된 하나 이상의 선택 변환 신경망의 예측값의 확률 분포 차이에 기초하여 계산되는, 블록 변환을 이용한 신경망 압축 방법
|
| 10 |
10
제 9 항에 있어서,상기 타겟 적응 단계는타겟 데이터 중 상기 원본 신경망과 상기 선별 변환 신경망이 동일한 값을 예측하는 양성 샘플 타겟 데이터를 추출하며,상기 타겟 데이터에 대한 원본 신경망의 예측값과 상기 선별 변환 신경망의 예측값의 확률 분포 차이 및 상기 양성 샘플 타겟 데이터에 대한 원본 신경망의 예측값과 상기 선별 변환 신경망의 예측값의 확률 분포 차이에 기초하여 정규화 손실(regularizations loss)을 계산하며,상기 정규화 점수는 상기 정규화 손실을 더 기초하여 계산되는, 블록 변환을 이용한 신경망 압축 방법
|
| 11 |
11
제 10 항에 있어서,상기 타겟 적응 단계는상기 타겟 데이터를 소정의 기준으로 클러스터링하여 생성한 합성 레이블(synthetic label)에 대한 상기 원본 신경망의 교차 엔트로피 손실(cross-entropy loss)을 계산하는, 블록 변환을 이용한 신경망 압축 방법
|
| 12 |
12
제 11 항에 있어서,상기 타겟 적응 단계는상기 정규화 손실 및 상기 교차 엔트로피 손실에 기초하여 상기 선별 변환 신경망을 학습하는, 블록 변환을 이용한 신경망 압축 방법
|
| 13 |
13
둘 이상의 잔여 블록(residual block)으로 구성된 원본 신경망에서 상기 둘 이상의 잔여 블록 중 적어도 하나를 우회 블록(bypassing block) 및 재활용 블록(recycling block) 중 적어도 하나로 변환한 하나 이상의 변환 신경망을 생성하는 블록 변환부;상기 하나 이상의 변환 신경망 중 소정 기준으로 선택된 하나 이상의 선택 변환 신경망을 레이블이 부여된 소스 데이터를 이용하여 학습 시키는 사전 학습부; 및상기 사전 학습된 하나 이상의 선택 변환 신경망 중 정규화 점수(regularization score)를 기준으로 선별된 선별 변환 신경망을 레이블이 부여되지 않은 타겟 데이터를 이용하여 학습시키는 타겟 적응부를 포함하는, 블록 변환을 이용한 신경망 압축 장치
|
| 14 |
14
청구항 13에 있어서, 상기 블록 변환부는, m개의 잔여 블록으로 구성된 원본 신경망 S0으로부터 1개의 잔여 블록을 변환하여 생성한 변환 신경망의 집합 S1 내지 m-1개 잔여 블록을 변환하여 생성한 변환 신경망의 집합 Sm-1을 생성하는, 블록 변환을 이용한 신경망 압축 장치
|
| 15 |
15
청구항 14에 있어서, 상기 사전 학습부는, 변환 신경망의 집합 S1 내지 변환 신경망의 집합 Sm-1의 집합들 각각으로부터 하나의 변환 신경망을 선택하며, 선택된 m-1 개의 선택 변환 신경망들을 학습시키는, 블록 변환을 이용한 신경망 압축 장치
|
| 16 |
16
청구항 13에 있어서, 상기 사전 학습부는, 상기 레이블이 부여된 소스 데이터 중 상기 하나 이상의 변환 신경망에서 모두 레이블 값을 예측한 하나 이상의 양성 샘플 소스 데이터를 추출하며,상기 하나 이상의 양성 샘플 소스 데이터를 기초로 선택 변환 신경망의 정규화 손실(regularizations loss)을 계산하는, 블록 변환을 이용한 신경망 압축 장치
|
| 17 |
17
청구항 16에 있어서, 상기 정규화 손실은, 상기 소스 데이터에 대한 원본 신경망의 예측값과 상기 하나 이상의 선택 변환 신경망의 예측값의 확률 분포 차이 및 상기 양성 샘플 소스 데이터에 대한 원본 신경망의 예측값과 상기 하나 이상의 선택 변환 신경망의 예측값의 확률 분포 차이에 기초하여 계산되는, 블록 변환을 이용한 신경망 압축 장치
|
| 18 |
18
청구항 16에 있어서, 상기 정규화 손실은, 상기 소스 데이터의 레이블에 레이블 스무딩(label-smoothing)을 적용하여 계산되고,상기 사전 학습부는, 원본 소스 데이터 및 레이블 스무딩이 적용된 소스 데이터에 대한 원본 신경망의 예측값을 기초로 레이블 스무딩에 대한 교차 엔트로피 손실(cross-entropy loss)을 계산하며, 상기 정규화 손실 및 상기 교차 엔트로피 손실에 기초하여 상기 하나 이상의 선택 변환 신경망을 학습시키는, 블록 변환을 이용한 신경망 압축 장치
|
| 19 |
19
청구항 13에 있어서, 상기 정규화 점수는, 타겟 데이터에 대한 원본 신경망의 예측값과 상기 사전 학습된 하나 이상의 선택 변환 신경망의 예측값의 확률 분포 차이에 기초하여 계산되고, 상기 타겟 적응부는, 타겟 데이터 중 상기 원본 신경망과 상기 선별 변환 신경망이 동일한 값을 예측하는 양성 샘플 타겟 데이터를 추출하며, 상기 타겟 데이터에 대한 원본 신경망의 예측값과 상기 선별 변환 신경망의 예측값의 확률 분포 차이 및 상기 양성 샘플 타겟 데이터에 대한 원본 신경망의 예측값과 상기 선별 변환 신경망의 예측값의 확률 분포 차이에 기초하여 정규화 손실(regularizations loss)을 계산하며, 상기 정규화 점수는 상기 정규화 손실을 더 기초하여 계산되는, 블록 변환을 이용한 신경망 압축 장치
|
| 20 |
20
청구항 19에 있어서, 상기 타겟 적응부는, 상기 타겟 데이터를 소정의 기준으로 클러스터링하여 생성한 합성 레이블(synthetic label)에 대한 상기 원본 신경망의 교차 엔트로피 손실(cross-entropy loss)을 계산하는, 블록 변환을 이용한 신경망 압축 장치
|
| 21 |
21
청구항 20에 있어서, 상기 타겟 적응부는, 상기 정규화 손실 및 상기 교차 엔트로피 손실에 기초하여 상기 선별 변환 신경망을 학습하는, 블록 변환을 이용한 신경망 압축 장치
|
| 22 |
22
비일시적 컴퓨터 판독 가능한 저장 매체(non-transitory computer readable storage medium)에 저장된 컴퓨터 프로그램으로서, 상기 컴퓨터 프로그램은 하나 이상의 명령어들을 포함하고, 상기 명령어들은 하나 이상의 프로세서들을 갖는 컴퓨팅 장치에 의해 실행될 때, 상기 컴퓨팅 장치로 하여금, 둘 이상의 잔여 블록(residual block)으로 구성된 원본 신경망에서 상기 둘 이상의 잔여 블록 중 적어도 하나를 우회 블록(bypassing block) 및 재활용 블록(recycling block) 중 적어도 하나로 변환한 하나 이상의 변환 신경망을 생성하는 블록 변환 단계;상기 하나 이상의 변환 신경망 중 소정 기준으로 선택된 하나 이상의 선택 변환 신경망을 레이블이 부여된 소스 데이터를 이용하여 학습 시키는 사전 학습 단계; 및상기 사전 학습된 하나 이상의 선택 변환 신경망 중 정규화 점수(regularization score)를 기준으로 선별된 선별 변환 신경망을 레이블이 부여되지 않은 타겟 데이터를 이용하여 학습시키는 타겟 적응 단계를 수행하도록 하는, 컴퓨터 프로그램
|
