| 1 |
1
교사 지원 어텐션 전달의 학습 장치에 의해 수행되는 교사 지원 어텐션 전달의 학습 방법에 있어서, 이미지 분류 데이터로부터 교사 모델(Teacher model)을 학습시키는 단계; 총 CAM 손실(Total class activation map loss), 교사 손실(Teacher loss) 및 학생 손실(Student loss)을 이용하여 교사 보조(Teacher Assistant) 모델을 학습시키는 단계; 및 상기 학습된 교사 보조 모델로부터 총 CAM 손실, 교사 손실 및 학생 손실을 이용하여 학생(Student) 모델을 학습시키는 단계를 포함하는, 지식 증류에서 총 CAM 정보를 이용한 교사 지원 어텐션 전달의 학습 방법
|
| 2 |
2
제1항에 있어서,상기 총 CAM 손실은,상기 교사 모델과 상기 학생 모델로부터 클래스 활성화 맵(Class activation map)을 각 클래스 별로 구한 후 평균 제곱 오차(Mean Squared Error)를 이용해 페어링하는, 지식 증류에서 총 CAM 정보를 이용한 교사 지원 어텐션 전달의 학습 방법
|
| 3 |
3
제1항에 있어서,상기 교사 보조 모델을 학습시키는 단계는, 상기 교사 모델과 상기 학생 모델로부터 각각의 총 CAM을 생성하고, 상기 생성된 각각의 총 CAM으로부터 평균 제곱 오차(Mean Squared Error)를 총 CAM 손실로 계산하는, 지식 증류에서 총 CAM 정보를 이용한 교사 지원 어텐션 전달의 학습 방법
|
| 4 |
4
제3항에 있어서,상기 교사 보조 모델을 학습시키는 단계는, 특징 맵에 대해 얻은 확률 값과 클래스에 대한 정보를 이용해 가중치 벡터(Weight vector)로 학습하고, 가중치 벡터와 특징 맵의 선형 합산(linear summation)을 수행하여 총 CAM을 생성하는, 지식 증류에서 총 CAM 정보를 이용한 교사 지원 어텐션 전달의 학습 방법
|
| 5 |
5
제4항에 있어서,상기 교사 보조 모델을 학습시키는 단계는, 특징 추출기의 마지막 컨볼루션 계층을 거쳐서 특징 맵을 생성하고, 상기 생성된 특징 맵을 GAP(Global Average Pooling)을 수행한 후 소프트맥스(softmax) 함수에 넣어 확률 값을 얻는, 지식 증류에서 총 CAM 정보를 이용한 교사 지원 어텐션 전달의 학습 방법
|
| 6 |
6
제4항에 있어서,상기 교사 보조 모델을 학습시키는 단계는, 상기 선형 합산된 결과로부터 클래스 활성화 맵(CAM, Class activation map)을 생성하고, 모든 클래스에 대해 CAM을 합하여 총 CAM을 생성하는, 지식 증류에서 총 CAM 정보를 이용한 교사 지원 어텐션 전달의 학습 방법
|
| 7 |
7
제6항에 있어서,상기 교사 보조 모델을 학습시키는 단계는, 상기 선형 합산된 결과에 정류 선형 유닛(ReLU, Rectified Linear Unit) 함수를 적용하여 클래스 활성화 맵을 생성하는, 지식 증류에서 총 CAM 정보를 이용한 교사 지원 어텐션 전달의 학습 방법
|
| 8 |
8
제6항에 있어서,상기 교사 보조 모델을 학습시키는 단계는, 상기 가중치 벡터와 상기 특징 맵의 선형 합산된 결과에서 음수인 부분을 0으로 바꾸는, 지식 증류에서 총 CAM 정보를 이용한 교사 지원 어텐션 전달의 학습 방법
|
| 9 |
9
제1항에 있어서,상기 교사 손실은 라벨 스무딩(Label smoothing)을 통한 소프트 라벨(Soft label)을 학습하도록 하는, 지식 증류에서 총 CAM 정보를 이용한 교사 지원 어텐션 전달의 학습 방법
|
| 10 |
10
제1항에 있어서,상기 학생 손실은 하드 라벨(Hard label)을 학습하도록 하는, 지식 증류에서 총 CAM 정보를 이용한 교사 지원 어텐션 전달의 학습 방법
|
| 11 |
11
하나 이상의 프로그램을 저장하는 메모리; 및 상기 저장된 하나 이상의 프로그램을 실행하는 프로세서를 포함하고, 상기 프로세서는, 이미지 분류 데이터로부터 교사 모델(Teacher model)을 학습시키고, 총 CAM 손실(Total class activation map loss), 교사 손실(Teacher loss) 및 학생 손실(Student loss)을 이용하여 교사 보조(Teacher Assistant) 모델을 학습시키고, 상기 학습된 교사 보조 모델로부터 총 CAM 손실, 교사 손실 및 학생 손실을 이용하여 학생(Student) 모델을 학습시키는, 지식 증류에서 총 CAM 정보를 이용한 교사 지원 어텐션 전달의 학습 장치
|
| 12 |
12
제11항에 있어서,상기 총 CAM 손실은,상기 교사 모델과 상기 학생 모델로부터 클래스 활성화 맵(Class activation map)을 각 클래스 별로 구한 후 평균 제곱 오차(Mean Squared Error)를 이용해 페어링하는, 지식 증류에서 총 CAM 정보를 이용한 교사 지원 어텐션 전달의 학습 장치
|
| 13 |
13
제11항에 있어서,상기 프로세서는, 상기 교사 모델과 상기 학생 모델로부터 각각의 총 CAM을 생성하고, 상기 생성된 각각의 총 CAM으로부터 평균 제곱 오차(Mean Squared Error)를 총 CAM 손실로 계산하는, 지식 증류에서 총 CAM 정보를 이용한 교사 지원 어텐션 전달의 학습 장치
|
| 14 |
14
제13항에 있어서,상기 프로세서는, 특징 맵에 대해 얻은 확률 값과 클래스에 대한 정보를 이용해 가중치 벡터(Weight vector)로 학습하고, 가중치 벡터와 특징 맵의 선형 합산(linear summation)을 수행하여 총 CAM을 생성하는, 지식 증류에서 총 CAM 정보를 이용한 교사 지원 어텐션 전달의 학습 장치
|
| 15 |
15
제14항에 있어서,상기 프로세서는, 특징 추출기의 마지막 컨볼루션 계층을 거쳐서 특징 맵을 생성하고, 상기 생성된 특징 맵을 GAP(Global Average Pooling)을 수행한 후 소프트맥스(softmax) 함수에 넣어 확률 값을 얻는, 지식 증류에서 총 CAM 정보를 이용한 교사 지원 어텐션 전달의 학습 장치
|
| 16 |
16
제14항에 있어서,상기 프로세서는, 상기 선형 합산된 결과로부터 클래스 활성화 맵(CAM, Class activation map)을 생성하고, 모든 클래스에 대해 CAM을 합하여 총 CAM을 생성하는, 지식 증류에서 총 CAM 정보를 이용한 교사 지원 어텐션 전달의 학습 장치
|
| 17 |
17
제16항에 있어서,상기 프로세서는, 상기 선형 합산된 결과에 정류 선형 유닛(ReLU, Rectified Linear Unit) 함수를 적용하여 클래스 활성화 맵을 생성하는, 지식 증류에서 총 CAM 정보를 이용한 교사 지원 어텐션 전달의 학습 장치
|
| 18 |
18
제16항에 있어서,상기 프로세서는, 상기 가중치 벡터와 상기 특징 맵의 선형 합산된 결과에서 음수인 부분을 0으로 바꾸는, 지식 증류에서 총 CAM 정보를 이용한 교사 지원 어텐션 전달의 학습 장치
|
| 19 |
19
제11항에 있어서,상기 교사 손실은 라벨 스무딩(Label smoothing)을 통한 소프트 라벨(Soft label)을 학습하도록 하는, 지식 증류에서 총 CAM 정보를 이용한 교사 지원 어텐션 전달의 학습 장치
|
| 20 |
20
제11항에 있어서,상기 학생 손실은 하드 라벨(Hard label)을 학습하도록 하는, 지식 증류에서 총 CAM 정보를 이용한 교사 지원 어텐션 전달의 학습 장치
|
| 21 |
21
프로세서에 의해 실행될 때, 상기 프로세서로 하여금 방법을 실행하게 하는 명령어들을 저장하기 위한 비일시적 컴퓨터 판독가능 저장 매체로서, 상기 방법은: 이미지 분류 데이터로부터 교사 모델(Teacher model)을 학습시키는 단계; 총 CAM 손실(Total class activation map loss), 교사 손실(Teacher loss) 및 학생 손실(Student loss)을 이용하여 교사 보조(Teacher Assistant) 모델을 학습시키는 단계; 및 상기 학습된 교사 보조 모델로부터 총 CAM 손실, 교사 손실 및 학생 손실을 이용하여 학생(Student) 모델을 학습시키는 단계를 포함하는, 비일시적 컴퓨터 판독 가능한 저장 매체
|
