| 1 |
1
입력 이미지의 클래스를 식별하도록 훈련된 강건한 분류 모델에 기반한 이미지 분류 방법으로서,상기 분류 모델의 특정 레이어에서 출력된 입력 이미지에 대한 특징맵을 추출하는 단계;컨볼루션 레이어에서 상기 특징맵의 통계 정보를 이용하여 상기 특징맵의 스타일 정보를 추출하는 단계;정규화 레이어에서 상기 스타일 정보를 적용하여 상기 특징맵을 대상으로 정규화를 수행하는 단계; 및상기 정규화된 특징맵을 기반으로 상기 입력 이미지의 레이블을 예측하는 단계를 포함하되,상기 특징맵을 추출하는 단계 내지 상기 정규화를 수행하는 단계는 설정 횟수 이상 연속으로 수행되도록 구성되고,상기 정규화 레이어 및 상기 컨볼루션 레이어는 훈련 이미지를 상기 훈련 이미지의 레이블로 분류하도록 훈련된 학습 모델의 레이어들로서, 상기 정규화 레이어는 상기 학습 모델의 학습 시 상기 훈련 이미지에 스타일을 전이하는 스타일 이미지의 특징맵 및 상기 훈련 이미지의 특징맵을 입력으로 하여 정규화를 수행하는 레이어인,이미지 분류 방법
|
| 2 |
2
제 1 항에 있어서,상기 분류 모델은,클래스를 식별하기 위한 제 1 이미지 및 상기 제 1 이미지의 제 1 레이블을 제 1 네트워크에 입력하는 단계;상기 제 1 이미지에 대한 스타일 전이 정규화를 위한 제 2 이미지를 제 2 네트워크에 입력하는 단계;상기 제 1 네트워크의 특정 레이어에서 출력된 상기 제 1 이미지에 대한 콘텐츠 특징맵을 추출하는 단계;상기 제 2 네트워크의 특정 레이어에서 출력된 상기 제 2 이미지에 대한 스타일 특징맵을 추출하여 상기 스타일 특징맵의 통계 정보를 이용해 상기 스타일 특징맵의 스타일 정보를 추출하는 단계;상기 스타일 정보를 상기 제 1 네트워크에 적용하여 상기 제 1 이미지에 대한 상기 콘텐츠 특징맵을 대상으로 정규화를 수행하는 단계; 및상기 정규화된 제 1 이미지를 기반으로 상기 입력된 제 1 이미지의 제 1 레이블을 예측하도록 학습하는 단계를 포함하는 훈련 페이즈(phase)에 의해 훈련된,이미지 분류 방법
|
| 3 |
3
제 2 항에 있어서,상기 스타일 정보는 상기 스타일 특징맵의 평균 및 표준 편차를 포함하고,상기 정규화를 수행하는 단계는,상기 콘텐츠 특징맵을 정규화하는 단계; 및상기 정규화된 콘텐츠 특징맵에 상기 스타일 특징맵의 표준 편차를 곱하고, 상기 스타일 특징맵의 평균을 가산하는 단계를 포함하는,이미지 분류 방법
|
| 4 |
4
제 2 항에 있어서,상기 분류 모델은,상기 제 1 이미지의 제 1 레이블을 입력하는 단계 내지 상기 정규화를 수행하는 단계는 설정 횟수 이상 연속으로 수행되도록 구성되는,이미지 분류 방법
|
| 5 |
5
제 4 항에 있어서,상기 분류 모델은,설정 횟수 이상 연속으로 수행되는 경우, 상기 스타일 정보를 상기 제 2 네트워크에 적용하여 상기 제 2 이미지에 대한 상기 스타일 특징맵을 대상으로 정규화를 수행하는 단계를 더 포함하는 훈련 페이즈에 의해 훈련되며,상기 정규화된 제 2 이미지가 상기 제 2 네트워크의 다음 레이어에 입력되도록 구성되는,이미지 분류 방법
|
| 6 |
6
제 2 항에 있어서,상기 제 1 네트워크 및 상기 제 2 네트워크의 중간 레이어들은, 동일한 구조 및 동일한 파라미터가 적용되도록 구성되는,이미지 분류 방법
|
| 7 |
7
제 2 항에 있어서,상기 분류 모델은,상기 제 1 네트워크 및 상기 제 2 네트워크가 각각 손실함수를 통해 최적화되도록 구성되는,이미지 분류 방법
|
| 8 |
8
제 2 항에 있어서,상기 분류 모델은,상기 제 1 이미지의 제 1 레이블 및 상기 제 2 이미지의 제 2 레이블에 대한 레이블 스무딩(label smoothing)을 수행하는 단계를 더 포함하는 훈련 페이즈에 의해 훈련되고,상기 레이블 스무딩은 다음 수식에 의해 수행되며,여기서, y는 제 1 레이블, y'는 제 2 레이블, α는 하이퍼 파라미터(hyper parameter)인,이미지 분류 방법
|
| 9 |
9
입력 이미지의 클래스를 식별하도록 훈련된 강건한 분류 모델에 기반한 이미지 분류 장치로서,메모리; 및상기 메모리와 연결되고, 상기 메모리에 포함된 컴퓨터 판독 가능한 명령들을 실행하도록 구성된 적어도 하나의 프로세서를 포함하고,상기 적어도 하나의 프로세서는,입력 이미지의 클래스를 식별하도록 훈련된 강건한 분류 모델에 기반한 이미지 분류 방법으로서,상기 분류 모델의 특정 레이어에서 출력된 입력 이미지에 대한 특징맵을 추출하는 동작,컨볼루션 레이어에서 상기 특징맵의 통계 정보를 이용하여 상기 특징맵의 스타일 정보를 추출하는 동작,정규화 레이어에서 상기 스타일 정보를 적용하여 상기 특징맵을 대상으로 정규화를 수행하는 동작, 및상기 정규화된 특징맵을 기반으로 상기 입력 이미지의 레이블을 예측하는 동작을 수행하도록 구성되며,상기 특징맵을 추출하는 동작 내지 상기 정규화를 수행하는 동작은 설정 횟수 이상 연속으로 수행되도록 구성되고,상기 정규화 레이어 및 상기 컨볼루션 레이어는 훈련 이미지를 상기 훈련 이미지의 레이블로 분류하도록 훈련된 학습 모델의 레이어들로서, 상기 정규화 레이어는 상기 학습 모델의 학습 시 상기 훈련 이미지에 스타일을 전이하는 스타일 이미지의 특징맵 및 상기 훈련 이미지의 특징맵을 입력으로 하여 정규화를 수행하는 레이어인,이미지 분류 장치
|
| 10 |
10
제 9 항에 있어서,상기 분류 모델은,클래스를 식별하기 위한 제 1 이미지 및 상기 제 1 이미지의 제 1 레이블을 제 1 네트워크에 입력하는 단계;상기 제 1 이미지에 대한 스타일 전이 정규화를 위한 제 2 이미지를 제 2 네트워크에 입력하는 단계;상기 제 1 네트워크의 특정 레이어에서 출력된 상기 제 1 이미지에 대한 콘텐츠 특징맵을 추출하는 단계;상기 제 2 네트워크의 특정 레이어에서 출력된 상기 제 2 이미지에 대한 스타일 특징맵을 추출하여 상기 스타일 특징맵의 통계 정보를 이용해 상기 스타일 특징맵의 스타일 정보를 추출하는 단계;상기 스타일 정보를 상기 제 1 네트워크에 적용하여 상기 제 1 이미지에 대한 상기 콘텐츠 특징맵을 대상으로 정규화를 수행하는 단계; 및상기 정규화된 제 1 이미지를 기반으로 상기 입력된 제 1 이미지의 제 1 레이블을 예측하도록 학습하는 단계를 포함하는 훈련 페이즈(phase)에 의해 훈련된,이미지 분류 장치
|
| 11 |
11
제 10 항에 있어서,상기 스타일 정보는 상기 스타일 특징맵의 평균 및 표준 편차를 포함하고,상기 분류 모델의 상기 정규화를 수행하는 단계는,상기 콘텐츠 특징맵을 정규화하는 단계; 및상기 정규화된 콘텐츠 특징맵에 상기 스타일 특징맵의 표준 편차를 곱하고, 상기 스타일 특징맵의 평균을 가산하는 단계를 포함하는,이미지 분류 장치
|
| 12 |
12
제 10 항에 있어서,상기 분류 모델은,상기 제 1 이미지의 제 1 레이블을 입력하는 단계 내지 상기 정규화를 수행하는 단계는 설정 횟수 이상 연속으로 수행되도록 구성되는,이미지 분류 장치
|
| 13 |
13
제 12 항에 있어서,상기 분류 모델은,설정 횟수 이상 연속으로 수행되는 경우, 상기 스타일 정보를 상기 제 2 네트워크에 적용하여 상기 제 2 이미지에 대한 상기 스타일 특징맵을 대상으로 정규화를 수행하는 단계를 더 포함하는 훈련 페이즈에 의해 훈련되며,상기 정규화된 제 2 이미지가 상기 제 2 네트워크의 다음 레이어에 입력되도록 구성되는,이미지 분류 장치
|
| 14 |
14
제 10 항에 있어서,상기 제 1 네트워크 및 상기 제 2 네트워크의 중간 레이어들은, 동일한 구조 및 동일한 파라미터가 적용되도록 구성되는,이미지 분류 장치
|
| 15 |
15
제 10 항에 있어서,상기 분류 모델은,상기 제 1 네트워크 및 상기 제 2 네트워크가 각각 손실함수를 통해 최적화되도록 구성되는,이미지 분류 장치
|
| 16 |
16
제 10 항에 있어서,상기 분류 모델은,상기 제 1 이미지의 제 1 레이블 및 상기 제 2 이미지의 제 2 레이블에 대한 레이블 스무딩(label smoothing)을 수행하는 단계를 더 포함하는 훈련 페이즈에 의해 훈련되고,상기 레이블 스무딩은 다음 수식에 의해 수행되며,여기서, y는 제 1 레이블, y'는 제 2 레이블, α는 하이퍼 파라미터(hyper parameter)인,이미지 분류 장치
|
