| 1 |
1
적어도 하나의 프로세서에 의해 수행되는, 이미지 분류 모델 생성 방법으로서,이미지 분류 모델 생성을 위해 수집한 데이터 셋에서, 타겟 이미지와 상기 타겟 이미지의 텍스처(texture)를 변경하기 위한 텍스처 이미지를 포함하는 이미지 쌍을 선택하는 단계;인코더 레이어를 통해, 상기 타겟 이미지와 상기 텍스처 이미지 각각에 대한 구조(structure) 정보 및 텍스처 정보를 추출하는 단계;정규화 레이어에서 상기 타겟 이미지의 구조 정보와 상기 텍스처 이미지의 구조 정보를 기반으로, 상기 타겟 이미지에 대한 구조 정보를 대상으로 정규화를 수행하는 단계;이미지 생성 레이어에서 상기 텍스처 이미지의 텍스처 정보와, 상기 정규화된 구조 정보를 기반으로 합성 이미지를 생성하는 단계; 및상기 합성 이미지와, 상기 타겟 이미지 및 상기 텍스처 이미지를 기반으로 하여, 상기 이미지 분류 모델의 최적화를 수행하는 단계를 포함하는,이미지 분류 모델 생성 방법
|
| 2 |
2
제 1 항에 있어서,상기 이미지 쌍을 선택하는 단계는,기 학습된 대조 학습 레이어를 기반으로 상기 데이터 셋에서 서로 유사한 이미지 쌍을 선별하는 단계를 포함하는,이미지 분류 모델 생성 방법
|
| 3 |
3
제 2 항에 있어서,상기 이미지 쌍을 선별하는 단계는,상기 데이터 셋에서 서로 다른 라벨의 이미지에 대해, 상기 기 학습된 대조 학습 레이어에서 추출한 특징의 거리를 측정하는 단계; 및상기 특징의 거리를 기반으로 상기 타겟 이미지와, 상기 타겟 이미지와 다른 라벨의 이미지 중 가장 거리가 가까운 이미지를 상기 텍스처 이미지로 선별하는 단계를 포함하는,이미지 분류 모델 생성 방법
|
| 4 |
4
제 1 항에 있어서,상기 구조 정보 및 텍스처 정보를 추출하는 단계는,상기 타겟 이미지 및 상기 텍스처 이미지 각각을 상기 인코더 레이어에 입력하여 상기 타겟 이미지 및 상기 텍스처 이미지 각각에 대한 구조 특징맵 및 텍스처 특징맵을 추출하는 단계;상기 타겟 이미지 및 상기 텍스처 이미지 각각에 대한 상기 구조 특징맵의 통계 정보를 이용하여, 상기 타겟 이미지의 구조 정보 및 상기 텍스처 이미지의 구조 정보를 추출하는 단계; 및상기 타겟 이미지 및 상기 텍스처 이미지 각각에 대한 상기 텍스처 특징맵의 통계 정보를 이용하여, 상기 타겟 이미지의 텍스처 정보 및 상기 텍스처 이미지의 텍스처 정보를 추출하는 단계를 포함하는,이미지 분류 모델 생성 방법
|
| 5 |
5
제 4 항에 있어서,상기 텍스처 이미지의 구조 정보는 상기 구조 특징맵의 평균 및 표준 편차를 포함하고,상기 정규화를 수행하는 단계는,상기 타겟 이미지의 구조 특징맵을 정규화하는 단계; 및상기 정규화된 타겟 이미지의 구조 특징맵에 상기 텍스처 이미지의 구조 특징맵의 표준 편차를 곱하고, 상기 텍스처 이미지의 구조 특징맵의 평균을 가산하는 단계를 포함하는,이미지 분류 모델 생성 방법
|
| 6 |
6
제 1 항에 있어서,상기 합성 이미지를 생성하는 단계 이전에, 상기 이미지 생성 레이어 중 마지막 픽셀 값을 출력하는 레이어를 제외한 모든 레이어에 변조(modulation)와 복조(demodulation)를 적용하여, 상기 텍스처 이미지의 텍스처 정보를 상기 이미지 생성 레이어에 전이(transfer)하는 단계를 더 포함하는,이미지 분류 모델 생성 방법
|
| 7 |
7
제 1 항에 있어서,상기 합성 이미지를 생성하는 단계는,상기 텍스처 이미지로부터의 구조 정보를 기반으로 하는 이미지의 특징을 잠재 변수(Latent variable)로 수치화하는 단계를 포함하는,이미지 분류 모델 생성 방법
|
| 8 |
8
제 1 항에 있어서,상기 최적화를 수행하는 단계는,상기 합성 이미지와 상기 타겟 이미지의 평균과 표준편차가 최소화되도록 구조 기반 손실 함수를 계산하는 단계; 및상기 합성 이미지와 상기 텍스처 이미지의 평균과 표준편차가 최소화되도록 텍스처 기반 손실 함수를 계산하는 단계를 포함하는,이미지 분류 모델 생성 방법
|
| 9 |
9
제 8 항에 있어서,상기 최적화를 수행하는 단계는,상기 타겟 이미지와 상기 합성 이미지의 오차가 최소화되도록 적대적(adversarial) 손실 함수를 계산하는 단계를 더 포함하는,이미지 분류 모델 생성 방법
|
| 10 |
10
제 9 항에 있어서,상기 최적화를 수행하는 단계는,상기 구조 기반 손실 함수(), 상기 텍스처 기반 손실 함수() 및 상기 적대적 손실 함수()에 기반하여, 수학식 1과 같이 최종 손실 함수()를 산출하는 단계를 포함하며,여기서, 는 텍스처 기반 손실 함수의 정규화 가중치 파라미터인,이미지 분류 모델 생성 방법
|
| 11 |
11
적어도 하나의 프로세서에 의해 실행될 때, 상기 적어도 하나의 프로세서로 하여금 제 1 항 내지 제 10 항 중 어느 하나의 항의 방법을 수행하게 하는 프로그램이 기록된, 컴퓨터에서 판독 가능한 기록 매체
|
| 12 |
12
이미지 분류 모델 생성 장치로서, 메모리; 및상기 메모리와 연결되고, 상기 메모리에 포함된 컴퓨터 판독가능한 명령들을 실행하도록 구성된 적어도 하나의 프로세서를 포함하고,상기 적어도 하나의 프로세서는,이미지 분류 모델 생성을 위해 수집한 데이터 셋에서, 타겟 이미지와 상기 타겟 이미지의 텍스처(texture)를 변경하기 위한 텍스처 이미지를 포함하는 이미지 쌍을 선택하는 동작,인코더 레이어를 통해, 상기 타겟 이미지와 상기 텍스처 이미지 각각에 대한 구조(structure) 정보 및 텍스처 정보를 추출하는 동작,정규화 레이어에서 상기 타겟 이미지의 구조 정보와 상기 텍스처 이미지의 구조 정보를 기반으로, 상기 타겟 이미지에 대한 구조 정보를 대상으로 정규화를 수행하는 동작,이미지 생성 레이어에서 상기 텍스처 이미지의 텍스처 정보와, 상기 정규화된 구조 정보를 기반으로 합성 이미지를 생성하는 동작, 및상기 합성 이미지와, 상기 타겟 이미지 및 상기 텍스처 이미지를 기반으로 하여, 상기 이미지 분류 모델의 최적화를 수행하는 동작을 수행하도록 설정되는,이미지 분류 모델 생성 장치
|
| 13 |
13
제 12 항에 있어서,상기 이미지 쌍을 선택하는 동작은,기 학습된 대조 학습 레이어를 기반으로 상기 데이터 셋에서 서로 유사한 이미지 쌍을 선별하는 동작을 포함하는,이미지 분류 모델 생성 장치
|
| 14 |
14
제 13 항에 있어서,상기 이미지 쌍을 선별하는 동작은,상기 데이터 셋에서 서로 다른 라벨의 이미지에 대해, 상기 기 학습된 대조 학습 레이어에서 추출한 특징의 거리를 측정하는 동작, 및상기 특징의 거리를 기반으로 상기 타겟 이미지와, 상기 타겟 이미지와 다른 라벨의 이미지 중 가장 거리가 가까운 이미지를 상기 텍스처 이미지로 선별하는 동작을 포함하는,이미지 분류 모델 생성 장치
|
| 15 |
15
제 12 항에 있어서,상기 구조 정보 및 텍스처 정보를 추출하는 동작은,상기 타겟 이미지 및 상기 텍스처 이미지 각각을 상기 인코더 레이어에 입력하여 상기 타겟 이미지 및 상기 텍스처 이미지 각각에 대한 구조 특징맵 및 텍스처 특징맵을 추출하는 동작,상기 타겟 이미지 및 상기 텍스처 이미지 각각에 대한 상기 구조 특징맵의 통계 정보를 이용하여, 상기 타겟 이미지의 구조 정보 및 상기 텍스처 이미지의 구조 정보를 추출하는 동작, 및상기 타겟 이미지 및 상기 텍스처 이미지 각각에 대한 상기 텍스처 특징맵의 통계 정보를 이용하여, 상기 타겟 이미지의 텍스처 정보 및 상기 텍스처 이미지의 텍스처 정보를 추출하는 동작을 포함하는,이미지 분류 모델 생성 장치
|
| 16 |
16
제 15 항에 있어서,상기 텍스처 이미지의 구조 정보는 상기 구조 특징맵의 평균 및 표준 편차를 포함하고,상기 정규화를 수행하는 동작은,상기 타겟 이미지의 구조 특징맵을 정규화하는 동작, 및상기 정규화된 타겟 이미지의 구조 특징맵에 상기 텍스처 이미지의 구조 특징맵의 표준 편차를 곱하고, 상기 텍스처 이미지의 구조 특징맵의 평균을 가산하는 동작을 포함하는,이미지 분류 모델 생성 장치
|
| 17 |
17
제 12 항에 있어서,상기 적어도 하나의 프로세서는,상기 이미지를 생성하는 동작 이전에, 상기 이미지 생성 레이어 중 마지막 픽셀 값을 출력하는 레이어를 제외한 모든 레이어에 변조(modulation)와 복조(demodulation)를 적용하여, 상기 텍스처 이미지의 텍스처 정보를 상기 이미지 생성 레이어에 전이(transfer)하는 동작을 더 수행하도록 설정되는,이미지 분류 모델 생성 장치
|
| 18 |
18
제 12 항에 있어서,상기 이미지를 생성하는 동작은,상기 텍스처 이미지로부터의 구조 정보를 기반으로 하는 이미지의 특징을 잠재 변수(Latent variable)로 수치화하는 동작을 포함하는,이미지 분류 모델 생성 장치
|
| 19 |
19
제 12 항에 있어서,상기 최적화를 수행하는 동작은,상기 합성 이미지와 상기 타겟 이미지의 평균과 표준편차가 최소화되도록 구조 기반 손실 함수를 계산하는 동작, 및상기 합성 이미지와 상기 텍스처 이미지의 평균과 표준편차가 최소화되도록 텍스처 기반 손실 함수를 계산하는 동작을 포함하는,이미지 분류 모델 생성 장치
|
| 20 |
20
제 19 항에 있어서,상기 최적화를 수행하는 동작은,상기 타겟 이미지와 상기 합성 이미지의 오차가 최소화되도록 적대적(adversarial) 손실 함수를 계산하는 동작을 더 포함하는,이미지 분류 모델 생성 장치
|
