| 1 |
1
드로잉(drawing) 이미지 데이터셋의 각 드로잉 이미지로부터 추출된 그람 매트릭스(gram matrix)들을 클러스터링(clustering)하여 드로잉 카탈로그를 생성하는 드로잉 카탈로그 생성부;스케치(sketch) 이미지를 입력으로 수신하여 각 드로잉 카탈로그의 스타일로 변환된 스타일 이미지를 출력으로 생성하는 카탈로그 이미지 생성 모델을 상기 드로잉 카탈로그 별로 구축하는 모델 구축부;상기 카탈로그 이미지 생성 모델을 이용하여 스케치 이미지 데이터셋의 각 스케치 이미지에 대해 상기 드로잉 카탈로그별 스타일 이미지들로 변환하는 이미지 변환부;상기 드로잉 카탈로그별 스타일 이미지들을 이용하여 사전학습된 객체 탐지 모델에 대한 미세조정(fine tuning)을 수행하여 상기 드로잉 카탈로그 별로 미세조정된 객체 탐지 모델들을 생성하는 미세조정 수행부; 및상기 미세조정된 객체 탐지 모델들 중에서 특정 성능지표를 기준으로 가장 높은 성능을 제공하는 모델에 해당하는 최상위 모델의 해당 드로잉 카탈로그를 스케치 특화 객체 카탈로그로 결정하는 카탈로그 결정부;를 포함하는 스케치 이미지 객체 탐지를 위한 이미지 변환 장치
|
| 2 |
2
제1항에 있어서, 상기 드로잉 카탈로그 생성부는상기 각 드로잉 이미지를 CNN(Convolution Neural Network)에 입력하고 상기 CNN의 개별 레이어 간의 채널(Channel)별 내적(product)을 통해 상기 그람 매트릭스를 생성하는 것을 특징으로 하는 스케치 이미지 객체 탐지를 위한 이미지 변환 장치
|
| 3 |
3
제1항에 있어서, 상기 드로잉 카탈로그 생성부는IMSAT(Information Maximizing Self-Augmented Training) 알고리즘을 이용하여 상기 그람 매트릭스들의 값에 관한 군집들을 상기 드로잉 카탈로그로서 생성하는 것을 특징으로 하는 스케치 이미지 객체 탐지를 위한 이미지 변환 장치
|
| 4 |
4
제1항에 있어서, 상기 모델 구축부는제1 도메인의 참조 이미지의 스타일을 제2 도메인의 타겟 이미지로 변환하는 CycleGAN을 기초로 상기 카탈로그 이미지 생성 모델을 구축하는 것을 특징으로 하는 스케치 이미지 객체 탐지를 위한 이미지 변환 장치
|
| 5 |
5
제4항에 있어서, 상기 모델 구축부는상기 스케치 이미지를 상기 제1 도메인으로 지정하고 상기 드로잉 카탈로그를 상기 제2 도메인으로 지정하여 상기 드로잉 카탈로그 별로 상기 CycleGAN에 관한 학습을 독립적으로 수행하는 것을 특징으로 하는 스케치 이미지 객체 탐지를 위한 이미지 변환 장치
|
| 6 |
6
제1항에 있어서, 상기 미세조정 수행부는상기 사전학습된 YOLO(You Only Look Once)를 미세조정하여 미세조정된 YOLO를 생성하는 것을 특징으로 하는 스케치 이미지 객체 탐지를 위한 이미지 변환 장치
|
| 7 |
7
제1항에 있어서, 상기 카탈로그 결정부는상기 미세조정된 객체 탐지 모델들에 관한 성능지표인 mAP(mean Average Precision)를 산출한 다음 가장 높은 mAP에 해당하는 모델을 상기 최상위 모델로 결정하는 것을 특징으로 하는 스케치 이미지 객체 탐지를 위한 이미지 변환 장치
|
| 8 |
8
제1항에 있어서,사용자 단말로부터 특정 스케치 이미지가 입력되면 상기 특정 스케치 이미지를 상기 스케치 특화 객체 카탈로그의 스타일로 변환하는 제1 과정과 스타일 변환된 특정 스케치 이미지 내에서 객체를 탐지하는 제2 과정을 수행하여 상기 특정 스케치 이미지에 관한 객체 탐지 결과를 생성하는 객체 탐지부;를 더 포함하는 것을 특징으로 하는 스케치 이미지 객체 탐지를 위한 이미지 변환 장치
|
| 9 |
9
제8항에 있어서, 상기 객체 탐지부는상기 제1 과정에서 상기 스케치 특화 객체 카탈로그의 카탈로그 이미지 생성 모델을 적용하고 상기 제2 과정에서 상기 스케치 특화 객체 카탈로그의 미세조정된 객체 탐지 모델을 적용하는 것을 특징으로 하는 스케치 이미지 객체 탐지를 위한 이미지 변환 장치
|
| 10 |
10
드로잉 카탈로그 생성부를 통해, 드로잉(drawing) 이미지 데이터셋의 각 드로잉 이미지로부터 추출된 그람 매트릭스(gram matrix)들을 클러스터링(clustering)하여 드로잉 카탈로그를 생성하는 단계;모델 구축부를 통해, 스케치(sketch) 이미지를 입력으로 수신하여 각 드로잉 카탈로그의 스타일로 변환된 스타일 이미지를 출력으로 생성하는 카탈로그 이미지 생성 모델을 상기 드로잉 카탈로그 별로 구축하는 단계;이미지 변환부를 통해, 상기 카탈로그 이미지 생성 모델을 이용하여 스케치 이미지 데이터셋의 각 스케치 이미지에 대해 상기 드로잉 카탈로그별 스타일 이미지들로 변환하는 단계;미세조정 수행부를 통해, 상기 드로잉 카탈로그별 스타일 이미지들을 이용하여 사전학습된 객체 탐지 모델에 대한 미세조정(fine tuning)을 수행하여 상기 드로잉 카탈로그 별로 미세조정된 객체 탐지 모델들을 생성하는 단계; 및카탈로그 결정부를 통해, 상기 미세조정된 객체 탐지 모델들 중에서 특정 성능지표를 기준으로 가장 높은 성능을 제공하는 모델에 해당하는 최상위 모델의 해당 드로잉 카탈로그를 스케치 특화 객체 카탈로그로 결정하는 단계;를 포함하는 스케치 이미지 객체 탐지를 위한 이미지 변환 방법
|
| 11 |
11
제10항에 있어서, 상기 상기 드로잉 카탈로그 별로 구축하는 단계는제1 도메인의 참조 이미지의 스타일을 제2 도메인의 타겟 이미지로 변환하는 CycleGAN을 기초로 상기 카탈로그 이미지 생성 모델을 구축하는 단계를 포함하는 것을 특징으로 하는 스케치 이미지 객체 탐지를 위한 이미지 변환 방법
|
| 12 |
12
제10항에 있어서, 상기 미세조정된 객체 탐지 모델들을 생성하는 단계는상기 사전학습된 YOLO(You Only Look Once)를 미세조정하여 미세조정된 YOLO를 생성하는 단계를 포함하는 것을 특징으로 하는 스케치 이미지 객체 탐지를 위한 이미지 변환 방법
|
| 13 |
13
제10항에 있어서,객체 탐지부를 통해, 사용자 단말로부터 특정 스케치 이미지가 입력되면 상기 특정 스케치 이미지를 상기 스케치 특화 객체 카탈로그의 스타일로 변환하는 제1 과정과 스타일 변환된 특정 스케치 이미지 내에서 객체를 탐지하는 제2 과정을 수행하여 상기 특정 스케치 이미지에 관한 객체 탐지 결과를 생성하는 단계;를 더 포함하는 것을 특징으로 하는 스케치 이미지 객체 탐지를 위한 이미지 변환 방법
|
| 14 |
14
제13항에 있어서, 상기 객체 탐지 결과를 생성하는 단계는상기 제1 과정에서 상기 스케치 특화 객체 카탈로그의 카탈로그 이미지 생성 모델을 적용하고 상기 제2 과정에서 상기 스케치 특화 객체 카탈로그의 미세조정된 객체 탐지 모델을 적용하는 단계를 포함하는 것을 특징으로 하는 스케치 이미지 객체 탐지를 위한 이미지 변환 방법
|
