| 1 |
1
스케치 추출 대상이 되는 원본 이미지 및 스타일 추출 대상이 되는 스타일 이미지를 입력 받는 입력부;상기 원본 이미지에 포함된 객체에 대한 스케치 이미지를 생성하고, 상기 원본 이미지가 상기 스타일 이미지의 스타일로 변환된 스타일 변환 이미지를 생성하는 학습 데이터 생성부;스타일 변환 대상이 되는 스케치 이미지(이하, 타겟 스케치 이미지)의 스타일을 변환하도록 상기 스케치 이미지 및 스타일 변환 이미지를 기반으로 학습된 스케치 이미지 스타일 변환 모델을 생성하는 스케치 이미지 스타일 변환 모델 생성부; 및상기 스케치 이미지 스타일 변환 모델을 기반으로 상기 타겟 스케치 이미지가 상기 스타일 이미지의 스타일로 변환된 스타일 변환 이미지(이하, 타겟 스타일 변환 이미지)를 생성하는 스케치 이미지 스타일 변환부;를 포함하는, 스케치 이미지 스타일 변환 장치
|
| 2 |
2
제1항에 있어서, 상기 학습 데이터 생성부는,마스킹(masking) 기법을 적용하여 상기 원본 이미지에서 배경이 제거된 객체에 대한 상기 스케치 이미지를 생성하는, 스케치 이미지 스타일 변환 장치
|
| 3 |
3
제1항에 있어서, 상기 스케치 이미지 스타일 변환 모델 생성부는,Position Normalization 기법을 적용하여 스케치 이미지 스타일 변환 모델을 학습하는, 스케치 이미지 스타일 변환 장치
|
| 4 |
4
제1항에 있어서, 상기 학습 데이터 생성부는,미리 학습된 스케치 이미지 생성 모델을 기반으로, 상기 원본 이미지에서 객체에 대한 스케치 이미지를 생성하는, 스케치 이미지 스타일 변환 장치
|
| 5 |
5
제1항에 있어서, 상기 학습 데이터 생성부는, 미리 학습된 스타일 변환 모델을 기반으로, 상기 원본 이미지로부터 컨텐트를 추출하고 상기 스타일 이미지로부터 스타일을 추출하여 추출된 컨텐트 및 스타일로부터 상기 스타일 변환 이미지를 생성하는, 스케치 이미지 스타일 변환 장치
|
| 6 |
6
제1항에 있어서, 상기 스케치 이미지 스타일 변환 모델 생성부는,적대적 생성 신경망 모델(GAN, Generative Adversarial Network)을 학습시켜 상기 스케치 이미지 스타일 변환 모델을 생성하는, 스케치 이미지 스타일 변환 장치
|
| 7 |
7
제1항에 있어서, 상기 입력부는,서로 상이한 스타일을 갖는 복수의 스타일 이미지를 입력 받고, 상기 학습 데이터 생성부는, 상기 원본 이미지가 상기 복수의 스타일 이미지 각각의 스타일로 변환된 복수의 스타일 변환 이미지를 생성하고,상기 스케치 이미지 스타일 변환 모델 생성부는,상기 타겟 스케치 이미지의 스타일을 상기 복수의 스타일 이미지 각각의 스타일로 변환하는 상기 스케치 이미지 스타일 변환 모델을 생성하며,상기 스케치 이미지 스타일 변환부는,상기 타겟 스케치 이미지가 상기 복수의 스타일 이미지 각각의 스타일로 변환된 복수의 타겟 스타일 변환 이미지를 생성하는, 스케치 이미지 스타일 변환 장치
|
| 8 |
8
제6항에 있어서, 상기 스케치 이미지 스타일 변환 모델 생성부는,MUNIT(Multimodal Unsupervised Image Translation) 모델을 학습시켜 상기 스케치 이미지 스타일 변환 모델을 생성하는, 스케치 이미지 스타일 변환 장치
|
| 9 |
9
스케치 추출 대상이 되는 원본 이미지 및 스타일 추출 대상이 되는 스타일 이미지를 입력 받는 단계;상기 원본 이미지에 포함된 객체에 대한 스케치 이미지를 생성하는 단계;상기 원본 이미지가 상기 스타일 이미지의 스타일로 변환된 스타일 변환 이미지를 생성하는 단계;스타일 변환 대상이 되는 스케치 이미지(이하, 타겟 스케치 이미지)의 스타일을 변환하도록 상기 스케치 이미지 및 스타일 변환 이미지를 기반으로 학습된 스케치 이미지 스타일 변환 모델을 생성하는 단계;상기 타겟 스케치 이미지를 입력 받는 단계; 및상기 스케치 이미지 스타일 변환 모델을 기반으로 상기 타겟 스케치 이미지가 상기 스타일 이미지의 스타일로 변환된 스타일 변환 이미지(이하, 타겟 스타일 변환 이미지)를 생성하는 단계;를 포함하는, 스케치 이미지 스타일 변환 방법
|
| 10 |
10
제9항에 있어서, 상기 스케치 이미지를 생성하는 단계는, 마스킹(masking) 기법을 적용하여 상기 원본 이미지에서 배경이 제거된 객체에 대한 상기 스케치 이미지를 생성하는, 스케치 이미지 스타일 변환 방법
|
| 11 |
11
제9항에 있어서, 상기 스케치 이미지 스타일 변환 모델을 생성하는 단계는,Position Normalization 기법을 적용하여 스케치 이미지 스타일 변환 모델을 학습하는, 스케치 이미지 스타일 변환 방법
|
| 12 |
12
제9항에 있어서,상기 스케치 이미지를 생성하는 단계는,미리 학습된 스케치 이미지 생성 모델을 기반으로, 상기 원본 이미지에서 객체에 대한 스케치 이미지를 생성하는, 스케치 이미지 스타일 변환 방법
|
| 13 |
13
상기 스타일 변환 이미지를 생성하는 단계는, 미리 학습된 스타일 변환 모델을 기반으로, 상기 원본 이미지로부터 컨텐트를 추출하고 상기 스타일 이미지로부터 스타일을 추출하여 추출된 컨텐트 및 스타일로부터 상기 스타일 변환 이미지를 생성하는, 스케치 이미지 스타일 변환 방법
|
| 14 |
14
제9항에 있어서, 상기 스케치 이미지 스타일 변환 모델을 생성하는 단계는,적대적 생성 신경망 모델(GAN, Generative Adversarial Network)을 학습시켜 상기 스케치 이미지 스타일 변환 모델을 생성하는, 스케치 이미지 스타일 변환 방법
|
| 15 |
15
제9항에 있어서, 상기 스타일 이미지를 입력 받는 단계는, 서로 상이한 스타일을 갖는 복수의 스타일 이미지를 입력 받고, 상기 스타일 변환 이미지를 생성하는 단계는, 상기 원본 이미지가 상기 복수의 스타일 이미지 각각의 스타일로 변환된 복수의 스타일 변환 이미지를 생성하고,상기 스케치 이미지 스타일 변환 모델을 생성하는 단계는,상기 타겟 스케치 이미지의 스타일을 상기 복수의 스타일 이미지 각각의 스타일로 변환하는 상기 스케치 이미지 스타일 변환 모델을 생성하며,상기 타겟 스타일 변환 이미지를 생성하는 단계는,상기 타겟 스케치 이미지가 상기 복수의 스타일 이미지 각각의 스타일로 변환된 복수의 타겟 스타일 변환 이미지를 생성하는, 스케치 이미지 스타일 변환 방법
|
| 16 |
16
제15항에 있어서, 상기 스케치 이미지 스타일 변환 모델을 생성하는 단계는,MUNIT(Multimodal Unsupervised Image Translation) 모델을 학습시켜 상기 스케치 이미지 스타일 변환 모델을 생성하는, 스케치 이미지 스타일 변환 방법
|
| 17 |
17
스케치 이미지의 스타일 변환을 위한 명령어를 포함하는 메모리; 및 상기 메모리에 저장된 명령어를 실행하는 프로세서; 를 포함하되,상기 명령어는, 스케치 추출 대상이 되는 원본 이미지 및 스타일 추출 대상이 되는 서로 상이한 스타일의 복수의 스타일 이미지를 입력 받아, 상기 원본 이미지에 포함된 객체에 대한 스케치 이미지를 생성하고, 상기 원본 이미지가 상기 복수의 스타일 이미지의 각각의 스타일로 변환된 복수의 스타일 변환 이미지를 생성하며,스타일 변환 대상이 되는 스케치 이미지(이하, 타겟 스케치 이미지)의 스타일을 변환하도록 상기 스케치 이미지 및 복수의 스타일 변환 이미지를 기반으로 학습된 스케치 이미지 스타일 변환 모델을 생성하여, 스케치 이미지를 입력 받아 상기 스케치 이미지 스타일 변환 모델을 기반으로 상기 타겟 스케치 이미지가 상기 복수의 스타일 이미지 각각의 스타일로 변환된 복수의 스타일 변환 이미지(이하, 타겟 스타일 변환 이미지)를 생성하게 하는 명령어인, 스케치 이미지 스타일 변환 장치
|
| 18 |
18
제17항에 있어서, 상기 스케치 이미지의 생성은, 마스킹(masking) 기법을 적용하여 상기 원본 이미지에서 배경이 제거된 객체에 대한 상기 스케치 이미지를 생성하는, 스케치 이미지 스타일 변환 장치
|
| 19 |
19
제17항에 있어서, 상기 스케치 이미지 스타일 변환 모델의 생성은,Position Normalization 기법을 적용하여 스케치 이미지 스타일 변환 모델을 학습하는, 스케치 이미지 스타일 변환 장치
|
| 20 |
20
제17항에 있어서, 상기 스케치 이미지 스타일 변환 모델의 생성은,MUNIT(Multimodal Unsupervised Image Translation) 모델을 학습시켜 상기 스케치 이미지 스타일 변환 모델을 생성하는, 스케치 이미지 스타일 변환 장치
|
