| 1 |
1
컴퓨팅 디바이스에 의한 제로샷 이미지 생성 방법에 있어서,시맨틱 특징을 가변한 시맨틱 코드를 생성하는 단계; 및상기 시맨틱 코드를 입력받아 계층적으로 연결된 적대적 이미지 생성 모델과 업샘플링 모델을 갖는 제로샷 이미지 생성 모델을 통하여 제로샷 이미지를 생성하는 단계를 포함하며,상기 제로샷 이미지 생성 모델은 상기 시맨틱 코드와 랜덤 노이즈 분포를 입력받고 상기 제로샷 이미지를 출력하며, 제1 적대적 이미지 생성 모델에 제1 업샘플링 모델이 연결되고, 상기 제1 업샘플링 모델에 제2 적대적 이미지 생성 모델이 연결되고, 상기 제2 적대적 이미지 생성 모델에 제2 업샘플링 모델이 연결되고, 상기 제2 업샘플링 모델에 제3 적대적 이미지 생성 모델이 연결되며, 상기 제1 적대적 이미지 생성 모델, 상기 제2 적대적 이미지 생성 모델, 및 상기 제3 적대적 이미지 생성 모델을 순차적으로 거치면서 저해상도의 이미지를 고해상도의 이미지로 변환하는 것을 특징으로 하는 제로샷 이미지 생성 방법
|
| 2 |
2
제1항에 있어서,상기 시맨틱 코드를 생성하는 단계는,특성 정보(Attribute)의 평균과 표준 편차를 산출하고, 정규 분포와 조절된 가우시안 분포 간의 엔트로피 변화를 산출하는 시맨틱 코드 조절 모델을 이용하여, 상기 특성 정보에 무작위성을 증가시킨 시맨틱 코드를 생성하는 것을 특징으로 하는 제로샷 이미지 생성 방법
|
| 3 |
3
삭제
|
| 4 |
4
제1항에 있어서,상기 적대적 이미지 생성 모델은 생성 모델과 판별 모델이 상호 작용하는 적대적 생성 신경망에서 상기 생성 모델의 생성 손실 함수와 상기 판별 모델의 판별 손실 함수를 최적화하여, 처음 보는 클래스의 이미지를 생성하는 것을 특징으로 하는 제로샷 이미지 생성 방법
|
| 5 |
5
제4항에 있어서,상기 생성 모델의 생성 손실 함수는 (i) 제1 조건부 생성 손실 함수, (ii) 제1 조건부 분류 손실 함수, (iii) 제1 무조건부 생성 손실 함수, 및 (iv) 제1 무조건부 분류 손실 함수가 결합되며,상기 제1 조건부 생성 손실 함수와 상기 제1 조건부 분류 손실 함수는 특성 정보가 적용된 것을 특징으로 하는 제로샷 이미지 생성 방법
|
| 6 |
6
제4항에 있어서,상기 판별 모델의 판별 손실 함수는 (i) 제2 조건부 생성 손실 함수, (ii) 제2 조건부 분류 손실 함수, (iii) 제2 무조건부 생성 손실 함수, 및 (iv) 제2 무조건부 분류 손실 함수가 결합되며,상기 제2 조건부 생성 손실 함수와 상기 제2 조건부 분류 손실 함수는 특성 정보가 적용된 것을 특징으로 하는 제로샷 이미지 생성 방법
|
| 7 |
7
제6항에 있어서,상기 판별 모델의 판별 손실 함수는 생성된 이미지가 실재 이미지에 수렴하도록 (i) 조건부 경사 페널티와 (ii) 무조건부 경사 페널티를 추가로 결합시켜, 상기 생성된 이미지를 정규화하는 것을 특징으로 하는 제로샷 이미지 생성 방법
|
| 8 |
8
제1항에 있어서,상기 업샘플링 모델은 이미지의 열과 행에 픽셀을 추가하여 상기 이미지의 크기를 증가시키는 것을 특징으로 하는 제로샷 이미지 생성 방법
|
| 9 |
9
제1항에 있어서,상기 제로샷 이미지를 생성하면, 제로샷 학습 모델은 상기 생성된 제로샷 이미지와 실재의 이미지를 입력받고 학습하여 처음 보는 클래스를 인식하는 것을 특징으로 하는 제로샷 이미지 생성 방법
|
| 10 |
10
하나 이상의 프로세서 및 상기 하나 이상의 프로세서에 의해 실행되는 하나 이상의 프로그램을 저장하는 메모리를 포함하는 제로샷 이미지 생성 장치에 있어서,상기 프로세서는 시맨틱 특징을 가변한 시맨틱 코드를 생성하고,상기 프로세서는 상기 시맨틱 코드를 입력받아 계층적으로 연결된 적대적 이미지 생성 모델과 업샘플링 모델을 갖는 제로샷 이미지 생성 모델을 통하여 제로샷 이미지를 생성하며,상기 제로샷 이미지 생성 모델은 상기 시맨틱 코드와 랜덤 노이즈 분포를 입력받고 상기 제로샷 이미지를 출력하며, 제1 적대적 이미지 생성 모델에 제1 업샘플링 모델이 연결되고, 상기 제1 업샘플링 모델에 제2 적대적 이미지 생성 모델이 연결되고, 상기 제2 적대적 이미지 생성 모델에 제2 업샘플링 모델이 연결되고, 상기 제2 업샘플링 모델에 제3 적대적 이미지 생성 모델이 연결되며, 상기 제1 적대적 이미지 생성 모델, 상기 제2 적대적 이미지 생성 모델, 및 상기 제3 적대적 이미지 생성 모델을 순차적으로 거치면서 저해상도의 이미지를 고해상도의 이미지로 변환하는 것을 특징으로 하는 제로샷 이미지 생성 장치
|
| 11 |
11
제10항에 있어서,상기 프로세서는 특성 정보(Attribute)의 평균과 표준 편차를 산출하고, 정규 분포와 조절된 가우시안 분포 간의 엔트로피 변화를 산출하는 시맨틱 코드 조절 모델을 이용하여, 상기 특성 정보에 무작위성을 증가시킨 시맨틱 코드를 생성하는 것을 특징으로 하는 제로샷 이미지 생성 장치
|
| 12 |
12
삭제
|
| 13 |
13
제10항에 있어서,상기 적대적 이미지 생성 모델은 생성 모델과 판별 모델이 상호 작용하는 적대적 생성 신경망에서 상기 생성 모델의 생성 손실 함수와 상기 판별 모델의 판별 손실 함수를 최적화하여, 처음 보는 클래스의 이미지를 생성하는 것을 특징으로 하는 제로샷 이미지 생성 장치
|
| 14 |
14
제10항에 있어서,상기 업샘플링 모델은 이미지의 열과 행에 픽셀을 추가하여 상기 이미지의 크기를 증가시키는 것을 특징으로 하는 제로샷 이미지 생성 장치
|
| 15 |
15
제10항에 있어서,상기 프로세서는 상기 제로샷 이미지를 생성하면, 제로샷 학습 모델은 상기 생성된 제로샷 이미지와 실재의 이미지를 입력받고 학습하여 처음 보는 클래스를 인식하는 것을 특징으로 하는 제로샷 이미지 생성 장치
|
