| 1 |
1
컴퓨팅 장치에 의해 수행되는 합성 노이즈 이미지 생성 방법에 있어서,클린 이미지 및 레퍼런스 노이즈 이미지를 수신하는 단계;상기 레퍼런스 노이즈 이미지를 미리 학습된 제1 분류 신경망에 입력하여 상기 레퍼런스 노이즈 이미지에 대한 노이즈 임베딩을 생성하는 단계; 및상기 클린 이미지 및 상기 노이즈 임베딩을 미리 학습된 생성 신경망에 입력하여 상기 클린 이미지에 대한 합성 노이즈 이미지를 생성하는 단계를 포함하는, 합성 노이즈 이미지 생성 방법
|
| 2 |
2
제1 항에 있어서,상기 합성 노이즈 이미지에 대한 노이즈 분포가 상기 레퍼런스 노이즈 이미지에 대한 노이즈 분포와 동일한 것을 특징으로 하는 합성 노이즈 이미지 생성 방법
|
| 3 |
3
제1 항에 있어서,상기 제1 분류 신경망을 학습시키는 단계를 더 포함하고,상기 제1 분류 신경망을 학습시키는 단계는,제1 학습 이미지 및 상기 제1 학습 이미지와 동일한 노이즈 분포를 가진 제2 학습 이미지를 제1 분류 신경망에 입력하여 상기 제1 학습 이미지에 대한 제1 노이즈 임베딩 및 상기 제2 학습 이미지에 대한 제2 노이즈 임베딩을 생성하는 단계; 및상기 제1 노이즈 임베딩과 상기 제2 노이즈 임베딩간의 대조적 손실(contrastive loss)이 최소화되도록 상기 제1 분류 신경망을 학습시키는 단계를 포함하는 합성 노이즈 이미지 생성 방법
|
| 4 |
4
제1 항에 있어서,상기 생성 신경망을 학습시키는 단계를 더 포함하고,상기 생성 신경망을 학습시키는 단계는,상기 생성 신경망이 생성한 합성 노이즈 이미지 및 상기 합성 노이즈 이미지와 동일한 노이즈 분포를 가진 제3 학습 이미지를 상기 제1 분류 신경망에 입력하여 상기 제3 학습 이미지에 대한 제3 노이즈 임베딩 및 상기 합성 노이즈 이미지에 대한 제4 노이즈 임베딩을 생성하는 단계; 및상기 제3 노이즈 임베딩과 상기 제4 노이즈 임베딩간의 대조적 손실(contrastive loss)이 최소화되도록 상기 생성 신경망을 학습시키는 단계를 포함하는 합성 노이즈 이미지 생성 방법
|
| 5 |
5
제1 항에 있어서,제2 분류 신경망을 이용한 적대적 학습(adversarial training)에 기초하여 상기 생성 신경망을 학습시키는 단계를 더 포함하는 합성 노이즈 이미지 생성 방법
|
| 6 |
6
제5 항에 있어서,상기 제2 분류 신경망을 이용한 적대적 학습(adversarial training)에 기초하여 상기 생성 신경망을 학습시키는 단계는,제1 클린 이미지 및 제1 레퍼런스 노이즈 이미지에 대한 노이즈 임베딩을 상기 생성 신경망에 입력하여 합성 노이즈 이미지를 생성하는 단계;상기 제1 클린 이미지, 상기 제1 레퍼런스 노이즈 이미지에 대한 노이즈 임베딩 및 상기 합성 노이즈 이미지를 상기 제2 분류 신경망에 입력하여 상기 합성 노이즈 이미지에 대한 분류 결과를 생성하는 단계; 상기 분류 결과에 기초하여 상기 생성 신경망에 대한 적대적 손실(adversarial loss)이 최소화되도록 상기 생성 신경망을 학습시키는 단계; 및상기 분류 결과에 기초하여 상기 제2 분류 신경망에 대한 적대적 손실(adversarial loss)이 최소화되도록 상기 제2 분류 신경망을 학습시키는 단계를 포함하는 합성 노이즈 이미지 생성 방법
|
| 7 |
7
제1 항에 있어서,상기 생성 신경망을 학습시키는 단계를 더 포함하고,상기 생성 신경망을 학습시키는 단계는, 하기 수학식에 따라 노이즈 특징 매칭 손실()을 결정하는 단계; 및상기 노이즈 특징 매칭 손실()이 최소화되도록 상기 생성 신경망을 학습시키는 단계를 포함하며,는 클린 이미지의 노이즈 이미지()에 대한 노이즈 임베딩 생성과정 중 풀링 레이어 이전의 중간 특징 맵(intermediate feature map)이고, 는 합성 노이즈 이미지()에 대한 노이즈 임베딩 생성과정 중 풀링 레이어 이전의 중간 특징 맵(intermediate feature map)인 것을 특징으로 하는 합성 노이즈 이미지 생성 방법
|
| 8 |
8
제7 항에 있어서,상기 생성 신경망을 학습시키는 단계는,하기 수학식에 따라 GAN 특징 매칭 손실()을 결정하는 단계; 및상기 GAN 특징 매칭 손실()이 최소되하도록 상기 생성 신경망을 학습시키는 단계를 포함하며,는 클린 이미지의 노이즈 이미지()에 대한 제2 분류 신경망의 출력 값 생성과정 중 마지막 컨볼루션 레이어 이전의 특징 맵(feature maps before the last convolution layer)이고, 는 합성 노이즈 이미지()에 대한 제2 분류 신경망의 출력 값 생성과정 중 마지막 컨볼루션 레이어 이전의 특징 맵(feature maps before the last convolution layer)인 것을 특징으로 하는 합성 노이즈 이미지 생성 방법
|
| 9 |
9
제8 항에 있어서,상기 생성 신경망을 학습시키는 단계는,에 따라 재구성 손실()을 결정하는 단계;상기 재구성 손실()이 최소화되도록 상기 생성 신경망을 학습시키는 단계를 포함하며,는 클린 이미지의 노이즈 이미지()에 대한 가우시안 필터(Gaussian filter)의 출력 값이고, 는 합성 노이즈 이미지()에 대한 가우시안 필터(Gaussian filter)의 출력 값인 것을 특징으로 하는 합성 노이즈 이미지 생성 방법
|
| 10 |
10
제9 항에 있어서,상기 생성 신경망을 학습시키는 단계는,상기 노이즈 특징 매칭 손실(), 상기 GAN 특징 매칭 손실() 및 상기 재구성 손실()에 기초하여 가 최소화되도록 상기 생성 신경망을 학습시키는 단계를 포함하며,, , 은 각각 상기 노이즈 특징 매칭 손실(), 상기 GAN 특징 매칭 손실() 및 상기 재구성 손실() 간의 스케일을 조정하는 초모수(hyperparameter)인 것을 특징으로 하는 가상 노이즈 이미지 생성 방법
|
