| 1 |
1
사용자로부터 입력되는 입력 이미지와 스타일 이미지를 확인하여 멀티스케일의 특징 벡터를 추출하는 제1 단계;상기 멀티스케일의 특징 벡터들을 동일한 사이즈로 크기를 조정하여 상기 특징 벡터를 변형하거나 각각의 특징 벡터들을 변형 후 합치는 제2 단계; 및상기 특징 벡터의 크기를 조절해서 변형된 특징 벡터들을 이용하여 상기 멀티스케일이 적용된 출력이미지를 생성하는 제3 단계를 포함하는 단일 피드 포워드 네트워크를 이용한 이미지 스타일 변환 방법
|
| 2 |
2
제 1 항에 있어서,상기 제2 단계는,상기 멀티스케일의 특징 벡터 중 가장 큰 특징 벡터의 크기를 기준으로 각 특징 벡터의 사이즈를 동일한 크기로 조절하는 단계; 및상기 동일한 크기의 특징 벡터를 채널 축으로 합치는 단계를 포함하는 단일 피드 포워드 네트워크를 이용한 이미지 스타일 변환 방법
|
| 3 |
3
제 1 항에 있어서,상기 제2 단계는,상기 특징 벡터 들의 평균과 분산이 적용된 상관 매트릭스를 산출하는 단계; 및상기 상관 매트릭스를 토대로 상기 멀티스케일의 특징 벡터들 각각을 변형하여 합치는 단계를 포함하는 단일 피드 포워드 네트워크를 이용한 이미지 스타일 변환 방법
|
| 4 |
4
제 1 항에 있어서,상기 제2 단계는,상기 채널 축으로 합쳐진 특징 벡터를 변에 AdaIN, WCT(Whitening Coloring Transformer) 또는 decorator 중 적어도 어느 하나를 적용하여 상기 특징 벡터의 분포를 변형하는 단계를 더 포함하는 단일 피드 포워드 네트워크를 이용한 이미지 스타일 변환 방법
|
| 5 |
5
제 1 항에 있어서,상기 제3 단계는,상기 입력 이미지 대비 상기 출력 이미지의 스타일 로스를 산출하는 단계를 포함하고,상기 스타일 로스는,상기 특징 벡터 들의 평균과 분산 매트릭스의 L2 Loss인 것을 특징으로 하는 단일 피드 포워드 네트워크를 이용한 이미지 스타일 변환 방법
|
| 6 |
6
제 2 항에 있어서,상기 제3 단계는,상기 스타일 로스를 산출 시,상기 멀티스케일 특징 벡터는 각 스케일의 평균과 공분산 행렬들의 L2 로스로서, 싱글 스케일 스타일의 변형 후 상기 스타일 로스를 산출하는 것을 특징으로 하는 단일 피드 포워드 네트워크를 이용한 이미지 스타일 변환 방법
|
| 7 |
7
제 3 항에 있어서,상기 제3 단계는,상기 스타일 로스를 산출 시,상기 멀티스케일 특징 벡터는 각 스케일의 평균과 공분산 행렬들의 L2 로스로서, 상기 특징 벡터의 크기를 조절하여 채널 축으로 합쳐진 특징 벡터의 평균과 공분산 행렬들의 L2 로스를 계산하여 상기 스타일 로스를 산출하는 것을 특징으로 하는 단일 피드 포워드 네트워크를 이용한 이미지 스타일 변환 방법
|
| 8 |
8
제 1 항 내지 제 7 항 중 어느 한 항에 있어서,상기 멀티스케일 특징 벡터의 변형은,단일 피드 포워드 방식의 순차적인 구조에 처리 과정마다 공백을 두고, 상기 공백을 더하여 대칭되는 거울(mirrored) 구조로 변형을 수행하는 스킵 커넥션 방식으로 컨벌루션 신경망(CNN: Convolution Neural Network) 레이어를 배열하는 것을 특징으로 하는 단일 피드 포워드 네트워크를 이용한 이미지 스타일 변환 방법
|
