| 1 |
1
하나 이상의 프로세서들, 및상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치에서 수행되는 방법으로서, 컨텐츠 이미지 및 대상 이미지를 입력 받고, 인공 신경망을 통해 상기 컨텐츠 이미지로부터 컨텐츠 특징맵을 추출하며 상기 대상 이미지로부터 대상 특징맵을 추출하는 단계;상기 컨텐츠 특징맵 및 상기 대상 특징맵의 각 특징값을 정렬하는 단계;상기 정렬된 컨텐츠 특징맵 및 상기 정렬된 대상 특징맵에 대해 각각 컨텐츠 인덱스 및 대상 인덱스를 생성하는 단계; 및상기 정렬된 대상 특징맵과 상기 컨텐츠 인덱스에 기반하여 상기 컨텐츠 이미지의 스타일을 상기 대상 이미지의 스타일로 변환하기 위한 스타일 변환 특징맵을 생성하는 단계를 포함하며,상기 컨텐츠 인덱스를 생성하는 단계는, 상기 정렬된 컨텐츠 특징맵에 대해 상기 컨텐츠 특징맵의 정렬 전 각 특징값의 좌표를 대응시켜 컨텐츠 인덱스를 생성하고, 상기 대상 인덱스를 생성하는 단계는, 상기 정렬된 대상 특징맵에 대해 상기 대상 특징맵의 정렬 전 각 특징값의 좌표를 대응시켜 대상 인덱스를 생성하는, 이미지 스타일 전이 방법
|
| 2 |
2
삭제
|
| 3 |
3
청구항 1에 있어서, 상기 컨텐츠 특징맵 및 상기 대상 특징맵은 각각, C×H×W(C는 인공 신경망의 채널 수, H는 컨텐츠 이미지 및 대상 이미지의 높이(Height), W는 컨텐츠 이미지 및 대상 이미지의 폭(Widht))의 텐서(tensor)로 이루어지며, 상기 정렬하는 단계는, 상기 컨텐츠 특징맵 및 상기 대상 특징맵의 각 채널별로 특징값들을 크기에 따라 정렬하고, 상기 컨텐츠 인덱스를 생성하는 단계는, 정렬된 채널별 컨텐츠 특징값들에 대해 채널별로 컨텐츠 인덱스를 생성하며,상기 대상 인덱스를 생성하는 단계는, 정렬된 채널별 대상 특징값들에 대해 채널별로 대상 인덱스를 생성하는, 이미지 스타일 전이 방법
|
| 4 |
4
청구항 3에 있어서, 상기 정렬하는 단계는, 복수 개의 이웃 필터(neighborhood filter)를 상기 컨텐츠 특징맵 및 상기 대상 특징맵의 각 채널별로 순차적으로 적용하는 단계를 포함하는, 이미지 스타일 전이 방법
|
| 5 |
5
청구항 4에 있어서, 상기 이웃 필터는, 상기 이웃 필터의 중심에 해당하는 픽셀의 값을 상기 이웃 필터가 적용되는 픽셀들의 평균 값으로 변경해주는 것인, 이미지 스타일 전이 방법
|
| 6 |
6
청구항 5에 있어서, 상기 복수 개의 이웃 필터는, 상기 컨텐츠 특징맵 및 상기 대상 특징맵의 각 채널에서 소정 픽셀의 특징값을 변경하기 위한 픽셀의 적용 범위 및 상기 적용 범위 내 특징값의 적용 개수 중 하나 이상이 서로 다르게 마련되는, 이미지 스타일 전이 방법
|
| 7 |
7
청구항 6에 있어서, 상기 정렬하는 단계는, 상기 컨텐츠 특징맵 및 상기 대상 특징맵의 각 채널 별로 상기 복수 개의 이웃 필터들 중 상기 픽셀의 적용 범위 및 상기 특징값의 적용 개수가 큰 것부터 작은 것의 순서로 순차적으로 적용하는, 이미지 스타일 전이 방법
|
| 8 |
8
청구항 3에 있어서, 상기 스타일 변환 특징맵을 생성하는 단계는,상기 정렬된 채널별 대상 특징값을 그에 대응하는 채널의 컨텐츠 인덱스의 좌표값에 따라 재배치하여 채널별 스타일 변환 특징값을 생성하는 단계; 및상기 채널별 스타일 변환 특징값에 채널 간 상관 관계성을 고려하여 스타일 변환 특징맵을 생성하는 단계를 포함하는, 이미지 스타일 전이 방법
|
| 9 |
9
청구항 8에 있어서, 상기 채널 간 상관 관계성을 고려하여 스타일 변환 특징맵을 생성하는 단계는 하기의 수학식 1 및 수학식 2를 통해 수행되는, 이미지 스타일 전이 방법
|
| 10 |
10
하나 이상의 프로세서들, 및상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 이미지 스타일 전이 장치로서,컨텐츠 이미지 및 대상 이미지를 입력 받고, 인공 신경망을 통해 상기 컨텐츠 이미지로부터 컨텐츠 특징맵을 추출하며 상기 대상 이미지로부터 대상 특징맵을 추출하는 특징 추출 모듈;상기 컨텐츠 특징맵 및 상기 대상 특징맵의 각 특징값을 정렬하고, 상기 정렬된 컨텐츠 특징맵 및 상기 정렬된 대상 특징맵에 대해 각각 컨텐츠 인덱스 및 대상 인덱스를 생성하는 정렬 모듈; 및상기 정렬된 대상 특징맵과 상기 컨텐츠 인덱스에 기반하여 상기 컨텐츠 이미지의 스타일을 상기 대상 이미지의 스타일로 변환하기 위한 스타일 변환 특징맵을 생성하는 변환 모듈을 포함하고,상기 정렬 모듈은, 상기 정렬된 컨텐츠 특징맵에 대해 상기 컨텐츠 특징맵의 정렬 전 각 특징값의 좌표를 대응시켜 컨텐츠 인덱스를 생성하고, 상기 정렬된 대상 특징맵에 대해 상기 대상 특징맵의 정렬 전 각 특징값의 좌표를 대응시켜 대상 인덱스를 생성하는, 이미지 스타일 전이 장치
|
| 11 |
11
삭제
|
| 12 |
12
청구항 10에 있어서, 상기 컨텐츠 특징맵 및 상기 대상 특징맵은 각각, C×H×W(C는 인공 신경망의 채널 수, H는 컨텐츠 이미지 및 대상 이미지의 높이(Height), W는 컨텐츠 이미지 및 대상 이미지의 폭(Widht))의 텐서(tensor)로 이루어지며, 상기 정렬 모듈은, 상기 컨텐츠 특징맵 및 상기 대상 특징맵의 각 채널별로 특징값들을 크기에 따라 정렬하고, 정렬된 채널별 컨텐츠 특징값들에 대해 채널별로 컨텐츠 인덱스를 생성하며, 정렬된 채널별 대상 특징값들에 대해 채널별로 대상 인덱스를 생성하는, 이미지 스타일 전이 장치
|
| 13 |
13
청구항 12에 있어서, 상기 정렬 모듈은, 복수 개의 이웃 필터(neighborhood filter)를 상기 컨텐츠 특징맵 및 상기 대상 특징맵의 각 채널별로 순차적으로 적용하여 정렬하는, 이미지 스타일 전이 장치
|
| 14 |
14
청구항 13에 있어서, 상기 이웃 필터는, 상기 이웃 필터의 중심에 해당하는 픽셀의 값을 상기 이웃 필터가 적용되는 픽셀들의 평균 값으로 변경해주는 것인, 이미지 스타일 전이 장치
|
| 15 |
15
청구항 14에 있어서, 상기 복수 개의 이웃 필터는, 상기 컨텐츠 특징맵 및 상기 대상 특징맵의 각 채널에서 소정 픽셀의 특징값을 변경하기 위한 픽셀의 적용 범위 및 상기 적용 범위 내 특징값의 적용 개수 중 하나 이상이 서로 다르게 마련되는, 이미지 스타일 전이 장치
|
| 16 |
16
청구항 15에 있어서, 상기 정렬 모듈은, 상기 컨텐츠 특징맵 및 상기 대상 특징맵의 각 채널 별로 상기 복수 개의 이웃 필터들 중 상기 픽셀의 적용 범위 및 상기 특징값의 적용 개수가 큰 것부터 작은 것의 순서로 순차적으로 적용하여 정렬하는, 이미지 스타일 전이 장치
|
| 17 |
17
청구항 12에 있어서, 상기 변환 모듈은, 상기 정렬된 채널별 대상 특징값을 그에 대응하는 채널의 컨텐츠 인덱스의 좌표값에 따라 재배치하여 채널별 스타일 변환 특징값을 생성하는, 이미지 스타일 전이 장치
|
| 18 |
18
청구항 17에 있어서, 상기 변환 모듈은, 상기 채널별 스타일 변환 특징값에 채널 간 상관 관계성을 고려하여 스타일 변환 특징맵을 생성하고, 상기 생성한 스타일 변환 특징맵에 기반하여 스타일 변환 이미지를 생성하는, 이미지 스타일 전이 장치
|
| 19 |
19
청구항 18에 있어서, 상기 변환 모듈은, 하기의 수학식 1 및 수학식 2를 통해 상기 채널 간 상관 관계성을 고려하여 스타일 변환 특징맵을 생성하는, 이미지 스타일 전이 장치
|
| 20 |
20
비일시적 컴퓨터 판독 가능한 저장 매체(non-transitory computer readable storage medium)에 저장된 컴퓨터 프로그램으로서, 상기 컴퓨터 프로그램은 하나 이상의 명령어들을 포함하고, 상기 명령어들은 하나 이상의 프로세서들을 갖는 컴퓨팅 장치에 의해 실행될 때, 상기 컴퓨팅 장치로 하여금, 컨텐츠 이미지 및 대상 이미지를 입력 받고, 인공 신경망을 통해 상기 컨텐츠 이미지로부터 컨텐츠 특징맵을 추출하며 상기 대상 이미지로부터 대상 특징맵을 추출하는 단계;상기 컨텐츠 특징맵 및 상기 대상 특징맵의 각 특징값을 정렬하는 단계;상기 정렬된 컨텐츠 특징맵 및 상기 정렬된 대상 특징맵에 대해 각각 컨텐츠 인덱스 및 대상 인덱스를 생성하는 단계; 및상기 정렬된 대상 특징맵과 상기 컨텐츠 인덱스에 기반하여 상기 컨텐츠 이미지의 스타일을 상기 대상 이미지의 스타일로 변환하기 위한 스타일 변환 특징맵을 생성하는 단계를 수행하도록 하며,상기 컨텐츠 인덱스를 생성하는 단계는, 상기 정렬된 컨텐츠 특징맵에 대해 상기 컨텐츠 특징맵의 정렬 전 각 특징값의 좌표를 대응시켜 컨텐츠 인덱스를 생성하고, 상기 대상 인덱스를 생성하는 단계는, 상기 정렬된 대상 특징맵에 대해 상기 대상 특징맵의 정렬 전 각 특징값의 좌표를 대응시켜 대상 인덱스를 생성하는, 컴퓨터 프로그램
|
