| 1 |
1
컨텐츠 영상(content image), 스타일 영상(style image) 및 하나 이상의 스타일 파라미터(style parameter)에 기초하여 상기 컨텐츠 영상의 스타일을 변환하는 영상 스타일 변환 모델을 학습시키는 모델 학습부; 및상기 컨텐츠 영상, 상기 컨텐츠 영상에 대한 스타일 변환 영상 및 상기 스타일 영상에 기초하여 변환 손실(loss)을 산출하는 손실 계산부를 포함하고,상기 하나 이상의 스타일 파라미터 각각의 값은, 상기 영상 스타일 변환 모델이 기 설정된 횟수만큼 반복하여 학습될 때마다 기 설정된 범위 내의 값 중에서 임의로 선택되고,상기 모델 학습부는, 상기 변환 손실에 기초하여 상기 영상 스타일 변환 모델을 학습시키고,상기 영상 스타일 변환 모델은,상기 컨텐츠 영상 및 상기 스타일 영상 각각으로부터 복수의 특징 벡터(feature vector)를 생성하는 하나 이상의 인코더;상기 하나 이상의 스타일 파라미터 및 상기 스타일 영상의 복수의 특징 벡터에 기초하여 상기 컨텐츠 영상의 복수의 특징 벡터 중 적어도 일부를 변환하는 하나 이상의 변환부; 및상기 변환된 특징 벡터와 상기 컨텐츠 영상의 복수의 특징 벡터 중 변환되지 않은 특징 벡터에 기초하여, 상기 스타일 변환 영상을 생성하는 하나 이상의 디코더를 포함하는, 영상 스타일 변환 모델 학습 장치
|
| 2 |
2
청구항 1에 있어서,상기 모델 학습부는, 상기 하나 이상의 스타일 파라미터의 값이 모두 상기 기 설정된 범위 내의 최소 값인 경우, 상기 영상 스타일 변환 모델이 상기 스타일 영상 대신 상기 컨텐츠 영상을 사용하도록 상기 영상 스타일 변환 모델을 학습시키는, 영상 스타일 변환 모델 학습 장치
|
| 3 |
3
삭제
|
| 4 |
4
청구항 1에 있어서,상기 하나 이상의 스타일 파라미터 각각의 값은, 독립적으로 선택되고,상기 하나 이상의 변환부는, 상기 하나 이상의 스타일 파라미터 중 각각 대응되는 스타일 파라미터의 값에 기초하여 상기 컨텐츠 영상의 복수의 특징 벡터 중 적어도 일부를 변환하는, 영상 스타일 변환 모델 학습 장치
|
| 5 |
5
청구항 1에 있어서,상기 하나 이상의 변환부는, 각각 상기 하나 이상의 인코더 중 대응되는 인코더에 의해 생성된 상기 컨텐츠 영상의 특징 벡터 및 상기 스타일 영상의 특징 벡터를 입력 받는, 영상 스타일 변환 모델 학습 장치
|
| 6 |
6
청구항 1에 있어서,상기 손실 계산부는, 컨텐츠 손실 및 스타일 손실에 기초하여 제1 손실을 산출하고, 상기 컨텐츠 영상 및 복원된 컨텐츠 영상에 기초하여 제2 손실을 산출하고, 상기 제1 손실 및 상기 제2 손실에 기초하여 상기 변환 손실을 산출하는, 영상 스타일 변환 모델 학습 장치
|
| 7 |
7
컨텐츠 영상, 스타일 영상 및 하나 이상의 스타일 파라미터에 대한 설정 값을 획득하는 입력부; 및상기 컨텐츠 영상, 상기 스타일 영상 및 상기 하나 이상의 스타일 파라미터에 대한 설정 값을 입력 데이터로 이용하는 사전 학습된 영상 스타일 변환 모델을 이용하여 상기 컨텐츠 영상에 대한 스타일 변환 영상을 생성하는 스타일 변환 영상 생성부를 포함하고,상기 하나 이상의 스타일 파라미터에 대한 설정 값은, 기 설정된 범위 내에서 선택된 값이고,상기 영상 스타일 변환 모델은,상기 컨텐츠 영상 및 상기 스타일 영상 각각으로부터 복수의 특징 벡터(feature vector)를 생성하는 하나 이상의 인코더;상기 하나 이상의 스타일 파라미터 및 상기 스타일 영상의 복수의 특징 벡터에 기초하여 상기 컨텐츠 영상의 복수의 특징 벡터 중 적어도 일부를 변환하는 하나 이상의 변환부; 및상기 변환된 특징 벡터와 상기 컨텐츠 영상의 복수의 특징 벡터 중 변환되지 않은 특징 벡터에 기초하여, 상기 스타일 변환 영상을 생성하는 하나 이상의 디코더를 포함하는, 영상 스타일 변환 모델 실행 장치
|
| 8 |
8
청구항 7에 있어서,상기 스타일 변환 영상 생성부는, 상기 하나 이상의 스타일 파라미터에 대한 설정 값이 모두 상기 기 설정된 범위 내의 최소 값인 경우, 상기 영상 스타일 변환 모델이 상기 스타일 영상 대신 상기 컨텐츠 영상을 사용하도록 제어하는, 영상 스타일 변환 모델 실행 장치
|
| 9 |
9
삭제
|
| 10 |
10
청구항 7에 있어서,상기 하나 이상의 스타일 파라미터에 대한 설정 값은, 독립적으로 선택되고,상기 하나 이상의 변환부는, 상기 하나 이상의 스타일 파라미터 중 각각 대응되는 스타일 파라미터에 대한 설정 값에 기초하여 상기 컨텐츠 영상의 복수의 특징 벡터 중 적어도 일부를 변환하는, 영상 스타일 변환 모델 실행 장치
|
| 11 |
11
청구항 7에 있어서,상기 하나 이상의 변환부는, 각각 상기 하나 이상의 인코더 중 대응되는 인코더에 의해 생성된 상기 컨텐츠 영상의 특징 벡터 및 상기 스타일 영상의 특징 벡터를 입력 받는, 영상 스타일 변환 모델 실행 장치
|
| 12 |
12
컨텐츠 영상, 스타일 영상 및 하나 이상의 스타일 파라미터 각각의 값을 포함하는 입력 데이터를 영상 스타일 변환 모델에 입력하는 단계;상기 입력 데이터에 기초하여 상기 영상 스타일 변환 모델에 의해 생성된 스타일 변환 영상, 상기 컨텐츠 영상 및 상기 스타일 영상에 기초하여 변환 손실을 산출하는 단계; 및상기 변환 손실에 기초하여 상기 영상 스타일 변환 모델의 학습 파라미터를 학습시키는 단계를 포함하고,상기 입력하는 단계, 상기 학습시키는 단계 및 상기 산출하는 단계는 기 설정된 조건이 만족될 때까지 반복 수행되고, 상기 하나 이상의 스타일 파라미터 각각의 값은, 상기 반복 수행 시마다, 기 설정된 범위 내의 값 중에서 임의로 선택되고,상기 영상 스타일 변환 모델은,상기 컨텐츠 영상 및 상기 스타일 영상 각각으로부터 복수의 특징 벡터(feature vector)를 생성하는 하나 이상의 인코더;상기 하나 이상의 스타일 파라미터 및 상기 스타일 영상의 복수의 특징 벡터에 기초하여 상기 컨텐츠 영상의 복수의 특징 벡터 중 적어도 일부를 변환하는 하나 이상의 변환부; 및상기 변환된 특징 벡터와 상기 컨텐츠 영상의 복수의 특징 벡터 중 변환되지 않은 특징 벡터에 기초하여, 상기 컨텐츠 영상에 대한 스타일 변환 영상을 생성하는 하나 이상의 디코더를 포함하는, 영상 스타일 변환 모델 학습 방법
|
| 13 |
13
청구항 12에 있어서,상기 학습시키는 단계는, 상기 하나 이상의 스타일 파라미터 각각의 값이 모두 상기 기 설정된 범위 내의 최소 값인 경우, 상기 영상 스타일 변환 모델이 상기 스타일 영상 대신 상기 컨텐츠 영상을 사용하도록 상기 영상 스타일 변환 모델을 학습시키는, 영상 스타일 변환 모델 학습 방법
|
| 14 |
14
삭제
|
| 15 |
15
청구항 12에 있어서,상기 하나 이상의 스타일 파라미터 각각의 값은, 독립적으로 선택되고,상기 하나 이상의 변환부는, 상기 하나 이상의 스타일 파라미터 중 각각 대응되는 스타일 파라미터의 값에 기초하여 상기 컨텐츠 영상의 복수의 특징 벡터 중 적어도 일부를 변환하는, 영상 스타일 변환 모델 학습 방법
|
| 16 |
16
청구항 12에 있어서,상기 하나 이상의 변환부는, 각각 상기 하나 이상의 인코더 중 대응되는 인코더에 의해 생성된 상기 컨텐츠 영상의 특징 벡터 및 상기 스타일 영상의 특징 벡터를 입력 받는, 영상 스타일 변환 모델 학습 방법
|
| 17 |
17
청구항 12에 있어서,상기 산출하는 단계는, 컨텐츠 손실 및 스타일 손실에 기초하여 제1 손실을 산출하고, 상기 컨텐츠 영상 및 복원된 컨텐츠 영상에 기초하여 제2 손실을 산출하고, 상기 제1 손실 및 상기 제2 손실에 기초하여 상기 변환 손실을 산출하는, 영상 스타일 변환 모델 학습 방법
|
| 18 |
18
컨텐츠 영상, 스타일 영상 및 하나 이상의 스타일 파라미터에 대한 설정 값을 획득하는 단계; 및상기 컨텐츠 영상, 상기 스타일 영상 및 상기 하나 이상의 스타일 파라미터에 대한 설정 값을 입력 데이터로 이용하는 사전 학습된 영상 스타일 변환 모델을 이용하여 상기 컨텐츠 영상에 대한 스타일 변환 영상을 생성하는 단계를 포함하고,상기 하나 이상의 스타일 파라미터에 대한 설정 값은, 기 설정된 범위 내에서 선택된 값이고,상기 영상 스타일 변환 모델은,상기 컨텐츠 영상 및 상기 스타일 영상 각각으로부터 복수의 특징 벡터(feature vector)를 생성하는 하나 이상의 인코더;상기 하나 이상의 스타일 파라미터 및 상기 스타일 영상의 복수의 특징 벡터에 기초하여 상기 컨텐츠 영상의 복수의 특징 벡터 중 적어도 일부를 변환하는 하나 이상의 변환부; 및상기 변환된 특징 벡터와 상기 컨텐츠 영상의 복수의 특징 벡터 중 변환되지 않은 특징 벡터에 기초하여, 상기 컨텐츠 영상에 대한 스타일 변환 영상을 생성하는 하나 이상의 디코더를 포함하는, 영상 스타일 변환 모델 실행 방법
|
| 19 |
19
청구항 18에 있어서,상기 생성하는 단계는, 상기 하나 이상의 스타일 파라미터에 대한 설정 값이 모두 상기 기 설정된 범위 내의 최소 값인 경우, 상기 영상 스타일 변환 모델이 상기 스타일 영상 대신 상기 컨텐츠 영상을 사용하도록 제어하는, 영상 스타일 변환 모델 실행 방법
|
| 20 |
20
삭제
|
| 21 |
21
청구항 18에 있어서,상기 하나 이상의 스타일 파라미터에 대한 설정 값은, 독립적으로 선택되고,상기 하나 이상의 변환부는, 상기 하나 이상의 스타일 파라미터 중 각각 대응되는 스타일 파라미터에 대한 설정 값에 기초하여 상기 컨텐츠 영상의 복수의 특징 벡터 중 적어도 일부를 변환하는, 영상 스타일 변환 모델 실행 방법
|
| 22 |
22
청구항 18에 있어서,상기 하나 이상의 변환부는, 각각 상기 하나 이상의 인코더 중 대응되는 인코더에 의해 생성된 상기 컨텐츠 영상의 특징 벡터 및 상기 스타일 영상의 특징 벡터를 입력 받는, 영상 스타일 변환 모델 실행 방법
|
