| 1 |
1
감정 표현 영상 생성을 위한 텍스트를 입력받고, 입력된 텍스트에 대해 임베딩(Embedding)을 수행하여 벡터 정보를 추출하며, 추출된 벡터 정보를 기반으로 이미지를 생성하는 제1 생성적 적대 신경망(GAN; Generative Adversarial Networks); 및감정 표현 이미지 및 비교 영상의 프레임을 입력받고, 이로부터 감정 표현 영상의 프레임을 생성하는 제2 생성적 적대 신경망을 포함하는, 감정 표현 영상 생성을 위한 학습 장치
|
| 2 |
2
청구항 1에 있어서,상기 제1 생성적 적대 신경망은,상기 입력된 텍스트에 대한 임베딩을 수행하여 벡터 정보를 추출하며, 상기 추출된 벡터 정보를 디컨벌루션(deconvolution) 신경망에 입력시켜 이미지를 생성하는 제1 생성자; 및상기 제1 생성자로부터 생성된 이미지를 기 설정된 비교 이미지와 비교하고, 상기 비교 결과에 따라 입력된 이미지가 비교 이미지인지 또는 생성된 이미지인지의 여부를 판단하며, 상기 판단 결과를 상기 제1 생성자로 피드백하는 제1 판별자를 포함하는, 감정 표현 영상 생성을 위한 학습 장치
|
| 3 |
3
청구항 2에 있어서,상기 제1 판별자는,상기 제1 생성자로부터 생성된 이미지를 컨벌루션(convolution) 신경망에 입력시켜 상기 비교 이미지와의 유사도를 산출하여 비교하는, 감정 표현 영상 생성을 위한 학습 장치
|
| 4 |
4
청구항 1에 있어서,상기 제2 생성적 적대 신경망은,상기 감정 표현 이미지 및 비교 영상 프레임을 입력받고, 상기 감정 표현 이미지 및 상기 비교 영상 프레임으로부터 상기 감정 표현 이미지의 감정 표현에 대한 상기 비교 영상 프레임의 감정 표현 변화도를 산출하며, 상기 감정 표현 이미지 및 상기 산출된 감정 표현 변화도를 이용하여 상기 감정 표현 영상의 프레임을 생성하는 제2 생성자; 및상기 제2 생성자로부터 생성된 감정 표현 영상의 프레임을 기 설정된 비교 영상의 프레임과 비교하고, 상기 비교 결과에 따라 입력된 이미지가 비교 영상의 프레임인지 또는 감정 표현 영상의 프레임인지를 판단하며, 상기 판단 결과를 상기 제2 생성자로 피드백하는 제2 판별자를 포함하는, 감정 표현 영상 생성을 위한 학습 장치
|
| 5 |
5
청구항 4에 있어서,상기 감정 표현 이미지는, 상기 텍스트에 포함된 감정 요소에 따라 감정 클래스로 분류된 이미지이며,상기 감정 클래스는, 행복, 슬픔, 놀람, 두려움, 화남, 경멸 및 역겨움 중 적어도 하나를 포함하는, 감정 표현 영상 생성을 위한 학습 장치
|
| 6 |
6
청구항 5에 있어서,상기 제2 생성자는,상기 감정 표현 이미지에 대한 벡터 정보를 추출하여 상기 제1 특징값을 산출하고, 상기 감정 표현 이미지의 감정 표현이 변화할 방향에 대한 벡터 정보를 추출하여 상기 제2 특징값을 산출하고, 상기 비교 이미지에 대한 벡터 정보를 추출하여 상기 제3 특징값을 산출하는 인코더부;상기 제1 특징값, 상기 제2 특징값 및 상기 제3 특징값을 기반으로 상기 감정 표현 변화 정도를 산출하고, 상기 제1 특징값, 상기 제2 특징값 및 상기 감정 표현 변화 정도를 이용하여 최종 특징값을 산출하는 변환부; 및상기 최종 특징값을 기반으로 상기 감정 표현 영상의 프레임을 생성하는 디코더부를 포함하는 오토인코더(Autoencoder)를 포함하는, 감정 표현 영상 생성을 위한 학습 장치
|
| 7 |
7
하나 이상의 프로세서들, 및상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치에서 수행되는 감정 표현 영상 생성을 위한 학습 방법으로서, 제1 생성적 적대 신경망(GAN; Generative Adversarial Networks)에서, 감정 표현 영상 생성을 위한 텍스트를 입력받고, 입력된 텍스트에 대해 임베딩(Embedding)을 수행하여 벡터 정보를 추출하며, 추출된 벡터 정보를 기반으로 이미지를 생성하는 단계; 및제2 생성적 적대 신경망에서, 감정 표현 이미지 및 비교 영상의 프레임을 입력받고, 이로부터 감정 표현 영상의 프레임을 생성하는 단계를 포함하는, 감정 표현 영상 생성을 위한 학습 방법
|
| 8 |
8
청구항 7에 있어서,상기 이미지를 생성하는 단계는,제1 생성자가, 상기 입력된 텍스트에 대한 임베딩을 수행하여 벡터 정보를 추출하며, 상기 추출된 벡터 정보를 디컨벌루션(deconvolution) 신경망에 입력시켜 이미지를 생성하는 단계; 및제1 판별자가, 상기 제1 생성자로부터 생성된 이미지를 기 설정된 비교 이미지와 비교하고, 상기 비교 결과에 따라 입력된 이미지가 비교 이미지인지 또는 생성된 이미지인지의 여부를 판단하며, 상기 판단 결과를 상기 제1 생성자로 피드백하는 단계를 포함하는, 감정 표현 영상 생성을 위한 학습 방법
|
| 9 |
9
청구항 8에 있어서,상기 제1 판별자는,상기 제1 생성자로부터 생성된 이미지를 컨벌루션(convolution) 신경망에 입력시켜 상기 비교 이미지와의 유사도를 산출하여 비교하는, 감정 표현 영상 생성을 위한 학습 방법
|
| 10 |
10
청구항 7에 있어서,상기 감정 표현 영상의 프레임을 생성하는 단계는,제2 생성자가, 상기 감정 표현 이미지 및 비교 영상 프레임을 입력받고, 상기 감정 표현 이미지 및 상기 비교 영상 프레임으로부터 상기 감정 표현 이미지의 감정 표현에 대한 상기 비교 영상 프레임의 감정 표현 변화도를 산출하며, 상기 감정 표현 이미지 및 상기 산출된 감정 표현 변화도를 이용하여 상기 감정 표현 영상의 프레임을 생성하는 단계; 및제2 판별자가, 상기 제2 생성자로부터 생성된 감정 표현 영상의 프레임을 기 설정된 비교 영상의 프레임과 비교하고, 상기 비교 결과에 따라 입력된 이미지가 비교 영상의 프레임인지 또는 감정 표현 영상의 프레임인지를 판단하며, 상기 판단 결과를 상기 제2 생성자로 피드백하는 단계를 포함하는, 감정 표현 영상 생성을 위한 학습 방법
|
| 11 |
11
청구항 10에 있어서,상기 감정 표현 이미지는, 상기 텍스트에 포함된 감정 요소에 따라 감정 클래스로 분류된 이미지이며,상기 감정 클래스는, 행복, 슬픔, 놀람, 두려움, 화남, 경멸 및 역겨움 중 적어도 하나를 포함하는, 감정 표현 영상 생성을 위한 학습 방법
|
| 12 |
12
청구항 11에 있어서,상기 제2 생성자는,상기 감정 표현 이미지에 대한 벡터 정보를 추출하여 상기 제1 특징값을 산출하고, 상기 감정 표현 이미지의 감정 표현이 변화할 방향에 대한 벡터 정보를 추출하여 상기 제2 특징값을 산출하고, 상기 비교 이미지에 대한 벡터 정보를 추출하여 상기 제3 특징값을 산출하는 인코더부;상기 제1 특징값, 상기 제2 특징값 및 상기 제3 특징값을 기반으로 상기 감정 표현 변화 정도를 산출하고, 상기 제1 특징값, 상기 제2 특징값 및 상기 감정 표현 변화 정도를 이용하여 최종 특징값을 산출하는 변환부; 및상기 최종 특징값을 기반으로 상기 감정 표현 영상의 프레임을 생성하는 디코더부;를 포함하는 오토인코더(Autoencoder)를 포함하는, 감정 표현 영상 생성을 위한 학습 방법
|
| 13 |
13
감정 표현 영상 생성을 위한 텍스트를 입력받고, 입력된 텍스트에 대해 임베딩(Embedding)을 수행하여 벡터 정보를 추출하며, 추출된 벡터 정보를 기반으로 이미지를 생성하는 제1 생성적 적대 신경망(GAN; Generative Adversarial Networks);상기 텍스트를 입력받고, 입력된 텍스트에 포함된 감정 요소에 따라 감정 클래스를 분류하는 분류기; 및상기 제1 GAN에서 생성된 이미지 및 상기 분류기에 의하여 분류된 감정 클래스를 입력받고, 이로부터 감정 표현 영상의 프레임을 생성하는 제2 생성적 적대 신경망을 포함하는, 감정 표현 영상 생성 장치
|
| 14 |
14
청구항 13에 있어서,상기 제2 생성적 적대 신경망은,상기 분류기에 의하여 분류된 감정 클래스에 대응하는 감정 표현 변화도를 추출하고, 상기 제1 GAN에서 생성된 이미지 및 상기 감정 표현 변화도를 이용하여 상기 감정 표현 영상의 프레임을 생성하는, 감정 표현 영상 생성 장치
|
| 15 |
15
청구항 14에 있어서,상기 감정 표현 이미지는, 상기 텍스트에 포함된 감정 요소에 따라 감정 클래스로 분류된 이미지이며,상기 감정 클래스는, 행복, 슬픔, 놀람, 두려움, 화남, 경멸 및 역겨움 중 적어도 하나를 포함하는, 감정 표현 영상 생성 장치
|
| 16 |
16
청구항 13에 있어서,상기 제2 생성적 적대 신경망은,상기 감정 표현 영상의 프레임 이후의 적어도 하나의 프레임들을 순차적으로 생성하여 상기 감정 표현 영상을 생성하는, 감정 표현 영상 생성 장치
|
| 17 |
17
하나 이상의 프로세서들, 및상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치에서 수행되는 감정 표현 영상 생성 방법으로서, 제1 생성적 적대 신경망(GAN; Generative Adversarial Networks)에서, 감정 표현 영상 생성을 위한 텍스트를 입력받고, 입력된 텍스트에 대해 임베딩(Embedding)을 수행하여 벡터 정보를 추출하며, 추출된 벡터 정보를 기반으로 이미지를 생성하는 단계;분류기에서, 상기 텍스트를 입력받고, 입력된 텍스트에 포함된 감정 요소에 따라 감정 클래스를 분류하는 단계; 및상기 제2 생성적 적대 신경망에서, 상기 제1 GAN에서 생성된 이미지 및 상기 분류기에 의하여 분류된 감정 클래스를 입력받고, 이로부터 감정 표현 영상의 프레임을 생성하는 단계를 포함하는, 감정 표현 영상 생성 방법
|
| 18 |
18
청구항 17에 있어서,상기 감정 표현 영상의 프레임을 생성하는 단계는,상기 제2 생성적 적대 신경망에서, 상기 분류기에 의하여 분류된 감정 클래스에 대응하는 감정 표현 변화도를 추출하고, 상기 제1 GAN에서 생성된 이미지 및 상기 감정 표현 변화도를 이용하여 상기 감정 표현 영상의 프레임을 생성하는 단계를 더 포함하는, 감정 표현 영상 생성 방법
|
| 19 |
19
청구항 17에 있어서,상기 감정 표현 영상의 프레임을 생성하는 단계는,상기 제2 생성적 적대 신경망에서, 상기 감정 표현 영상의 프레임 이후의 적어도 하나의 프레임들을 순차적으로 생성하여 상기 감정 표현 영상을 생성하는 단계를 더 포함하는, 감정 표현 영상 생성 방법
|
