| 1 |
1
컴퓨팅 디바이스에 의한 비디오 생성 방법에 있어서,임베딩 모델을 이용하여 문장으로부터 행동 벡터와 컨텐츠 벡터를 추출하는 단계;생성 모델을 이용하여 상기 행동 벡터를 시간의 흐름에 따라 변화시키고 상기 변화한 행동 벡터와 상기 컨텐츠 벡터를 결합한 복합 벡터를 이용하여 프레임을 생성하는 단계; 및판별 모델을 이용하여 상기 생성한 프레임에 대해서 실재의 이미지와 실재의 비디오를 기준으로 비교하여 상기 생성한 프레임의 집합의 진위를 판단하는 단계를 포함하는 비디오 생성 방법
|
| 2 |
2
제1항에 있어서,상기 임베딩 모델은 상기 문장을 단어 별로 분리하고 상기 단어를 벡터화시켜 단어 별로 특징을 추출하고, 업데이트 게이트와 리셋 게이트를 갖는 게이트 순환 유닛(Gated Recurrent Unit, GRU)을 통해 상기 단어의 순서를 고려한 전체 문장의 특징을 추출하는 것을 특징으로 하는 비디오 생성 방법
|
| 3 |
3
제1항에 있어서,상기 행동 벡터는 비디오에서 변하는 인물 및 사물의 행동에 관한 속성을 포함하고, 상기 컨텐츠 벡터는 비디오에서 변하지 않는 배경, 인물 및 사물의 묘사에 관한 속성을 포함하는 것을 특징으로 하는 비디오 생성 방법
|
| 4 |
4
제1항에 있어서,상기 생성 모델은 상기 행동 벡터를 업데이트 게이트와 리셋 게이트를 갖는 게이트 순환 유닛(Gated Recurrent Unit, GRU)을 통해 시간의 흐름에 따라 변하는 공간을 찾고, 상기 변하는 공간에 따라 행동 벡터를 변경하는 것을 특징으로 하는 비디오 생성 방법
|
| 5 |
5
제1항에 있어서,상기 판별 모델은 이미지 판별기(Image Discriminator)와 비디오 판별기(Video Discriminator)를 포함하는 것을 특징으로 하는 비디오 생성 방법
|
| 6 |
6
제5항에 있어서,상기 이미지 판별기는 상기 생성된 프레임이 상기 실재의 프레임인지 모조의 프레임인지를 판단하고, 상기 컨텐츠 벡터를 기반으로 상기 프레임과 상기 문장 간의 유사도를 판단하여, 상기 생성한 프레임의 진위를 결정하는 것을 특징으로 하는 비디오 생성 방법
|
| 7 |
7
제5항에 있어서,상기 비디오 판별기는 정방향 또는 역방향으로 행동에 관한 조건 벡터를 이용하여 상기 생성한 프레임의 집합이 상기 실제의 비디오인지를 판단하는 것을 특징으로 하는 비디오 생성 방법
|
| 8 |
8
제1항에 있어서,상기 생성된 프레임을 학습하는 제1 학습 단계와 상기 생성된 프레임의 집합인 비디오를 학습하는 제2 학습 단계를 포함하는 것을 특징으로 하는 비디오 생성 방법
|
| 9 |
9
문장으로부터 행동 벡터와 컨텐츠 벡터를 추출하는 임베딩 모델;상기 행동 벡터를 시간의 흐름에 따라 변화시키고 상기 변화한 행동 벡터와 상기 컨텐츠 벡터를 결합한 복합 벡터를 이용하여 프레임을 생성하는 생성 모델; 및상기 생성한 프레임에 대해서 실재의 이미지와 실재의 비디오를 기준으로 비교하여 상기 생성한 프레임의 진위를 판단하는 판별 모델을 포함하는 비디오 생성 장치
|
| 10 |
10
제9항에 있어서,상기 임베딩 모델은 상기 문장을 단어 별로 분리하고 상기 단어를 벡터화시켜 단어 별로 특징을 추출하고, 업데이트 게이트와 리셋 게이트를 갖는 게이트 순환 유닛(Gated Recurrent Unit, GRU)을 통해 상기 단어의 순서를 고려한 전체 문장의 특징을 추출하는 것을 특징으로 하는 비디오 생성 장치
|
| 11 |
11
제9항에 있어서,상기 생성 모델은 상기 행동 벡터를 업데이트 게이트와 리셋 게이트를 갖는 게이트 순환 유닛(Gated Recurrent Unit, GRU)을 통해 시간의 흐름에 따라 변하는 공간을 찾고, 상기 변하는 공간에 따라 행동 벡터를 변경하는 것을 특징으로 하는 비디오 생성 장치
|
| 12 |
12
제9항에 있어서,상기 판별 모델은 상기 생성된 프레임이 상기 실재의 프레임인지 모조의 프레임인지를 판단하고, 상기 컨텐츠 벡터를 기반으로 상기 프레임과 상기 문장 간의 유사도를 판단하여, 상기 생성한 프레임의 진위를 결정하는 것을 특징으로 하는 비디오 생성 장치
|
| 13 |
13
제9항에 있어서,상기 판별 모델은 정방향 또는 역방향으로 행동에 관한 조건 벡터를 이용하여 상기 생성한 프레임의 집합이 상기 실제의 비디오인지를 판단하는 것을 특징으로 하는 비디오 생성 장치
|
| 14 |
14
프로세서에 의해 실행 가능한 컴퓨터 프로그램 명령어들을 포함하는 비일시적(Non-Transitory) 컴퓨터 판독 가능한 매체에 기록된 컴퓨터 프로그램으로서, 상기 컴퓨터 프로그램 명령어들이 컴퓨팅 디바이스의 프로세서에 의해 실행되는 경우에,임베딩 모델을 이용하여 문장으로부터 행동 벡터와 컨텐츠 벡터를 추출하는 단계;생성 모델을 이용하여 상기 행동 벡터를 시간의 흐름에 따라 변화시키고 상기 변화한 행동 벡터와 상기 컨텐츠 벡터를 결합한 복합 벡터를 이용하여 프레임을 생성하는 단계; 및판별 모델을 이용하여 상기 생성한 프레임에 대해서 실재의 이미지와 실재의 비디오를 기준으로 비교하여 상기 생성한 프레임의 집합의 진위를 판단하는 단계를 포함한 동작들을 수행하는 것을 특징으로 하는 컴퓨터 프로그램
|
