| 1 |
1
인공지능 모델 기반 이미지 시퀀스 결정 장치에 의해 실행되는 스토리 기반 이미지 시퀀스 결정 방법에 있어서,스토리 인코더(Story encoder)를 이용하여, 텍스트 기반 스토리의 현재문장의 토큰 단위로 상기 스토리 상의 적어도 하나의 이전 문장과 상기 현재문장 간의 연관도에 기반하여 상기 현재문장을 인코딩하는 단계;인코딩된 상기 현재문장과 기 저장된 이미지 간 유사도를 기반으로 주어진 이미지 데이터베이스에서 상기 현재문장과 연관된 복수의 제1 후보 이미지를 검색하는 단계;이미지 간 씬 그래프(Scene Graph) 유사도를 기반으로 상기 이미지 데이터베이스에서 상기 현재문장의 직전문장의 최적 이미지와 연관된 복수의 제2 후보 이미지를 검색하는 단계; 및상기 복수의 제1 후보 이미지 및 상기 복수의 제2 후보 이미지에 기반하여 상기 현재문장의 최적 이미지를 결정하는 단계를 포함하는,스토리 기반 이미지 시퀀스 결정 방법
|
| 2 |
2
제 1 항에 있어서,상기 현재문장을 인코딩하는 단계는,상기 현재문장의 각 토큰과 상기 적어도 하나의 이전 문장과의 어텐션(attention)을 계산하여 상기 현재문장의 토큰 단위로 상기 연관도를 결정하는 단계를 포함하는,스토리 기반 이미지 시퀀스 결정 방법
|
| 3 |
3
제 1 항에 있어서,상기 제1 후보 이미지를 검색하는 단계는,상기 현재문장을 벡터화하여 잠재벡터를 생성하는 단계;상기 이미지 데이터베이스에 저장된 이미지들의 잠재벡터와 상기 현재문장의 잠재벡터를 코사인-유사도 기반으로 분석하는 단계; 및상기 이미지 데이터베이스에 저장된 이미지들 중 상기 분석의 결과에 따라 유사도가 높은 순으로 소정 개수의 상기 복수의 제1 후보 이미지를 선출하는 단계를 포함하는,스토리 기반 이미지 시퀀스 결정 방법
|
| 4 |
4
제 1 항에 있어서,상기 씬 그래프는,이미지에 포함된 적어도 하나의 객체의 종류를 꼭지점(vertex)으로, 상기 객체들 간 작용관계를 간선(edge)으로 갖는 자료 구조인,스토리 기반 이미지 시퀀스 결정 방법
|
| 5 |
5
제 1 항에 있어서,상기 복수의 제2 후보 이미지를 검색하는 단계는,상기 직전문장의 최적 이미지의 씬 그래프를 생성하고, 이를 그래프 신경망에 통과시켜 잠재벡터를 획득하는 단계;상기 이미지 데이터베이스에 저장된 이미지들의 잠재벡터와 상기 직전문장의 최적 이미지의 잠재벡터를 코사인-유사도 기반으로 분석하는 단계; 및상기 이미지 데이터베이스에 저장된 이미지들 중 상기 분석의 결과에 따라 유사도가 높은 순으로 소정 개수의 상기 복수의 제2 후보 이미지를 선출하는 단계를 포함하는,스토리 기반 이미지 시퀀스 결정 방법
|
| 6 |
6
제 3 항 및 제 5 항 중 어느 한 항에 있어서,상기 현재문장의 최적 이미지를 결정하는 단계는,상기 복수의 제1 후보 이미지의 잠재벡터들을 상기 직전문장의 최적 이미지의 잠재벡터와 유사 분석하여, 상기 복수의 제1 후보 이미지에 대한 각 유사도를 산출하는 단계;상기 복수의 제2 후보 이미지의 잠재벡터들을 상기 직전문장의 최적 이미지의 잠재벡터와 유사 분석하여, 상기 복수의 제2 후보 이미지에 대한 각 유사도를 산출하는 단계; 및상기 복수의 제1 후보 이미지에 대한 각 유사도 및 상기 복수의 제2 후보 이미지에 대한 각 유사도를 평균하여 가장 유사도가 높은 이미지를 상기 최적 이미지로 결정하는 단계를 포함하는,스토리 기반 이미지 시퀀스 결정 방법
|
| 7 |
7
제 1 항에 있어서,상기 현재문장이 상기 텍스트 기반 스토리의 첫 문장인 경우,상기 첫 문장을 벡터화하여 잠재벡터를 생성하는 단계;상기 이미지 데이터베이스에 저장된 이미지들의 잠재벡터와 상기 첫 문장의 잠재벡터를 코사인-유사도 기반으로 분석하는 단계; 및상기 이미지 데이터베이스에 저장된 이미지들 중 상기 분석의 결과에 따라 유사도가 가장 높은 이미지를 상기 최적 이미지로 결정하는 단계를 포함하는,스토리 기반 이미지 시퀀스 결정 방법
|
| 8 |
8
제 1 항에 있어서,상기 현재문장의 최적 이미지를 결정하는 단계는,상기 현재문장이 상기 텍스트 기반 스토리의 마지막 문장이 될 때까지 순차적으로 각 문장에 대해 상기 최적 이미지를 결정하는,스토리 기반 이미지 시퀀스 결정 방법
|
| 9 |
9
제 1 항에 있어서,상기 인공지능 모델을 학습시키는 단계를 더 포함하고,상기 인공지능 모델을 학습시키는 단계는,복수의 문장을 포함하는 텍스트 기반 스토리로 구성된 학습 데이터셋을 구비하는 단계;상기 복수의 문장을 상기 인공지능 모델에 입력시켜 복수의 최적 이미지를 획득하는 단계;상기 복수의 최적 이미지를 BiLSTM 및 디코더를 이용하여 텍스트 기반 스토리로 복원하는 단계;상기 복원된 스토리와 원본 스토리를 비교하여 산술적 차이를 계산하는 단계; 및상기 산술적 차이를 기반으로 상기 이미지 시퀀스 결정 모델을 역전파 방식으로 학습시키는 단계를 포함하는,스토리 기반 이미지 시퀀스 결정 방법
|
| 10 |
10
텍스트 기반 스토리를 수신하는 통신부;텍스트 기반 스토리를 묘사하는 이미지를 결정하도록 학습된 인공지능 모델을 저장하는 메모리; 및상기 메모리 및 통신부를 제어하는 프로세서를 포함하고,상기 프로세서는,스토리 인코더(Story encoder)를 이용하여, 텍스트 기반 스토리의 현재문장의 토큰 단위로 상기 스토리 상의 적어도 하나의 이전 문장과 상기 현재문장 간의 연관도에 기반하여 상기 현재문장을 인코딩하고,인코딩된 상기 현재문장과 기 저장된 이미지 간 유사도를 기반으로 주어진 이미지 데이터베이스에서 상기 현재문장과 연관된 복수의 제1 후보 이미지를 검색하며,이미지 간 씬 그래프(Scene Graph) 유사도를 기반으로 상기 이미지 데이터베이스에서 상기 현재문장의 직전문장의 최적 이미지와 연관된 복수의 제2 후보 이미지를 검색하고,상기 복수의 제1 후보 이미지 및 상기 복수의 제2 후보 이미지에 기반하여 상기 현재문장의 최적 이미지를 결정하는,스토리 기반 이미지 시퀀스 결정 장치
|
| 11 |
11
제 10 항에 있어서,상기 프로세서는,상기 현재문장의 각 토큰과 상기 적어도 하나의 이전 문장과의 어텐션(attention)을 계산하여 상기 현재문장의 토큰 단위로 상기 연관도를 결정하는, 스토리 기반 이미지 시퀀스 결정 장치
|
| 12 |
12
제 10 항에 있어서,상기 프로세서는,상기 현재문장을 벡터화하여 잠재벡터를 생성하고,상기 이미지 데이터베이스에 저장된 이미지들의 잠재벡터와 상기 현재문장의 잠재벡터를 코사인-유사도 기반으로 분석하며,상기 이미지 데이터베이스에 저장된 이미지들 중 상기 분석의 결과에 따라 유사도가 높은 순으로 소정 개수의 상기 복수의 제1 후보 이미지를 선출하는,스토리 기반 이미지 시퀀스 결정 장치
|
| 13 |
13
제 10 항에 있어서,상기 씬 그래프는,이미지에 포함된 적어도 하나의 객체의 종류를 꼭지점(vertex)으로, 상기 객체들 간 작용관계를 간선(edge)으로 갖는 자료 구조인,스토리 기반 이미지 시퀀스 결정 장치
|
| 14 |
14
제 10 항에 있어서,상기 프로세서는,상기 직전문장의 최적 이미지의 씬 그래프를 생성하고, 이를 그래프 신경망에 통과시켜 잠재벡터를 획득하고,상기 이미지 데이터베이스에 저장된 이미지들의 잠재벡터와 상기 직전문장의 최적 이미지의 잠재벡터를 코사인-유사도 기반으로 분석하며,상기 이미지 데이터베이스에 저장된 이미지들 중 상기 분석의 결과에 따라 유사도가 높은 순으로 소정 개수의 상기 복수의 제2 후보 이미지를 선출하는,스토리 기반 이미지 시퀀스 결정 장치
|
| 15 |
15
제 13 항 및 제 15 항 중 어느 한 항에 있어서,상기 프로세서는,상기 복수의 제1 후보 이미지의 잠재벡터들을 상기 직전문장의 최적 이미지의 잠재벡터와 유사 분석하여, 상기 복수의 제1 후보 이미지에 대한 각 유사도를 산출하고,상기 복수의 제2 후보 이미지의 잠재벡터들을 상기 직전문장의 최적 이미지의 잠재벡터와 유사 분석하여, 상기 복수의 제2 후보 이미지에 대한 각 유사도를 산출하며,상기 복수의 제1 후보 이미지에 대한 각 유사도 및 상기 복수의 제2 후보 이미지에 대한 각 유사도를 평균하여 가장 유사도가 높은 이미지를 상기 최적 이미지로 결정하는,스토리 기반 이미지 시퀀스 결정 장치
|
| 16 |
16
제 10 항에 있어서,상기 프로세서는,상기 현재문장이 상기 텍스트 기반 스토리의 첫 문장인 경우,상기 첫 문장을 벡터화하여 잠재벡터를 생성하고,상기 이미지 데이터베이스에 저장된 이미지들의 잠재벡터와 상기 첫 문장의 잠재벡터를 코사인-유사도 기반으로 분석하며,상기 이미지 데이터베이스에 저장된 이미지들 중 상기 분석의 결과에 따라 유사도가 가장 높은 이미지를 상기 최적 이미지로 결정하는,스토리 기반 이미지 시퀀스 결정 장치
|
| 17 |
17
제 10 항에 있어서,상기 프로세서는,상기 현재문장이 상기 텍스트 기반 스토리의 마지막 문장이 될 때까지 순차적으로 각 문장에 대해 상기 최적 이미지를 결정하는,스토리 기반 이미지 시퀀스 결정 장치
|
| 18 |
18
제 10 항에 있어서,상기 인공지능 모델을 학습시키는 학습부를 더 포함하고,상기 학습부는,복수의 문장을 포함하는 텍스트 기반 스토리로 구성된 학습 데이터셋을 구비하고, 상기 복수의 문장을 상기 인공지능 모델에 입력시켜 복수의 최적 이미지를 획득하며, 상기 복수의 최적 이미지를 BiLSTM 및 디코더를 이용하여 텍스트 기반 스토리로 복원하고, 상기 복원된 스토리와 원본 스토리를 비교하여 산술적 차이를 계산하여, 상기 산술적 차이를 기반으로 상기 이미지 시퀀스 결정 모델을 역전파 방식으로 학습시키는,스토리 기반 이미지 시퀀스 결정 장치
|
| 19 |
19
텍스트 기반의 복수의 문장으로 구성된 스토리를 전송하는 사용자 디바이스;학습된 이미지 시퀀스 결정 모델을 기반으로 상기 사용자 디바이스로부터 입력된 스토리의 현재문장과 이전 문장들의 문맥 연관성을 고려하고, 동시에 직전문장에 대응하여 선출된 최적 이미지와 시각적 맥락을 유지하면서, 현재문장을 의미상 가장 높은 유사도로 묘사하는 이미지를 선출하는 이미지 시퀀스 결정 서버; 및상기 이미지 시퀀스 결정 모델의 추론에 이용되는 이미지들 및 상기 이미지들마다 사전 정의된 씬 그래프를 매핑하여 저장하는 데이터베이스;를 포함하는,스토리 기반 이미지 시퀀스 결정 시스템
|
