| 1 |
1
이미지와 텍스트 쌍의 통합 데이터를 사전 학습하여 임베딩 모델을 구축하는 임베딩 모델 구축부;상기 임베딩 모델을 기초로 이미지와 텍스트 쌍의 특정 입력에 대한 정보량을 산출하는 정보량 산출부;상기 정보량을 기초로 상기 특정 입력에서 이미지와 텍스트 차원의 고유 정보를 추출하고 각각 독립적으로 학습하는 고유 정보 학습부; 및상기 독립적으로 학습된 결과에 따라 이미지와 텍스트의 고유 정보를 각각 벡터화하고 상호 융합하여 상기 특정 입력에 대한 심층 상황벡터를 생성하는 심층 상황벡터 생성부를 포함하는 이미지와 텍스트 통합 데이터에 대한 딥러닝 기반 심층 상황 이해 시스템
|
| 2 |
2
제1항에 있어서, 상기 임베딩 모델은상기 통합 데이터의 이미지와 텍스트를 동일 공간으로 사상(mapping)시키는 학습 모델로서 해당 이미지와 텍스트 각각을 벡터화 하는 것을 특징으로 하는 이미지와 텍스트 통합 데이터에 대한 딥러닝 기반 심층 상황 이해 시스템
|
| 3 |
3
제2항에 있어서, 상기 임베딩 모델은이미지와 텍스트 각각이 표현하는 상황이 유사할수록 상기 벡터화 되는 이미지 벡터와 텍스트 벡터 간의 유사도가 증가하는 방향으로 학습되는 것을 특징으로 이미지와 텍스트 통합 데이터에 대한 딥러닝 기반 심층 상황 이해 시스템
|
| 4 |
4
제1항에 있어서, 상기 정보량 산출부는상기 특정 입력에 대해 상기 임베딩 모델을 적용하여 이미지 벡터와 텍스트 벡터를 각각 생성하고 해당 이미지 벡터와 해당 텍스트 벡터 간의 유사도를 기초로 상기 정보량을 산출하는 것을 특징으로 이미지와 텍스트 통합 데이터에 대한 딥러닝 기반 심층 상황 이해 시스템
|
| 5 |
5
제4항에 있어서, 상기 정보량 산출부는상기 해당 이미지 벡터와 상기 해당 텍스트 벡터를 기초로 어텐션 스코어(Attention Score)를 산출하여 상기 유사도로 사용하는 것을 특징으로 하는 이미지와 텍스트 통합 데이터에 대한 딥러닝 기반 심층 상황 이해 시스템
|
| 6 |
6
제4항에 있어서, 상기 정보량 산출부는기준값과 상기 유사도 간의 차이로서 상기 정보량을 산출하는 것을 특징으로 하는 이미지와 텍스트 통합 데이터에 대한 딥러닝 기반 심층 상황 이해 시스템
|
| 7 |
7
제4항에 있어서, 상기 고유 정보 학습부는상기 해당 텍스트 벡터에 상기 정보량을 적용하여 가중 텍스트 벡터를 생성하고 상기 해당 이미지 벡터와 상기 가중 텍스트 벡터를 상기 고유 정보로서 학습하는 것을 특징으로 하는 이미지와 텍스트 통합 데이터에 대한 딥러닝 기반 심층 상황 이해 시스템
|
| 8 |
8
제7항에 있어서, 상기 고유 정보 학습부는상기 해당 텍스트 벡터가 복수인 경우 각 텍스트 벡터마다 해당 정보량에 비례하는 정보 가중치를 곱함으로써 상기 가중 텍스트 벡터를 생성하는 것을 특징으로 하는 이미지와 텍스트 통합 데이터에 대한 딥러닝 기반 심층 상황 이해 시스템
|
| 9 |
9
제1항에 있어서, 상기 심층 상황벡터 생성부는상기 벡터화의 결과로 생성된 고유 벡터들을 순차로 연결(concatenation)하여 상기 심층 상황벡터를 생성하는 것을 특징으로 하는 이미지와 텍스트 통합 데이터에 대한 딥러닝 기반 심층 상황 이해 시스템
|
| 10 |
10
이미지와 텍스트 쌍의 통합 데이터를 사전 학습하여 임베딩 모델을 구축하는 단계;상기 임베딩 모델을 기초로 이미지와 텍스트 쌍의 특정 입력에 대한 정보량을 산출하는 단계;상기 정보량을 기초로 상기 특정 입력에서 이미지와 텍스트 차원의 고유 정보를 추출하고 각각 독립적으로 학습하는 단계; 및상기 독립적으로 학습된 결과에 따라 이미지와 텍스트의 고유 정보를 각각 벡터화하고 상호 융합하여 상기 특정 입력에 대한 심층 상황벡터를 생성하는 단계를 포함하는 이미지와 텍스트 통합 데이터에 대한 딥러닝 기반 심층 상황 이해 방법
|
| 11 |
11
제10항에 있어서, 상기 정보량을 산출하는 단계는상기 특정 입력에 대해 상기 임베딩 모델을 적용하여 이미지 벡터와 텍스트 벡터를 각각 생성하고 해당 이미지 벡터와 해당 텍스트 벡터 간의 유사도를 기초로 상기 정보량을 산출하는 단계를 포함하는 것을 특징으로 이미지와 텍스트 통합 데이터에 대한 딥러닝 기반 심층 상황 이해 방법
|
| 12 |
12
제11항에 있어서, 상기 정보량을 산출하는 단계는기준값과 상기 유사도 간의 차이로서 상기 정보량을 산출하는 단계를 포함하는 것을 특징으로 하는 이미지와 텍스트 통합 데이터에 대한 딥러닝 기반 심층 상황 이해 방법
|
| 13 |
13
제11항에 있어서, 상기 독립적으로 학습하는 단계는상기 해당 텍스트 벡터에 상기 정보량을 적용하여 가중 텍스트 벡터를 생성하고 상기 해당 이미지 벡터와 상기 가중 텍스트 벡터를 상기 고유 정보로서 학습하는 단계를 포함하는 것을 특징으로 하는 이미지와 텍스트 통합 데이터에 대한 딥러닝 기반 심층 상황 이해 방법
|
| 14 |
14
제10항에 있어서, 상기 심층 상황벡터를 생성하는 단계는상기 벡터화의 결과로 생성된 고유 벡터들을 순차로 연결(concatenation)하여 상기 심층 상황벡터를 생성하는 단계를 포함하는 것을 특징으로 하는 이미지와 텍스트 통합 데이터에 대한 딥러닝 기반 심층 상황 이해 방법
|
