| 1 |
1
멀티모달 밀결합 텐서 네트워크 구축 시스템에 의해 수행되는 멀티모달 밀결합 텐서 네트워크 구축 방법에 있어서,N 종류의 모달 개별 컨텐츠를 포함하는 멀티모달 컨텐츠를 수집하는 단계;멀티모달 컨텐츠별로 상기 N 종류의 모달 개별 컨텐츠에서 N 종류의 모달 개별 특징을 추출하고, 상기 N 종류의 모달 개별 특징을 결합하여 멀티모달 컨텐츠별 하나의 밀결합 텐서를 생성하는 단계; 및상기 밀결합 텐서를 이용하여 멀티모달 컨텐츠의 분류모델을 학습시키는 단계;를 포함하는 것을 특징으로 하는,멀티모달 밀결합 텐서 네트워크 구축 방법
|
| 2 |
2
제1항에 있어서,상기 밀결합 텐서를 생성하는 단계는,상기 N 종류의 모달 개별 특징을 N 종류의 모달 개별 텐서로 가공하고, 상기 N 종류의 모달 개별 텐서를 결합하여 상기 밀결합 텐서를 생성하는 것을 특징으로 하는,멀티모달 밀결합 텐서 네트워크 구축 방법
|
| 3 |
3
제1항에 있어서,상기 밀결합 텐서를 생성하는 단계는,상기 N 종류의 모달 개별 특징 간에 결합 가능하도록 상기 N 종류의 모달 개별 특징 각각을 신택스(syntax)로 변환하여 전처리하는 단계를 포함하고,상기 신택스(syntax)에 대응되고, 상기 N 종류의 모달 개별 특징에 관한 값을 포함하는 행렬을 결합하여 상기 밀결합 텐서를 생성하는 것을 특징으로 하는,멀티모달 밀결합 텐서 네트워크 구축 방법
|
| 4 |
4
제3항에 있어서,상기 모달 개별 특징별 신택스(syntax)는,다차원의 행렬이며, 각각은 서로 동일한 차원, 채널 및 크기로 형성된 것을 특징으로 하는,멀티모달 밀결합 텐서 네트워크 구축 방법
|
| 5 |
5
제2항에 있어서,상기 밀결합 텐서를 생성하는 단계에서,상기 모달 개별 텐서는 상기 모달 개별 특징을 가공한 RGB 형식의 이미지 텐서이되,상기 모달 개별 텐서 중 어느 하나의 이미지 텐서는 그레이 스케일이며, 나머지 모달 개별 특징의 이미지 텐서는 컬러 스케일이고,상기 밀결합 텐서를 생성하는 단계는,상기 모달 개별 텐서 각각으로부터 CMYK 값을 추출하여 CMYK 신택스(syntax)로 변환하고, 상기 모달 개별 텐서 각각의 CMYK 신택스(syntax)에 대응되는 행렬을 결합하여 상기 밀결합 텐서를 생성하는 것을 특징으로 하는,멀티모달 밀결합 텐서 네트워크 구축 방법
|
| 6 |
6
제3항에 있어서,상기 밀결합 텐서를 생성하는 단계는,상기 모달 개별 특징에 관한 값이 소정의 범위에서 벗어나 널이 발생하면, 상기 널이 발생한 시퀀스의 전 시퀀스 및 후 시퀀스의 평균값으로 상기 널의 값을 대체하는 단계를 포함하는 것을 특징으로 하는,멀티모달 밀결합 텐서 네트워크 구축 방법
|
| 7 |
7
제1항에 있어서,상기 분류모델을 이용하여 분류 대상인 멀티모달 컨텐츠를 분류하는 단계를 더 포함하는 것을 특징으로 하는, 멀티모달 밀결합 텐서 네트워크 구축 방법
|
| 8 |
8
제1항에 있어서,상기 분류모델을 학습시키는 단계는,상기 밀결합 텐서의 일부를 학습 데이터로 하고, 나머지 밀결합 텐서를 검증 데이터로 하여 신경망에 입력하되, 분류 성능에 따라 상기 신경망 및 상기 밀결합 텐서의 하이퍼파라미터를 조정하여 분류모델을 학습시키는 것을 특징으로 하는,멀티모달 밀결합 텐서 네트워크 구축 방법
|
| 9 |
9
제1항에 있어서,상기 밀결합 텐서를 생성하는 단계는,상기 모달 개별 특징별 결합 비율에 관한 가중치를 반영하여 상기 밀결합 텐서를 생성하는 것을 특징으로 하는,멀티모달 밀결합 텐서 네트워크 구축 방법
|
| 10 |
10
제1항에 있어서,상기 멀티모달 컨텐츠는 시청각 정보를 포함하는 동영상 데이터셋인 것을 특징으로 하는,멀티모달 밀결합 텐서 네트워크 구축 방법
|
| 11 |
11
N 종류의 모달 개별 컨텐츠를 포함하는 멀티모달 컨텐츠를 수집하는 수집 모듈;멀티모달 컨텐츠별로 상기 N 종류의 모달 개별 컨텐츠에서 추출된 N 종류의 모달 개별 특징을 생성하는 추출 모듈;상기 N 종류의 모달 개별 특징을 결합하여 멀티모달 컨텐츠별 밀결합 텐서를 생성하는 결합 모듈; 및상기 밀결합 텐서를 이용하여 멀티모달 컨텐츠의 분류모델을 학습시키는 학습 모듈;을 포함하는 것을 특징으로 하는,멀티모달 밀결합 텐서 네트워크 구축 시스템
|
| 12 |
12
제11항에 있어서,상기 결합 모듈은,상기 멀티모달 컨텐츠를 M개의 시퀀스로 분할하고, 상기 시퀀스를 시계열적으로 정렬한 축을 포함하는 행렬의 집합인 제1 신택스(1st syntax)로 변환하여, 상기 모달 개별 특징을 정규화하고, 상기 모달 개별 특징을 모달 개별 텐서로 가공하는 전처리 모듈;상기 모달 개별 텐서별로 텐서 특징을 추출하고, 상기 텐서 특징을 N개 채널의 제 2 신택스(2nd syntax)로 변환하고, 상기 제2 신택스(2nd syntax)에 대응되는 행렬을 결합하여 상기 밀결합 텐서를 생성하는 텐서생성 모듈;을 포함하고,상기 제2 신택스(2nd syntax)의 각 채널은 상기 텐서 특징별로 할당된 것을 특징으로 하는,멀티모달 밀결합 텐서 네트워크 구축 시스템
|
