맞춤기술찾기

홈으로 가기
맞춤기술찾기
이전대상기술
프린트하기

이전대상기술

멀티모달 데이터 융합 시스템 및 방법

  • 기술번호 : KST2021011305
  • 담당센터 : 광주기술혁신센터
  • 전화번호 : 062-360-4654
상담신청 PDF 받기
요약, Int. CL, CPC, 출원번호/일자, 출원인, 등록번호/일자, 공개번호/일자, 공고번호/일자, 국제출원번호/일자, 국제공개번호/일자, 우선권정보, 법적상태, 심사진행상태, 심판사항, 구분, 원출원번호/일자, 관련 출원번호, 기술이전 희망, 심사청구여부/일자, 심사청구항수의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 서지정보 표입니다.
요약 본 발명은 멀티모달 데이터 융합 시스템 및 방법에 관한 것으로, 데이터 수신부가 외부로부터 이미지 및 텍스트 정보를 수신하고, 특징점 도출부가 상기 수신된 이미지 정보에 대한 특징점과 텍스트 정보에 대한 특징점을 각각 도출하고, 자기 교차부가 상기 도출된 각각의 특징점으로 이미지 데이터와 텍스트 데이터 각각에 대하여 적어도 하나의 이미지 입력 데이터와 텍스트 입력 데이터를 생성하고, 생성된 적어도 하나의 이미지 입력 데이터 또는 텍스트 입력 데이터에 대해 각각의 입력 데이터를 벡터내적한 다음, 소프트맥스(Softmax) 함수로 연산하여 연산된 값 중 가장 큰 값의 제1 이미지 결과 데이터와 제1 텍스트 결과 데이터를 도출하며, 도출된 제1 이미지 결과 데이터와 이미지 입력 데이터 및 제1 텍스트 결과 데이터와 텍스트 입력 데이터를 벡터내적하여 상기 이미지 및 텍스트 데이터가 정규화된 이미지 정규화 데이터와 텍스트 정규화 데이터를 생성하고, 상호 교차 융합부가 상기 이미지 정규화 데이터와 상기 텍스트 정규화 데이터 각각을 복제하여 적어도 하나의 이미지 복제 데이터와 텍스트 복제 데이터를 생성하고, 상기 생성된 적어도 하나의 이미지 복제 데이터 및 텍스트 복제 데이터 각각을 행렬곱으로 연산하고, 연산된 데이터의 값이 너무 크거나 작은 값들을 제거하도록 스케일링 한 다음, 소프트맥스 함수로 연산하여 연산된 값 중 가장 큰 값의 제2 이미지 결과 데이터와 제2 텍스트 결과 데이터를 도출하고, 도출된 각각의 상기 제2 이미지 결과 데이터와 상기 텍스트 정규화 데이터 및 상기 제2 텍스트 결과 데이터와 상기 이미지 정규화 데이터를 행렬곱으로 연산하여 이미지 데이터에 텍스트 데이터가 융합된 이미지-텍스트 융합 데이터와 텍스트 데이터에 이미지 데이터가 융합된 텍스트-이미지 융합 데이터를 생성하며, 융합 데이터 도출부가 상기 이미지-텍스트 융합 데이터와 텍스트-이미지 융합 데이터에 대한 임베디드 분포 간의 쿨백-라이블러 발산(Kullback Leibler divergence)을 최소화하여 최종 융합 데이터를 도출하는 융합 데이터 도출부를 포함하는 구성으로 서로 다른 양식을 가지는 이미지 및 텍스트 데이터에 대한 적절한 기능을 학습하여 잘못된 지식의 전달을 효과적으로 방지할 수 있다.
Int. CL G06T 11/60 (2006.01.01) G06T 5/00 (2019.01.01) G06K 9/46 (2006.01.01) G06K 9/62 (2006.01.01)
CPC G06T 11/60(2013.01) G06T 5/002(2013.01) G06K 9/46(2013.01) G06K 9/6267(2013.01)
출원번호/일자 1020210029317 (2021.03.05)
출원인 전남대학교산학협력단
등록번호/일자 10-2279797-0000 (2021.07.14)
공개번호/일자
공고번호/일자 (20210721) 문서열기
국제출원번호/일자
국제공개번호/일자
우선권정보
법적상태 등록
심사진행상태 수리
심판사항
구분 국내출원/신규
원출원번호/일자
관련 출원번호
심사청구여부/일자 Y (2021.03.05)
심사청구항수 3

출원인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 출원인 표입니다.
번호 이름 국적 주소
1 전남대학교산학협력단 대한민국 광주광역시 북구

발명자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 발명자 표입니다.
번호 이름 국적 주소
1 양형정 광주광역시 북구
2 도트엉동 광주광역시 북구

대리인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 대리인 표입니다.
번호 이름 국적 주소
1 이은철 대한민국 서울특별시 송파구 법원로**길 **, A동 *층 ***호 (문정동, H비지니스파크)(*T국제특허법률사무소)

최종권리자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 최종권리자 표입니다.
번호 이름 국적 주소
1 전남대학교산학협력단 광주광역시 북구
번호, 서류명, 접수/발송일자, 처리상태, 접수/발송일자의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 행정처리 표입니다.
번호 서류명 접수/발송일자 처리상태 접수/발송번호
1 [특허출원]특허출원서
[Patent Application] Patent Application		 2021.03.05 수리 (Accepted) 1-1-2021-0262469-84
2 [우선심사신청]심사청구서·우선심사신청서
 2021.03.17 수리 (Accepted) 1-1-2021-0313193-63
3 보정요구서
Request for Amendment		 2021.03.19 발송처리완료 (Completion of Transmission) 1-5-2021-0045252-98
4 [출원서 등 보정]보정서
[Amendment to Patent Application, etc.] Amendment		 2021.03.24 수리 (Accepted) 1-1-2021-0342810-16
5 의견제출통지서
Notification of reason for refusal		 2021.04.12 발송처리완료 (Completion of Transmission) 9-5-2021-0291137-57
6 [거절이유 등 통지에 따른 의견]의견서·답변서·소명서
 2021.06.01 수리 (Accepted) 1-1-2021-0632390-00
7 [명세서등 보정]보정서
[Amendment to Description, etc.] Amendment		 2021.06.01 보정승인간주 (Regarded as an acceptance of amendment) 1-1-2021-0632391-45
8 등록결정서
Decision to grant		 2021.06.24 발송처리완료 (Completion of Transmission) 9-5-2021-0501878-86
번호, 청구항의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 청구항 표입니다.
번호 청구항
1 1
외부로부터 이미지 및 텍스트 정보를 수신하는 데이터 수신부;상기 수신된 이미지 정보에 대한 특징점과 텍스트 정보에 대한 특징점을 각각 도출하는 특징점 도출부;상기 도출된 각각의 특징점으로 이미지 데이터와 텍스트 데이터 각각에 대하여 적어도 하나의 이미지 입력 데이터와 텍스트 입력 데이터를 생성하고, 생성된 적어도 하나의 이미지 입력 데이터 또는 텍스트 입력 데이터에 대해 각각의 입력 데이터를 벡터내적한 다음, 소프트맥스(Softmax) 함수로 연산하여 연산된 값 중 가장 큰 값의 제1 이미지 결과 데이터와 제1 텍스트 결과 데이터를 도출하며, 도출된 제1 이미지 결과 데이터와 이미지 입력 데이터 및 제1 텍스트 결과 데이터와 텍스트 입력 데이터를 벡터내적하여 상기 이미지 및 텍스트 데이터가 정규화된 이미지 정규화 데이터와 텍스트 정규화 데이터를 생성하는 자기 교차부;상기 이미지 정규화 데이터와 상기 텍스트 정규화 데이터 각각을 복제하여 적어도 하나의 이미지 복제 데이터와 텍스트 복제 데이터를 생성하고, 상기 생성된 적어도 하나의 이미지 복제 데이터 및 텍스트 복제 데이터 각각을 행렬곱으로 연산하고, 연산된 데이터의 값이 너무 크거나 작은 값들을 제거하도록 스케일링 한 다음, 소프트맥스 함수로 연산하여 연산된 값 중 가장 큰 값의 제2 이미지 결과 데이터와 제2 텍스트 결과 데이터를 도출하고, 도출된 각각의 상기 제2 이미지 결과 데이터와 상기 텍스트 정규화 데이터 및 상기 제2 텍스트 결과 데이터와 상기 이미지 정규화 데이터를 행렬곱으로 연산하여 이미지 데이터에 텍스트 데이터가 융합된 이미지-텍스트 융합 데이터와 텍스트 데이터에 이미지 데이터가 융합된 텍스트-이미지 융합 데이터를 생성하는 상호 교차 융합부; 및상기 이미지-텍스트 융합 데이터와 텍스트-이미지 융합 데이터에 대한 임베디드 분포 간의 쿨백-라이블러 발산(Kullback Leibler divergence)을 최소화하여 최종 융합 데이터를 도출하는 융합 데이터 도출부를 포함하는 멀티모달 데이터 융합 시스템
2 2
제1항에 있어서,상기 자기 교차부는 상기 이미지 데이터와 텍스트 데이터에서 노이즈(Noise)를 제거하는 것을 특징으로 하는 멀티모달 데이터 융합 시스템
3 3
삭제
4 4
외부로부터 이미지 및 텍스트 정보를 수신하는 데이터 수신 단계;상기 수신된 이미지 정보에 대한 특징점과 텍스트 정보에 대한 특징점을 각각 도출하는 특징점 도출 단계;상기 도출된 각각의 특징점으로 이미지 데이터와 텍스트 데이터 각각에 대하여 적어도 하나의 이미지 입력 데이터와 텍스트 입력 데이터를 생성하는 입력 데이터 생성 단계;상기 생성된 적어도 하나의 이미지 입력 데이터 또는 텍스트 입력 데이터에 대해 각각의 입력 데이터를 벡터내적한 다음, 소프트맥스(Softmax) 함수로 연산하여 연산된 값 중 가장 큰 값의 제1 이미지 결과 데이터와 제1 텍스트 결과 데이터를 도출하는 제1 결과 데이터 도출 단계;상기 도출된 제1 이미지 결과 데이터와 이미지 입력 데이터 및 제1 텍스트 결과 데이터와 텍스트 입력 데이터를 벡터내적하여 상기 이미지 및 텍스트 데이터가 정규화된 이미지 정규화 데이터와 텍스트 정규화 데이터를 생성하는 정규화 단계;상기 이미지 정규화 데이터와 상기 텍스트 정규화 데이터 각각을 복제하여 적어도 하나의 이미지 복제 데이터와 텍스트 복제 데이터를 생성하고, 생성된 적어도 하나의 이미지 복제 데이터 및 텍스트 복제 데이터 각각을 행렬곱으로 연산하고, 연산된 데이터의 값이 너무 크거나 작은 값들을 제거하도록 스케일링 한 다음, 소프트맥스 함수로 연산하여 연산된 값 중 가장 큰 값의 제2 이미지 결과 데이터와 제2 텍스트 결과 데이터를 도출하는 제2 결과 데이터 도출 단계;상기 도출된 각각의 상기 제2 이미지 결과 데이터와 상기 텍스트 정규화 데이터 및 상기 제2 텍스트 결과 데이터와 상기 이미지 정규화 데이터를 행렬곱으로 연산하여 이미지 데이터에 텍스트 데이터가 융합된 이미지-텍스트 융합 데이터와 텍스트 데이터에 이미지 데이터가 융합된 텍스트-이미지 융합 데이터를 생성하는 상호 교차 융합 단계; 및상기 이미지-텍스트 융합 데이터와 텍스트-이미지 융합 데이터에 대한 임베디드 분포 간의 쿨백-라이블러 발산(Kullback Leibler divergence)을 최소화하여 최종 융합 데이터를 도출하는 융합 데이터 도출 단계를 포함하는 멀티모달 데이터 융합 방법
지정국 정보가 없습니다
패밀리정보가 없습니다
순번, 연구부처, 주관기관, 연구사업, 연구과제의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 국가R&D 연구정보 정보 표입니다.
순번 연구부처 주관기관 연구사업 연구과제
1 과학기술정보통신부 전남대학교산학협력단 정보통신방송혁신인재양성(R＆D) 도시 재난재해 대응 ICT 융합 시스템 연구