맞춤기술찾기

홈으로 가기
맞춤기술찾기
이전대상기술
프린트하기

이전대상기술

객체 간의 상관 관계에 기반한 비전-언어 사전학습 방법

  • 기술번호 : KST2023005434
  • 담당센터 : 인천기술혁신센터
  • 전화번호 : 032-420-3580
상담신청 PDF 받기
요약, Int. CL, CPC, 출원번호/일자, 출원인, 등록번호/일자, 공개번호/일자, 공고번호/일자, 국제출원번호/일자, 국제공개번호/일자, 우선권정보, 법적상태, 심사진행상태, 심판사항, 구분, 원출원번호/일자, 관련 출원번호, 기술이전 희망, 심사청구여부/일자, 심사청구항수의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 서지정보 표입니다.
요약 객체 간의 상관 관계에 기반한 비전-언어 사전학습 방법은 모델 생성 장치가 영상과 문장 쌍으로 구성된 데이터는 입력받는 단계, 상기 모델 생성 장치가 상기 영상에 대한 객체 탐지를 수행하여 서로 클래스가 다른 객체들의 영역을 구분하고, 상기 객체들의 위치 및 클래스 발생 빈도에 따른 통합적 객체에 대한 특징 벡터를 추출하는 단계, 상기 모델 생성 장치가 상기 문장에 대한 토큰을 추출하고, 상기 영상에 대한 장면 그래프 분석을 이용하여 생성된 장면 그래프로부터 관계 구문에 대한 토큰화된 텍스트 시퀀스를 추출하는 단계 및 상기 모델 생성 장치가 상기 영상에서 추출한 특징 벡터, 상기 문장에서 추출한 토큰 및 상기 토큰화된 텍스트 시퀀스를 임베딩하여 비전-언어 사전학습 모델에 입력하여 사전 학습을 수행하는 단계를 포함한다.
Int. CL G06N 3/08 (2023.01.01) G06V 10/774 (2022.01.01) G06V 10/762 (2022.01.01) G06V 30/18 (2022.01.01) G06V 30/24 (2022.01.01) G06F 16/783 (2019.01.01) G06F 40/284 (2020.01.01) G06F 40/268 (2020.01.01) G06F 17/16 (2006.01.01)
CPC G06N 3/08(2013.01) G06V 10/774(2013.01) G06V 10/7635(2013.01) G06V 10/469(2013.01) G06V 30/18181(2013.01) G06V 30/24(2013.01) G06F 16/7837(2013.01) G06F 40/284(2013.01) G06F 40/268(2013.01) G06F 17/16(2013.01)
출원번호/일자 1020220016380 (2022.02.08)
출원인 이화여자대학교 산학협력단
등록번호/일자
공개번호/일자 10-2023-0120219 (2023.08.17) 문서열기
공고번호/일자
국제출원번호/일자
국제공개번호/일자
우선권정보
법적상태 공개
심사진행상태 수리
심판사항
구분 국내출원/신규
원출원번호/일자
관련 출원번호
심사청구여부/일자 Y (2022.02.08)
심사청구항수 10

출원인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 출원인 표입니다.
번호 이름 국적 주소
1 이화여자대학교 산학협력단 대한민국 서울특별시 서대문구

발명자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 발명자 표입니다.
번호 이름 국적 주소
1 강제원 서울특별시 마포구
2 이주희 인천광역시 부평구

대리인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 대리인 표입니다.
번호 이름 국적 주소
1 특허법인(유한)아이시스 대한민국 서울특별시 강남구 선릉로**길**, **층, **층(코아렌빌딩)

최종권리자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 최종권리자 표입니다.
번호 이름 국적 주소
최종권리자 정보가 없습니다
번호, 서류명, 접수/발송일자, 처리상태, 접수/발송일자의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 행정처리 표입니다.
번호 서류명 접수/발송일자 처리상태 접수/발송번호
1 [특허출원]특허출원서
[Patent Application] Patent Application		 2022.02.08 수리 (Accepted) 1-1-2022-0141280-37
번호, 청구항의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 청구항 표입니다.
번호 청구항
1 1
모델 생성 장치가 영상과 문장 쌍으로 구성된 데이터는 입력받는 단계;상기 모델 생성 장치가 상기 영상에 대한 객체 탐지를 수행하여 서로 클래스가 다른 객체들의 영역을 구분하고, 상기 객체들의 위치 및 클래스 발생 빈도에 따른 통합적 객체에 대한 특징 벡터를 추출하는 단계;상기 모델 생성 장치가 상기 문장에 대한 토큰을 추출하고, 상기 영상에 대한 장면 그래프 분석을 이용하여 생성된 장면 그래프로부터 관계 구문에 대한 토큰화된 텍스트 시퀀스를 추출하는 단계; 및상기 모델 생성 장치가 상기 영상에서 추출한 특징 벡터, 상기 문장에서 추출한 토큰 및 상기 토큰화된 텍스트 시퀀스를 임베딩하여 비전-언어 사전학습 모델에 입력하여 사전 학습을 수행하는 단계를 포함하되
2 2
제1항에 있어서,상기 특징 벡터를 추출하는 단계는상기 모델 생성 장치가 상기 객체들의 영역 사이의 거리를 기준으로 거리 행렬을 생성하는 단계;상기 모델 생성 장치가 사전에 구축한 상관관계 행렬에서 상기 객체들의 카테고리를 기준으로 부분 행렬을 추출하는 단계;상기 모델 생성 장치가 상기 거리 행렬과 상기 부분 행렬을 결합하여 선행 행렬을 생성하는 단계; 및상기 모델 생성 장치가 상기 선행 행렬을 기준으로 상관 관계가 큰 상위 N개의 객체 쌍에 대한 상기 특징 벡터를 생성하는 단계를 포함하되,상기 상관관계 행렬을 영상 데이터 세트에서 하나의 이미지에 동시에 등장하는 객체의 빈도를 기준으로 생성되는 객체 간의 상관 관계에 기반한 비전-언어 사전학습 방법
3 3
제2항에 있어서,상기 상관관계 행렬은 시각적 상관관계 행렬 및 언어적 상관관계 행렬로 구성되고, 상기 선행 행렬은 아래 수식으로 표현되는 객체 간의 상관 관계에 기반한 비전-언어 사전학습 방법
4 4
제1항에 있어서,상기 모델 생성 장치가상기 장면 그래프로부터 003c#주어-관계-목적어003e# 성분을 추출하여 상기 관계 구문을 추출하는 객체 간의 상관 관계에 기반한 비전-언어 사전학습 방법
5 5
제1항에 있어서,상기 모델 생성 장치는 상기 영상에서 검출한 객체, 상기 관계 구문 및 상기 문장에서 마스킹되지 않은 토큰 정보를 이용하여 상기 문장에서 마스크된 토큰을 예측하도록 상기 비전-언어 사전학습 모델을 학습하는 객체 간의 상관 관계에 기반한 비전-언어 사전학습 방법
6 6
제1항에 있어서,상기 모델 생성 장치는 상기 영상에서 추출한 특징 벡터와 상기 문장에서 추출한 언어 벡터 쌍을 교환하여 오답 쌍을 생성하고, 정답 쌍과의 유사도를 비교하여 유사도가 높을수록 가깝게 표현하도록 상기 비전-언어 사전학습 모델을 학습하는 객체 간의 상관 관계에 기반한 비전-언어 사전학습 방법
7 7
영상과 문장 쌍으로 구성된 데이터 세트를 입력받는 입력장치;트랜스포머 블록들로 구성된 다수의 계층을 포함하는 비전-언어 사전학습 모델을 저장하는 저장장치; 및상기 데이터 세트 각각에 대하여 상기 영상에 대한 객체 탐지를 수행하여 서로 클래스가 다른 객체들의 영역을 구분하고, 상기 객체들의 위치 및 클래스 발생 빈도에 따른 통합적 객체에 대한 특징 벡터를 추출하고, 상기 문장에 대한 토큰을 추출하고, 상기 영상에 대한 장면 그래프 분석을 이용하여 생성된 장면 그래프로부터 관계 구문에 대한 토큰화된 텍스트 시퀀스를 추출하고, 추출한 상기 특징 벡터, 상기 문장에서 추출한 토큰 및 상기 토큰화된 텍스트 시퀀스를 임베딩하고, 상기 비전-언어 사전학습 모델에 입력하여 사전 학습을 수행하는 연산장치를 포함하되,상기 비전-언어 사전학습 모델은 트랜스포머 블록들로 구성된 다수의 계층을 포함하는 객체 간의 상관 관계에 기반한 비전-언어 사전학습 모델을 구축하는 모델 생성 장치
8 8
제7항에 있어서,상기 연산장치는상기 객체들의 영역 사이의 거리를 기준으로 생성된 거리 행렬 및 사전에 구축한 상관관계 행렬에서 상기 객체들의 카테고리를 기준으로 생성한 부분 행렬을 결합하여 선행 행렬을 생성하고, 상기 선행 행렬을 기준으로 상관 관계가 큰 상위 N개의 객체 쌍에 대한 상기 특징 벡터를 생성하되,상기 상관관계 행렬을 영상 데이터 세트에서 하나의 이미지에 동시에 등장하는 객체의 빈도를 기준으로 생성되는 객체 간의 상관 관계에 기반한 비전-언어 사전학습 모델을 구축하는 모델 생성 장치
9 9
제8항에 있어서,상기 상관관계 행렬은 시각적 상관관계 행렬 및 언어적 상관관계 행렬로 구성되고, 상기 선행 행렬은 아래 수식으로 표현되는 객체 간의 상관 관계에 기반한 비전-언어 사전학습 모델을 구축하는 모델 생성 장치
10 10
제7항에 있어서,상기 연산장치가 상기 장면 그래프로부터 003c#주어-관계-목적어003e# 성분을 추출하여 상기 관계 구문을 추출하는 객체 간의 상관 관계에 기반한 비전-언어 사전학습 모델을 구축하는 모델 생성 장치
지정국 정보가 없습니다
패밀리정보가 없습니다
순번, 연구부처, 주관기관, 연구사업, 연구과제의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 국가R&D 연구정보 정보 표입니다.
순번 연구부처 주관기관 연구사업 연구과제
1 과학기술정보통신부 이화여자대학교산학협력단 정보통신방송혁신인재양성(R＆D) Simulated Reality 콘텐츠 구현을 위한 핵심기술 연구 및 인력양성
2 과학기술정보통신부 이화여자대학교 개인기초연구(과기정통부)(R＆D) 고화질 비디오의 장기간 예측과 해석 가능한 딥러닝 모델 기반의 비디오 신호처리 알고리즘 개발