맞춤기술찾기

홈으로 가기
맞춤기술찾기
이전대상기술
프린트하기

이전대상기술

이미지 다중 캡션 자동 생성 방법 및 시스템

  • 기술번호 : KST2021005356
  • 담당센터 : 경기기술혁신센터
  • 전화번호 : 031-8006-1570
상담신청 PDF 받기
요약, Int. CL, CPC, 출원번호/일자, 출원인, 등록번호/일자, 공개번호/일자, 공고번호/일자, 국제출원번호/일자, 국제공개번호/일자, 우선권정보, 법적상태, 심사진행상태, 심판사항, 구분, 원출원번호/일자, 관련 출원번호, 기술이전 희망, 심사청구여부/일자, 심사청구항수의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 서지정보 표입니다.
요약 이미지 다중 캡션 자동 생성 방법 및 시스템이 제공된다. 본 발명의 실시예에 따른 이미지 다중 캡션 자동 생성 모델 학습 방법은, 이미지를 이용하여 캡션주의지도를 생성하고, 생성된 캡션주의지도를 잠재 공간에 프로젝션하여 잠재 변수로 변환하며, 잠재 변수를 이용하여 가이드 맵을 도출하고, 가이드맵과 이미지를 이용하여 이미지의 캡션 생성을 학습한다. 이에 의해, 이미지가 가지는 다양한 특징을 설명하고, 다양한 표현을 포함하는 다수의 캡션을 자동으로 생성할 수 있게 된다.
Int. CL G06N 3/08 (2006.01.01) G06F 16/583 (2019.01.01)
CPC
출원번호/일자 1020210058325 (2021.05.06)
출원인 한국전자기술연구원
등록번호/일자
공개번호/일자 10-2021-0053864 (2021.05.12) 문서열기
공고번호/일자
국제출원번호/일자
국제공개번호/일자
우선권정보
법적상태 공개
심사진행상태 수리
심판사항
구분 분할
원출원번호/일자 10-2019-0131094 (2019.10.22)
관련 출원번호 1020190131094
심사청구여부/일자 Y (2021.05.06)
심사청구항수 8

출원인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 출원인 표입니다.
번호 이름 국적 주소
1 한국전자기술연구원 대한민국 경기도 성남시 분당구

발명자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 발명자 표입니다.
번호 이름 국적 주소
1 김보은 서울특별시 광진구
2 정혜동 서울특별시 송파구

대리인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 대리인 표입니다.
번호 이름 국적 주소
1 남충우 대한민국 서울 강남구 언주로 ***, *층(역삼동, 광진빌딩)(알렉스국제특허법률사무소)

최종권리자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 최종권리자 표입니다.
번호 이름 국적 주소
최종권리자 정보가 없습니다
번호, 서류명, 접수/발송일자, 처리상태, 접수/발송일자의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 행정처리 표입니다.
번호 서류명 접수/발송일자 처리상태 접수/발송번호
1 [분할출원]특허출원서
[Divisional Application] Patent Application		 2021.05.06 수리 (Accepted) 1-1-2021-0523321-36
번호, 청구항의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 청구항 표입니다.
번호 청구항
1 1
이미지 다중 캡션 자동 생성 시스템이, 이미지를 이용하여 캡션주의지도(Caption Attention Map)를 생성하는 단계;이미지 다중 캡션 자동 생성 시스템이, 생성된 캡션주의지도를 잠재 공간(latent space)에 프로젝션하여 잠재 변수(latent variable)로 변환하는 단계;이미지 다중 캡션 자동 생성 시스템이, 잠재 변수를 샘플링하는 단계; 이미지 다중 캡션 자동 생성 시스템이, 샘플링된 잠재 변수를 이용하여 이미지의 특성을 추출하는 단계;이미지 다중 캡션 자동 생성 시스템이, 추출된 특성으로부터 도출된 문장과 ground truth 문장 간의 loss를 계산하는 단계;이미지 다중 캡션 자동 생성 시스템이, loss를 줄이는 방향으로 이미지의 캡션 생성을 학습하는 단계;를 포함하는 이미지 다중 캡션 자동 생성 모델 학습 방법
2 2
청구항 1에 있어서,생성 단계는,이미지를 CNN에 입력하여 이미지 특성을 추출하는 단계;추출된 이미지 특성을 이용하여 단어를 생성할 때 영향을 주는 이미지의 부분을 나타낸 제1 지도와 이미지 정보가 영향을 주는 정도를 나타낸 제2 지도를 생성하는 단계; 및제1 지도와 제2 지도를 가중합하여, 캡션주의지도를 생성하는 단계;를 포함하는 것을 특징으로 하는 이미지 다중 캡션 자동 생성 모델 학습 방법
3 3
청구항 2에 있어서,제1 지도와 제2 지도 생성 단계는,추출된 이미지 특성을 RNN에 입력하여 제1 지도와 제2 지도를 생성하는 것을 특징으로 하는 이미지 다중 캡션 자동 생성 모델 학습 방법
4 4
청구항 1에 있어서,변환 단계는,캡션주의지도를 레이어에 통과시켜, 평균과 분산에 해당하는 잠재 변수로 변환하는 것을 특징으로 하는 이미지 다중 캡션 자동 생성 모델 학습 방법
5 5
청구항 4에 있어서,잠재 변수는,벡터 크기를 설정 가능하며,레이어는,종류와 개수를 설정 가능한 것을 특징으로 하는 이미지 다중 캡션 자동 생성 모델 학습 방법
6 6
이미지를 입력받는 획득부; 및이미지를 이용하여 캡션주의지도(Caption Attention Map)를 생성하고, 생성된 캡션주의지도를 잠재 공간(latent space)에 프로젝션하여 잠재 변수(latent variable)로 변환하며, 잠재 변수를 샘플링하고, 샘플링된 잠재 변수를 이용하여 이미지의 특성을 추출하며, 추출된 특성으로부터 도출된 문장과 ground truth 문장 간의 loss를 계산하고 loss를 줄이는 방향으로 이미지의 캡션 생성을 학습하는 프로세서;를 포함하는 것을 특징으로 하는 이미지 다중 캡션 자동 생성 시스템
7 7
이미지 다중 캡션 자동 생성 시스템이, 잠재 공간에서 잠재 변수를 샘플링하는 단계;이미지 다중 캡션 자동 생성 시스템이, 샘플링된 잠재 변수를 이용하여 이미지의 특성을 추출하는 단계;이미지 다중 캡션 자동 생성 시스템이, 추출된 특성으로부터 문장을 도출하여 캡션을 생성하는 단계;를 포함하는 것을 특징으로 하는 이미지 다중 캡션 자동 생성 방법
8 8
이미지를 입력받는 획득부; 및잠재 공간에서 잠재 변수를 샘플링하고, 샘플링된 잠재 변수를 이용하여 이미지의 특성을 추출하고, 추출된 특성으로부터 문장을 도출하여 캡션을 생성하는 프로세서;를 포함하는 것을 특징으로 하는 이미지 다중 캡션 자동 생성 시스템
지정국 정보가 없습니다
패밀리정보가 없습니다
순번, 연구부처, 주관기관, 연구사업, 연구과제의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 국가R&D 연구정보 정보 표입니다.
순번 연구부처 주관기관 연구사업 연구과제
1 과학기술정보통신부 전자부품연구원 ICT융합산업원천기술개발(R＆D) (지능정보-총괄/1세부) 자율지능 디지털 동반자 프레임워크 및 응용 연구개발