맞춤기술찾기

홈으로 가기
맞춤기술찾기
이전대상기술
프린트하기

이전대상기술

시맨틱 온톨로지를 이용한 도메인특화 이미지캡션 자동 생성 장치 및 방법

  • 기술번호 : KST2021015850
  • 담당센터 : 대전기술혁신센터
  • 전화번호 : 042-610-2279
상담신청 PDF 받기
요약, Int. CL, CPC, 출원번호/일자, 출원인, 등록번호/일자, 공개번호/일자, 공고번호/일자, 국제출원번호/일자, 국제공개번호/일자, 우선권정보, 법적상태, 심사진행상태, 심판사항, 구분, 원출원번호/일자, 관련 출원번호, 기술이전 희망, 심사청구여부/일자, 심사청구항수의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 서지정보 표입니다.
요약 본 발명은 시맨틱 온톨로지를 이용한 도메인특화 이미지캡션 자동 생성 장치에 관한 것으로, 클라이언트로부터 제공받은 이미지를 설명하는 문장 형태의 이미지캡션을 생성하는 캡션 생성기;를 포함하며, 상기 클라이언트는 사용자 디바이스;를 포함하고, 상기 캡션 생성기는 상기 사용자 디바이스와 유무선 통신 방식으로 연결된 서버;를 포함한다.
Int. CL H04N 21/488 (2011.01.01) H04N 5/265 (2006.01.01) G06T 11/60 (2006.01.01) G06N 3/08 (2006.01.01)
CPC H04N 21/4888(2013.01) H04N 5/265(2013.01) G06T 11/60(2013.01) G06N 3/08(2013.01) G06F 40/30(2013.01)
출원번호/일자 1020200049189 (2020.04.23)
출원인 한국과학기술원
등록번호/일자
공개번호/일자 10-2021-0130980 (2021.11.02) 문서열기
공고번호/일자
국제출원번호/일자
국제공개번호/일자
우선권정보
법적상태 공개
심사진행상태 수리
심판사항
구분 국내출원/신규
원출원번호/일자
관련 출원번호
심사청구여부/일자 Y (2020.10.20)
심사청구항수 24

출원인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 출원인 표입니다.
번호 이름 국적 주소
1 한국과학기술원 대한민국 대전광역시 유성구

발명자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 발명자 표입니다.
번호 이름 국적 주소
1 최호진 대전광역시 유성구
2 한승호 대전광역시 유성구

대리인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 대리인 표입니다.
번호 이름 국적 주소
1 특허법인아주 대한민국 서울특별시 강남구 강남대로 ***, **,**층(역삼동, 동희빌딩)

최종권리자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 최종권리자 표입니다.
번호 이름 국적 주소
최종권리자 정보가 없습니다
번호, 서류명, 접수/발송일자, 처리상태, 접수/발송일자의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 행정처리 표입니다.
번호 서류명 접수/발송일자 처리상태 접수/발송번호
1 [특허출원]특허출원서
[Patent Application] Patent Application		 2020.04.23 수리 (Accepted) 1-1-2020-0418098-73
2 출원인정보변경(경정)신고서
Notification of change of applicant's information		 2020.05.15 수리 (Accepted) 4-1-2020-5108396-12
3 출원인정보변경(경정)신고서
Notification of change of applicant's information		 2020.06.12 수리 (Accepted) 4-1-2020-5131486-63
4 [출원인변경]권리관계변경신고서
[Change of Applicant] Report on Change of Proprietary Status		 2020.10.12 수리 (Accepted) 1-1-2020-1070299-15
5 [심사청구]심사청구서·우선심사신청서
 2020.10.20 수리 (Accepted) 1-1-2020-1107973-26
6 의견제출통지서
Notification of reason for refusal		 2021.12.13 발송처리완료 (Completion of Transmission) 9-5-2021-0974316-10
번호, 청구항의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 청구항 표입니다.
번호 청구항
1 1
클라이언트로부터 제공받은 이미지를 설명하는 문장 형태의 이미지캡션을 생성하는 캡션 생성기;를 포함하며,상기 클라이언트는 사용자 디바이스;를 포함하고,상기 캡션 생성기는 상기 사용자 디바이스와 유무선 통신 방식으로 연결된 서버;를 포함하는 것을 특징으로 하는 시맨틱 온톨로지를 이용한 도메인특화 이미지캡션 자동 생성 장치
2 2
제 1항에 있어서, 상기 캡션 생성기는,이미지캡션 생성부를 통해 사용자 디바이스로부터 전달 받은 이미지를 딥러닝 알고리즘을 이용하여 이미지 내 속성과 오브젝트 정보를 찾고, 상기 찾은 정보를 이용하여 자연어를 이용해 이미지를 설명하는 문장 형태의 이미지캡션을 생성하는 것을 특징으로 하는 시맨틱 온톨로지를 이용한 도메인특화 이미지캡션 자동 생성 장치
3 3
제 1항에 있어서, 상기 캡션 생성기는,온톨로지 생성부를 통해 사용자가 목표로 하는 도메인에 대한 시맨틱 온톨로지를 생성하는 것을 특징으로 하는 시맨틱 온톨로지를 이용한 도메인특화 이미지캡션 자동 생성 장치
4 4
제 1항에 있어서, 상기 캡션 생성기는,이미지캡션 생성부와 온톨로지 생성부의 결과들을 이용하는 도메인특화 이미지캡션 생성보를 통해 상기 이미지캡션 생성부에서 생성된 캡션 중 특정된 일반 단어를 도메인특화 단어로 대체하여 도메인에 특화된 이미지캡션을 생성하는 것을 특징으로 하는 시맨틱 온톨로지를 이용한 도메인특화 이미지캡션 자동 생성 장치
5 5
제 1항에 있어서, 상기 캡션 생성기는,사용자 디바이스로부터 도메인에 특화된 이미지가 입력되면,이미지캡션 생성부가 상기 입력된 이미지에 대한 속성과 오브젝트 정보를 추출하고, 추출된 정보를 이용하여 문장 형태의 이미지캡션을 생성하고,온톨로지 생성부가 온톨로지 생성 도구를 이용하여 상기 생성된 이미지캡션의 특정 단어들과 관련된 온톨로지 정보인 도메인특화 정보를 추출하며,도메인특화 이미지캡션 생성부가 상기 생성된 이미지캡션과 상기 추출된 온톨로지 정보인 도메인특화 정보를 이용하여 상기 문장 형태의 이미지캡션에서 특정된 일반 단어를 도메인특화 단어로 대체하여 도메인 특화된 이미지캡션 문장을 생성하는 것을 특징으로 하는 시맨틱 온톨로지를 이용한 도메인특화 이미지캡션 자동 생성 장치
6 6
제 2항에 있어서, 상기 이미지 캡션 생성부는,이미지를 입력받으면, 속성 추출을 통해 이미지와 가장 관련된 단어들을 추출하고 추출된 각 단어들을 벡터 표현으로 변환하고, 상기 이미지에 대한 오브젝트 인식을 통해 이미지 내의 중요 오브젝트들을 추출하여 각 오브젝트 영역들을 벡터 표현으로 변환하며,상기 속성 추출과 오브젝트 인식을 통해 생성된 벡터들 이용하여 상기 입력받은 이미지를 설명하는 문장 형태의 이미지캡션을 생성하는 것을 특징으로 하는 시맨틱 온톨로지를 이용한 도메인특화 이미지캡션 자동 생성 장치
7 7
제 6항에 있어서, 상기 이미지 캡션 생성부는,상기 이미지에 대한 오브젝트 인식을 위하여, 딥러닝 기반 오브젝트 인식 모델을 활용하여 미리 학습하고, 입력된 이미지 내의 미리 정의된 오브젝트 집합에 해당하는 부분의 오브젝트 영역을 추출하는 것을 특징으로 하는 시맨틱 온톨로지를 이용한 도메인특화 이미지캡션 자동 생성 장치
8 8
제 6항에 있어서, 상기 이미지 캡션 생성부는,이미지 및 문법 정보가 태깅된 이미지캡션 데이터를 입력받아 학습하고,입력된 이미지와 이미지캡션 데이터로부터 이미지의 속성 추출을 통해 이미지에 관련된 단어 정보들을 추출하여 이를 벡터 표현으로 변환하고 이 벡터들의 평균을 계산하며,또한 이미지의 오브젝트 인식을 통해 이미지에 관련된 오브젝트 영역 정보들을 추출하여 이를 벡터 표현으로 변환하고 이 벡터들의 평균을 계산하고,상기 이미지의 속성 추출을 통해 얻은 단어 벡터들에 대해서 이전 시간 단계에서 생성한 단어와 문법을 고려하여 현재 시간 단계에서 생성할 단어와 연관이 높은 벡터들에 대해서 단어 주의도(attention score)를 계산하며,상기 이미지의 오브젝트 인식을 통해 얻은 영역 벡터들에 대해서 영역 주의도를 계산하고, 상기 생성된 단어 주의도 및 영역 주의도 값들과 이미지 속성 추출 과정을 통해 계산한 평균 벡터, 이미지 오브젝트 인식 과정을 통해 계산한 평균 벡터 값, 이전의 언어 생성 과정에서 생성한 단어, 및 이전까지 언어 생성 과정을 통해 생성했던 모든 단어들에 대한 압축된 정보(hidden state value)를 모두 고려하여 현재 시간단계에서 단어 및 단어의 문법 태그를 예측하며,상기 예측한 단어 및 단어의 문법 태그에 대해서 정답 캡션 문장과 비교하여 생성된 단어와 문법 태그에 대한 손실값을 각각 계산하고, 상기 손실값들을 반영하여 이미지캡션 생성 과정의 학습 파라미터들을 업데이트하는 것을 특징으로 하는 시맨틱 온톨로지를 이용한 도메인특화 이미지캡션 자동 생성 장치
9 9
제 6항에 있어서, 상기 이미지 캡션 생성부는,상기 이미지에 대한 속성 추출을 위하여, 딥러닝 알고리즘 기반의 이미지-텍스트 임베딩 모델을 이용하여 미리 학습하고, 상기 이미지-텍스트 임베딩 모델은, 복수의 이미지와 각 이미지와 관련된 단어들을 하나의 벡터 공간에 맵핑하여, 새로운 이미지가 입력되었을 때, 새로운 이미지와 관련된 단어들을 출력하거나 추출해주는 모델이며, 각 이미지에 관련된 단어들은 이미지캡션 데이터베이스를 이용하여 미리 추출하여 학습에 이용하는 것을 특징으로 하는 시맨틱 온톨로지를 이용한 도메인특화 이미지캡션 자동 생성 장치
10 10
제 6항에 있어서, 상기 문장 형태의 이미지캡션을 생성하기 위하여,상기 이미지 캡션 생성부는,속성 주의 과정, 오브젝트 주의 과정, 문법 학습 과정, 및 언어 생성 과정을 수행하며, 이 과정들은 딥러닝 알고리즘을 이용해 학습이 이루어지고, 또한RNN(Recurrent neural network) 기반으로 문장을 생성하는 것을 특징으로 하는 시맨틱 온톨로지를 이용한 도메인특화 이미지캡션 자동 생성 장치
11 11
제 10항에 있어서,상기 속성 주의 과정은, 이미지의 속성 추출을 통해 생성된 벡터들에 대해 현재 시간 단계에서 상기 언어 생성 과정에서 생성할 단어와 관련성이 높은 단어 순서로 단어 주의도(attention score)를 부여하며,상기 오브젝트 주의 과정은, 이미지의 오브젝트 인식을 통해 생성된 오브젝트 영역들에 대해서 현재 시간 단계에서 상기 언어 생성 과정에서 생성할 단어와 관련성이 높은 영역 순서로 영역 주의도(attention score)를 부여하며,상기 단어 주의도 및 영역 주의도는 0에서 1사이의 값을 가지며, 현재 시간 단계에서 생성된 단어와 관련성이 높을수록 1에 가까운 값을 부여받는 것을 특징으로 하는 시맨틱 온톨로지를 이용한 도메인특화 이미지캡션 자동 생성 장치
12 12
제 10항에 있어서,상기 문법 학습 과정과 언어 생성 과정은, 하나의 딥러닝 모델로 단어 주의도 및 영역 주의도 값들과 상기 속성 주의 과정에서 생성된 벡터들의 평균과 상기 오브젝트 주의 과정에서 생성된 벡터들의 평균값들을 사용하여 각 시간 단계마다 캡션을 위한 단어와 이에 대한 문법 태그를 생성하는 것을 특징으로 하는 시맨틱 온톨로지를 이용한 도메인특화 이미지캡션 자동 생성 장치
13 13
클라이언트가 캡션을 생성할 이미지를 캡션 생성기에 제공하는 단계; 및캡션 생성기가 상기 클라이언트로부터 제공받은 이미지를 설명하는 문장 형태의 이미지캡션을 생성하는 단계;를 포함하며,상기 클라이언트는 사용자 디바이스;를 포함하고,상기 캡션 생성기는 상기 사용자 디바이스와 유무선 통신 방식으로 연결된 서버;를 포함하는 것을 특징으로 하는 시맨틱 온톨로지를 이용한 도메인특화 이미지캡션 자동 생성 방법
14 14
제 13항에 있어서, 상기 문장 형태의 이미지캡션을 생성하기 위하여,상기 캡션 생성기는,이미지캡션 생성부를 통해 사용자 디바이스로부터 전달 받은 이미지를 딥러닝 알고리즘을 이용하여 이미지 내 속성과 오브젝트 정보를 찾고, 상기 찾은 정보를 이용하여 자연어를 이용해 이미지를 설명하는 문장 형태의 이미지캡션을 생성하는 것을 특징으로 하는 시맨틱 온톨로지를 이용한 도메인특화 이미지캡션 자동 생성 방법
15 15
제 13항에 있어서, 상기 문장 형태의 이미지캡션을 생성하기 위하여,상기 캡션 생성기는,온톨로지 생성부를 통해 사용자가 목표로 하는 도메인에 대한 시맨틱 온톨로지를 생성하는 것을 특징으로 하는 시맨틱 온톨로지를 이용한 도메인특화 이미지캡션 자동 생성 방법
16 16
제 13항에 있어서, 상기 문장 형태의 이미지캡션을 생성하기 위하여,상기 캡션 생성기는,이미지캡션 생성부와 온톨로지 생성부의 결과들을 이용하는 도메인특화 이미지캡션 생성보를 통해 상기 이미지캡션 생성부에서 생성된 캡션 중 특정된 일반 단어를 도메인특화 단어로 대체하여 도메인에 특화된 이미지캡션을 생성하는 것을 특징으로 하는 시맨틱 온톨로지를 이용한 도메인특화 이미지캡션 자동 생성 방법
17 17
제 13항에 있어서, 상기 사용자 디바이스로부터 도메인에 특화된 이미지가 입력되면,상기 캡션 생성기는,이미지캡션 생성부가 상기 입력된 이미지에 대한 속성과 오브젝트 정보를 추출하고, 추출된 정보를 이용하여 문장 형태의 이미지캡션을 생성하고,온톨로지 생성부가 온톨로지 생성 도구를 이용하여 상기 생성된 이미지캡션의 특정 단어들과 관련된 온톨로지 정보인 도메인특화 정보를 추출하며,도메인특화 이미지캡션 생성부가 상기 생성된 이미지캡션과 상기 추출된 온톨로지 정보인 도메인특화 정보를 이용하여 상기 문장 형태의 이미지캡션에서 특정된 일반 단어를 도메인특화 단어로 대체하여 도메인 특화된 이미지캡션 문장을 생성하는 것을 특징으로 하는 시맨틱 온톨로지를 이용한 도메인특화 이미지캡션 자동 생성 방법
18 18
제 14항에 있어서, 상기 사용자 디바이스로부터 도메인에 특화된 이미지가 입력되면,상기 이미지 캡션 생성부는,속성 추출을 통해 이미지와 가장 관련된 단어들을 추출하고 추출된 각 단어들을 벡터 표현으로 변환하고, 상기 이미지에 대한 오브젝트 인식을 통해 이미지 내의 중요 오브젝트들을 추출하여 각 오브젝트 영역들을 벡터 표현으로 변환하며,상기 속성 추출과 오브젝트 인식을 통해 생성된 벡터들 이용하여 상기 입력받은 이미지를 설명하는 문장 형태의 이미지캡션을 생성하는 것을 특징으로 하는 시맨틱 온톨로지를 이용한 도메인특화 이미지캡션 자동 생성 방법
19 19
제 18항에 있어서, 상기 이미지를 설명하는 문장 형태의 이미지캡션을 생성하기 위하여,상기 이미지 캡션 생성부는,상기 이미지에 대한 오브젝트 인식을 위하여, 딥러닝 기반 오브젝트 인식 모델을 활용하여 미리 학습하고, 입력된 이미지 내의 미리 정의된 오브젝트 집합에 해당하는 부분의 오브젝트 영역을 추출하는 것을 특징으로 하는 시맨틱 온톨로지를 이용한 도메인특화 이미지캡션 자동 생성 방법
20 20
제 18항에 있어서, 상기 이미지를 설명하는 문장 형태의 이미지캡션을 생성하기 위하여,상기 이미지 캡션 생성부는,이미지 및 문법 정보가 태깅된 이미지캡션 데이터를 입력받아 학습하고,입력된 이미지와 이미지캡션 데이터로부터 이미지의 속성 추출을 통해 이미지에 관련된 단어 정보들을 추출하여 이를 벡터 표현으로 변환하고 이 벡터들의 평균을 계산하며,또한 이미지의 오브젝트 인식을 통해 이미지에 관련된 오브젝트 영역 정보들을 추출하여 이를 벡터 표현으로 변환하고 이 벡터들의 평균을 계산하고,상기 이미지의 속성 추출을 통해 얻은 단어 벡터들에 대해서 이전 시간 단계에서 생성한 단어와 문법을 고려하여 현재 시간 단계에서 생성할 단어와 연관이 높은 벡터들에 대해서 단어 주의도(attention score)를 계산하며,상기 이미지의 오브젝트 인식을 통해 얻은 영역 벡터들에 대해서 영역 주의도를 계산하고, 상기 생성된 단어 주의도 및 영역 주의도 값들과 이미지 속성 추출 과정을 통해 계산한 평균 벡터, 이미지 오브젝트 인식 과정을 통해 계산한 평균 벡터 값, 이전의 언어 생성 과정에서 생성한 단어, 및 이전까지 언어 생성 과정을 통해 생성했던 모든 단어들에 대한 압축된 정보(hidden state value)를 모두 고려하여 현재 시간단계에서 단어 및 단어의 문법 태그를 예측하며,상기 예측한 단어 및 단어의 문법 태그에 대해서 정답 캡션 문장과 비교하여 생성된 단어와 문법 태그에 대한 손실값을 각각 계산하고, 상기 손실값들을 반영하여 이미지캡션 생성 과정의 학습 파라미터들을 업데이트하는 것을 특징으로 하는 시맨틱 온톨로지를 이용한 도메인특화 이미지캡션 자동 생성 방법
21 21
제 18항에 있어서, 상기 이미지에 대한 속성 추출을 위하여, 상기 이미지 캡션 생성부는, 딥러닝 알고리즘 기반의 이미지-텍스트 임베딩 모델을 이용하여 미리 학습하고, 상기 이미지-텍스트 임베딩 모델은, 복수의 이미지와 각 이미지와 관련된 단어들을 하나의 벡터 공간에 맵핑하여, 새로운 이미지가 입력되었을 때, 새로운 이미지와 관련된 단어들을 출력하거나 추출해주는 모델이며, 각 이미지에 관련된 단어들은 이미지캡션 데이터베이스를 이용하여 미리 추출하여 학습에 이용하는 것을 특징으로 하는 시맨틱 온톨로지를 이용한 도메인특화 이미지캡션 자동 생성 방법
22 22
제 18항에 있어서, 상기 문장 형태의 이미지캡션을 생성하기 위하여,상기 이미지 캡션 생성부는,속성 주의 과정, 오브젝트 주의 과정, 문법 학습 과정, 및 언어 생성 과정을 수행하며, 이 과정들은 딥러닝 알고리즘을 이용해 학습이 이루어지고, 또한RNN(Recurrent neural network) 기반으로 문장을 생성하는 것을 특징으로 하는 시맨틱 온톨로지를 이용한 도메인특화 이미지캡션 자동 생성 방법
23 23
제 22항에 있어서,상기 속성 주의 과정은, 이미지의 속성 추출을 통해 생성된 벡터들에 대해 현재 시간 단계에서 상기 언어 생성 과정에서 생성할 단어와 관련성이 높은 단어 순서로 단어 주의도(attention score)를 부여하며,상기 오브젝트 주의 과정은, 이미지의 오브젝트 인식을 통해 생성된 오브젝트 영역들에 대해서 현재 시간 단계에서 상기 언어 생성 과정에서 생성할 단어와 관련성이 높은 영역 순서로 영역 주의도(attention score)를 부여하며,상기 단어 주의도 및 영역 주의도는 0에서 1사이의 값을 가지며, 현재 시간 단계에서 생성된 단어와 관련성이 높을수록 1에 가까운 값을 부여받는 것을 특징으로 하는 시맨틱 온톨로지를 이용한 도메인특화 이미지캡션 자동 생성 방법
24 24
제 22항에 있어서,상기 문법 학습 과정과 언어 생성 과정은, 하나의 딥러닝 모델로 단어 주의도 및 영역 주의도 값들과 상기 속성 주의 과정에서 생성된 벡터들의 평균과 상기 오브젝트 주의 과정에서 생성된 벡터들의 평균값들을 사용하여 각 시간 단계마다 캡션을 위한 단어와 이에 대한 문법 태그를 생성하는 것을 특징으로 하는 시맨틱 온톨로지를 이용한 도메인특화 이미지캡션 자동 생성 방법
지정국 정보가 없습니다
순번, 패밀리번호, 국가코드, 국가명, 종류의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 패밀리정보 - 패밀리정보 표입니다.
순번 패밀리번호 국가코드 국가명 종류
1 WO2021215620 WO 세계지적재산권기구(WIPO) FAMILY

DOCDB 패밀리 정보

순번, 패밀리번호, 국가코드, 국가명, 종류의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 패밀리정보 - DOCDB 패밀리 정보 표입니다.
순번 패밀리번호 국가코드 국가명 종류
1 WO2021215620 WO 세계지적재산권기구(WIPO) DOCDBFAMILY
순번, 연구부처, 주관기관, 연구사업, 연구과제의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 국가R&D 연구정보 정보 표입니다.
순번 연구부처 주관기관 연구사업 연구과제
1 한국전력공사 한국과학기술원 용역사업 XAI(eXplainable AI) 기반 스마트 에너지 플랫폼 기술 개발