맞춤기술찾기

이전대상기술

토픽 모델링 기반 시맨틱 이미지 검색 방법, 시스템 및 컴퓨터 프로그램

  • 기술번호 : KST2019000437
  • 담당센터 : 서울동부기술혁신센터
  • 전화번호 : 02-2155-3662
요약, Int. CL, CPC, 출원번호/일자, 출원인, 등록번호/일자, 공개번호/일자, 공고번호/일자, 국제출원번호/일자, 국제공개번호/일자, 우선권정보, 법적상태, 심사진행상태, 심판사항, 구분, 원출원번호/일자, 관련 출원번호, 기술이전 희망, 심사청구여부/일자, 심사청구항수의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 서지정보 표입니다.
요약 본 발명은 시맨틱 이미지 검색 방법, 시스템 및 컴퓨터 프로그램에 관한 것이다. 본 발명은 데이터베이스에 저장된 하나 이상의 데이터베이스 이미지에서 쿼리이미지 또는 검색 키워드에 대응되는 이미지를 검색하는 방법에 있어서, 하나 이상의 태그가 맵핑된 상기 데이터베이스 이미지로부터 하나 이상의 시각 단어 및 하나 이상의 텍스트 단어를 획득하는 전처리 단계, 상기 시각 단어와 상기 텍스트 단어를 이용하여 주제별 시각 단어 분포(), 주제별 텍스트 단어 분포() 및 배경의 시각 단어 분포()를 포함하는 배경분포 토픽모델의 모델 파라미터를 추정하는 단계, 상기 추정된 모델 파라미터를 포함하는 상기 배경분포 토픽모델을 이용하여 상기 데이터베이스 이미지의 주제 분포()를 모델링하는 단계, 상기 주제별 텍스트 단어 분포()와 이미지 내 주제 비율()을 이용하여 상기 데이터베이스 이미지에 대한 상기 태그의 상응도를 산출하고, 그에 따라 상기 태그를 정제하는 단계, 상기 쿼리 이미지를 포함하는 검색 요청이 입력되면 상기 쿼리 이미지로부터 하나 이상의 시각 단어를 획득하고, 상기 추정된 모델 파라미터를 포함하는 상기 배경분포 토픽모델을 이용하여 상기 쿼리 이미지의 주제 분포()를 모델링하는 단계, 상기 데이터베이스 이미지의 주제 분포()와 상기 데이터베이스에서 상기 쿼리 이미지의 주제 분포()를 이용하여 상기 데이터베이스 이미지의 유사도를 평가하는 단계를 포함하는 것을 일 특징으로 한다. 이러한 본 발명에 따르면, 수백만 개의 이미지를 텍스트 또는 이미지를 이용하여 효율적으로 검색할 수 있다.
Int. CL G06F 16/00 (2019.01.01) G06F 17/18 (2006.01.01)
CPC G06F 16/5846(2013.01) G06F 16/5846(2013.01)
출원번호/일자 1020170090390 (2017.07.17)
출원인 경희대학교 산학협력단
등록번호/일자 10-1976081-0000 (2019.04.30)
공개번호/일자 10-2019-0008699 (2019.01.25) 문서열기
공고번호/일자 (20190828) 문서열기
국제출원번호/일자
국제공개번호/일자
우선권정보
법적상태 등록
심사진행상태 수리
심판사항
구분 신규
원출원번호/일자
관련 출원번호
심사청구여부/일자 Y (2017.07.17)
심사청구항수 9

출원인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 출원인 표입니다.
번호 이름 국적 주소
1 경희대학교 산학협력단 대한민국 경기도 용인시 기흥구

발명자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 발명자 표입니다.
번호 이름 국적 주소
1 이영구 대한민국 대전광역시 서구
2 키파야트 울아 칸 파키스탄 경기 용인시 기흥구
3 무하마드 알리 예멘 경기도 용인시 기흥구
4 구엔 안 투 베트남 경기도 용인시 기흥구

대리인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 대리인 표입니다.
번호 이름 국적 주소
1 특허법인도담 대한민국 경기도 성남시 분당구 판교역로 ***, 에스동 ***호(삼평동,에이치스퀘어)

최종권리자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 최종권리자 표입니다.
번호 이름 국적 주소
1 경희대학교 산학협력단 경기도 용인시 기흥구
번호, 서류명, 접수/발송일자, 처리상태, 접수/발송일자의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 행정처리 표입니다.
번호 서류명 접수/발송일자 처리상태 접수/발송번호
1 [특허출원]특허출원서
[Patent Application] Patent Application
2017.07.17 수리 (Accepted) 1-1-2017-0682344-98
2 [대리인선임]대리인(대표자)에 관한 신고서
[Appointment of Agent] Report on Agent (Representative)
2018.06.28 수리 (Accepted) 1-1-2018-0635497-18
3 의견제출통지서
Notification of reason for refusal
2018.07.18 발송처리완료 (Completion of Transmission) 9-5-2018-0486335-15
4 [거절이유 등 통지에 따른 의견]의견(답변, 소명)서
[Opinion according to the Notification of Reasons for Refusal] Written Opinion(Written Reply, Written Substantiation)
2018.09.18 수리 (Accepted) 1-1-2018-0929438-97
5 [명세서등 보정]보정서
[Amendment to Description, etc.] Amendment
2018.09.18 보정승인간주 (Regarded as an acceptance of amendment) 1-1-2018-0929420-76
6 최후의견제출통지서
Notification of reason for final refusal
2018.11.26 발송처리완료 (Completion of Transmission) 9-5-2018-0802625-86
7 [명세서등 보정]보정서
[Amendment to Description, etc.] Amendment
2019.01.22 보정승인 (Acceptance of amendment) 1-1-2019-0075125-04
8 등록결정서
Decision to grant
2019.04.29 발송처리완료 (Completion of Transmission) 9-5-2019-0305289-03
9 [명세서등 보정]보정서(심사관 직권보정)
2019.08.09 보정승인간주 (Regarded as an acceptance of amendment) 1-1-2019-5022474-20
10 출원인정보변경(경정)신고서
Notification of change of applicant's information
2019.08.19 수리 (Accepted) 4-1-2019-5164254-26
번호, 청구항의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 청구항 표입니다.
번호 청구항
1 1
검색 시스템이 데이터베이스에 저장된 하나 이상의 데이터베이스 이미지에서 쿼리이미지 또는 검색 키워드에 대응되는 이미지를 검색하는 방법에 있어서, 하나 이상의 태그가 맵핑된 상기 데이터베이스 이미지로부터 하나 이상의 시각 단어 및 하나 이상의 텍스트 단어를 획득하는 전처리 단계;상기 시각 단어와 상기 텍스트 단어를 이용하여 주제별 시각 단어 분포(), 주제별 텍스트 단어 분포() 및 배경의 시각 단어 분포()를 포함하는 배경분포 토픽모델의 모델 파라미터를 추정하는 단계;상기 추정된 모델 파라미터를 포함하는 상기 배경분포 토픽모델을 이용하여 상기 데이터베이스 이미지의 주제 분포()를 모델링하는 단계;상기 주제별 텍스트 단어 분포()와 이미지 내 주제 비율()을 이용하여 상기 데이터베이스 이미지에 대한 상기 태그의 상응도를 산출하고, 그에 따라 상기 태그를 정제하는 단계;상기 쿼리 이미지를 포함하는 검색 요청이 입력되면 상기 쿼리 이미지로부터 하나 이상의 시각 단어를 획득하고, 상기 추정된 모델 파라미터를 포함하는 상기 배경분포 토픽모델을 이용하여 상기 쿼리 이미지의 주제 분포()를 모델링하는 단계;상기 검색 키워드를 포함하는 검색 요청이 입력되면 상기 정제된 태그와 상기 검색 키워드의 유사도를 평가하고, 상기 데이터베이스 이미지의 주제 분포()와 상기 데이터베이스에서 상기 쿼리 이미지의 주제 분포()를 이용하여 상기 데이터베이스 이미지의 유사도를 평가하는 단계; 및상기 유사도 평가 결과에 따라, 상기 쿼리 이미지 또는 상기 검색 키워드 중 적어도 하나와 유사한 데이터베이스 이미지를 유사도가 높은 순서대로 정렬하는 단계를 포함하는 이미지 검색 방법
2 2
제1항에 있어서, 상기 모델 파라미터 추정 단계는주제 분포에 할당된 시각 단어의 비율, 특정 주제(t)에서 특정 시각 단어()가 나올 확률, 특정 데이터베이스 이미지()에서 특정 주제(t)가 나올 확률을 이용하여 주제 분포에 할당된 시각 단어의 비율을 도출하는 a 단계;배경 분포에 할당된 시각 단어의 비율, 배경 단어의 확률을 이용하여 배경 분포에 할당된 시각 단어의 비율을 도출하는 b 단계;특정 주제(t)에서 텍스트 단어()가 나올 확률, 특정 데이터베이스 이미지()에서 특정 주제(t)가 나올 확률을 이용하여 상기 텍스트 단어()가 상기 특정 주제(t)에 할당될 확률을 도출하는 c 단계;상기 하나 이상의 데이터베이스 이미지에 대하여 상기 a 단계 내지 상기 c 단계를 반복적으로 수행하여, 정규화된 디리클레 파라미터인 상기 주제별 시각 단어 분포(), 상기 주제별 텍스트 단어 분포() 및 상기 배경의 시각 단어 분포()를 획득하는 모델 파라미터 획득 단계를 포함하는 이미지 검색 방법
3 3
제2항에 있어서,상기 모델 파라미터 획득 단계는상기 주제별 시각 단어 분포(), 상기 주제별 텍스트 단어 분포() 및 상기 배경의 시각 단어 분포()는 하기 수식에 따라 추정되며, 상기 수식에서 , , 는 기 설정된 디리클레 파라미터, 는 시각 단어 v가 주제 t에 할당된 횟수, 는 텍스트 단어 w가 주제 t에 할당된 횟수, 는 시각 단어 v가 배경 분포에 할당된 횟수인 이미지 검색 방법
4 4
제1항에 있어서, 상기 유사도 평가 단계는상기 데이터베이스 이미지() 각각에 대하여 쿼리 이미지()와의 유사도()를 하기 수식에 따라 계산하는 단계를 포함하고,상기 수식에서 및 는 상기 데이터베이스 이미지() 및 상기 쿼리 이미지()의 시각 정보에 각각 대응되며, 및 는 상기 데이터베이스 이미지() 및 상기 쿼리 이미지()의 텍스트 정보에 각각 대응되고, 는 미리 설정된 텍스트 유사성의 가중치를 제어하는 파라미터인 것을 특징으로 하는 이미지 검색 방법
5 5
하나 이상의 데이터베이스 이미지를 저장하는 데이터베이스;하나 이상의 태그가 맵핑된 상기 데이터베이스 이미지로부터 하나 이상의 시각 단어 및 하나 이상의 텍스트 단어를 획득하는 제 1 전처리부;상기 시각 단어와 상기 텍스트 단어를 이용하여 주제별 시각 단어 분포(), 주제별 텍스트 단어 분포() 및 배경의 시각 단어 분포()를 포함하는 배경분포 토픽모델의 모델 파라미터를 추정하고, 상기 추정된 모델 파라미터를 포함하는 상기 배경분포 토픽모델을 이용하여 상기 데이터베이스 이미지의 주제 분포()를 모델링하고, 상기 주제별 텍스트 단어 분포()와 이미지 내 특정 주제 비율()을 이용하여 상기 데이터베이스 이미지에 대한 상기 태그의 상응도를 산출하고, 그에 따라 상기 태그를 정제하는 제 1 배경분포 토픽모델링부;쿼리 이미지 또는 검색 키워드가 입력되면 상기 쿼리 이미지로부터 하나 이상의 시각 단어를 획득하고, 상기 검색 키워드로부터 하나 이상의 텍스트 단어를 획득하는 제 2 전처리부; 상기 추정된 모델 파라미터를 포함하는 상기 배경분포 토픽모델을 이용하여 쿼리 이미지의 주제 분포()를 모델링하는 제 2 배경분포 토픽모델링부;상기 검색 키워드를 포함하는 검색 요청이 입력되면 상기 정제된 태그와 상기 검색 키워드의 유사도를 평가하고, 상기 데이터베이스 이미지의 주제 분포()와 상기 데이터베이스에서 상기 쿼리 이미지의 주제 분포()를 이용하여 상기 데이터베이스 이미지의 유사도를 평가하는 유사도 평가부; 및상기 유사도 평가부에서의 유사도 평가 결과에 따라, 상기 쿼리 이미지 또는 상기 검색 키워드 중 적어도 하나와 유사한 데이터베이스 이미지를 유사도가 높은 순서대로 정렬하는 리스트 제공부를 포함하는 이미지 검색 시스템
6 6
제5항에 있어서, 상기 제 1 배경분포 토픽모델링부는주제 분포에 할당된 시각 단어의 비율, 특정 주제(t)에서 특정 시각 단어()가 나올 확률, 특정 데이터베이스 이미지()에서 특정 주제(t)가 나올 확률을 이용하여 주제 분포에 할당된 시각 단어의 비율을 도출하고, 배경 분포에 할당된 시각 단어의 비율, 배경 단어의 확률을 이용하여 배경 분포에 할당된 시각 단어의 비율을 도출하고, 특정 주제(t)에서 텍스트 단어()가 나올 확률, 특정 데이터베이스 이미지()에서 특정 주제(t)가 나올 확률을 이용하여 상기 텍스트 단어()가 상기 특정 주제(t)에 할당될 확률을 도출하는 계산부;상기 하나 이상의 데이터베이스 이미지에 대하여 상기 계산부에서의 계산을 반복적으로 수행하여, 정규화된 디리클레 파라미터인 상기 주제별 시각 단어 분포(), 상기 주제별 텍스트 단어 분포() 및 상기 배경의 시각 단어 분포()를 획득하는 모델 파라미터 추정부를 포함하는 이미지 검색 시스템
7 7
제6항에 있어서,상기 모델 파라미터 추정부는상기 주제별 시각 단어 분포(), 상기 주제별 텍스트 단어 분포() 및 상기 배경의 시각 단어 분포()를 하기 수식에 따라 추정하며,상기 수식에서 , , 는 기 설정된 디리클레 파라미터, 는 시각 단어 v가 주제 t에 할당된 횟수, 는 텍스트 단어 w가 주제 t에 할당된 횟수, 는 시각 단어 v가 배경 분포에 할당된 횟수인 이미지 검색 시스템
8 8
제5항에 있어서, 상기 유사도 평가부는상기 데이터베이스 이미지() 각각에 대하여 쿼리 이미지()와의 유사도()를 하기 수식에 따라 계산하고,상기 수식에서 및 는 상기 데이터베이스 이미지() 및 상기 쿼리 이미지()의 시각 정보에 각각 대응되며, 및 는 상기 데이터베이스 이미지() 및 상기 쿼리 이미지()의 텍스트 정보에 각각 대응되고, 는 미리 설정된 텍스트 유사성의 가중치를 제어하는 파라미터인 이미지 검색 시스템
9 9
제1항 내지 제4항의 방법 중 어느 하나의 방법을 실행시키기 위하여 컴퓨터 판독 가능 매체에 저장된 이미지 검색 응용 프로그램
10 10
삭제
11 11
삭제
12 12
삭제
13 13
삭제
14 14
삭제
15 15
삭제
지정국 정보가 없습니다
패밀리정보가 없습니다
순번, 연구부처, 주관기관, 연구사업, 연구과제의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 국가R&D 연구정보 정보 표입니다.
순번 연구부처 주관기관 연구사업 연구과제
1 미래창조과학부 경희대학교 산학협력단 Grand ICT 연구센터 지원사업 라이프 컴패니온쉽 경험을 위한 지능형 인터랙션 융합연구