맞춤기술찾기

홈으로 가기
맞춤기술찾기
이전대상기술
프린트하기

이전대상기술

객체 검색 모델 및 그 학습 방법

  • 기술번호 : KST2022015742
  • 담당센터 : 부산기술혁신센터
  • 전화번호 : 051-606-6561
상담신청 PDF 받기
요약, Int. CL, CPC, 출원번호/일자, 출원인, 등록번호/일자, 공개번호/일자, 공고번호/일자, 국제출원번호/일자, 국제공개번호/일자, 우선권정보, 법적상태, 심사진행상태, 심판사항, 구분, 원출원번호/일자, 관련 출원번호, 기술이전 희망, 심사청구여부/일자, 심사청구항수의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 서지정보 표입니다.
요약 실시예는 객체 검색 모델 및 그 학습 방법에 관한 것이다. 일실시예에 따른 객체 검색 모델의 학습 방법은 객체 검색 모델을 이용하여, 입력 데이터에 포함된 객체 영역의 피처를 추출하는 단계, 객체 영역에 대응하는 라벨이 존재하는 경우, 라벨 및 추출된 피처에 기초하여 제1 룩업 테이블을 갱신하는 단계, 객체 영역에 대응하는 라벨이 존재하지 않는 경우, 제2 룩업 테이블에 기초하여, 객체 영역에 수도 라벨을 부여하여, 수도 라벨 및 추출된 피처에 기초하여 제2 룩업 테이블을 갱신하는 단계, 및 추출된 피처, 제1 룩업 테이블 및 제2 룩업 테이블에 기초하여, 객체 검색 모델을 학습시키는 단계를 포함한다.
Int. CL G06N 3/08 (2006.01.01) G06N 3/04 (2006.01.01) G06F 16/23 (2019.01.01) G06F 16/28 (2019.01.01)
CPC G06N 3/08(2013.01) G06N 3/04(2013.01) G06F 16/23(2013.01) G06F 16/289(2013.01)
출원번호/일자 1020200166373 (2020.12.02)
출원인 울산과학기술원
등록번호/일자
공개번호/일자 10-2022-0077439 (2022.06.09) 문서열기
공고번호/일자
국제출원번호/일자
국제공개번호/일자
우선권정보
법적상태 공개
심사진행상태 수리
심판사항
구분 국내출원/신규
원출원번호/일자
관련 출원번호
심사청구여부/일자 Y (2020.12.02)
심사청구항수 20

출원인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 출원인 표입니다.
번호 이름 국적 주소
1 울산과학기술원 대한민국 울산광역시 울주군

발명자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 발명자 표입니다.
번호 이름 국적 주소
1 심재영 울산광역시 울주군
2 고규현 울산광역시 울주군

대리인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 대리인 표입니다.
번호 이름 국적 주소
1 특허법인 무한 대한민국 서울특별시 강남구 언주로 ***, *층(역삼동,화물재단빌딩)

최종권리자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 최종권리자 표입니다.
번호 이름 국적 주소
최종권리자 정보가 없습니다
번호, 서류명, 접수/발송일자, 처리상태, 접수/발송일자의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 행정처리 표입니다.
번호 서류명 접수/발송일자 처리상태 접수/발송번호
1 [특허출원]특허출원서
[Patent Application] Patent Application		 2020.12.02 수리 (Accepted) 1-1-2020-1302945-22
2 [출원서 등 보정]보정서
[Amendment to Patent Application, etc.] Amendment		 2020.12.03 수리 (Accepted) 1-1-2020-1308299-75
3 [출원서 등 보정]보정서
[Amendment to Patent Application, etc.] Amendment		 2020.12.21 수리 (Accepted) 1-1-2020-1386283-52
4 선행기술조사의뢰서
Request for Prior Art Search		 2022.06.15 수리 (Accepted) 9-1-9999-9999999-89
번호, 청구항의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 청구항 표입니다.
번호 청구항
1 1
객체 검색(object search) 모델을 이용하여, 입력 데이터에 포함된 객체 영역의 피처(feature)를 추출하는 단계;상기 객체 영역에 대응하는 라벨이 존재하는 경우,상기 라벨 및 상기 추출된 피처에 기초하여 제1 룩업 테이블을 갱신하는 단계;상기 객체 영역에 대응하는 라벨이 존재하지 않는 경우,제2 룩업 테이블에 기초하여, 상기 객체 영역에 수도 라벨을 부여하는 단계; 및상기 수도 라벨 및 상기 추출된 피처에 기초하여 상기 제2 룩업 테이블을 갱신하는 단계; 및상기 추출된 피처, 상기 제1 룩업 테이블 및 상기 제2 룩업 테이블에 기초하여, 상기 객체 검색 모델을 학습시키는 단계를 포함하는, 학습 방법
2 2
제1항에 있어서,상기 객체 영역에 수도 라벨을 부여하는 단계는상기 추출된 피처와 상기 제2 룩업 테이블에 저장된 피처 사이의 유사도 및 미리 정해진 임계 값에 기초하여, 상기 객체 영역에 부여될 수도 라벨을 결정하는 단계를 더 포함하는,학습 방법
3 3
제2항에 있어서,상기 객체 영역에 부여될 수도 라벨을 결정하는 단계는상기 제2 룩업 테이블에 포함된 수도 라벨들 각각에 대응하여, 상기 추출된 피처와 해당하는 수도 라벨에 대응하여 저장된 피처의 유사도를 계산하는 단계; 및계산된 유사도들 중 상기 임계 값보다 큰 유사도가 없는 경우, 상기 제2 룩업 테이블에 포함되지 않은 새로운 수도 라벨을 상기 객체 영역에 부여될 수도 라벨로 결정하는 단계를 포함하는,학습 방법
4 4
제3항에 있어서,상기 계산된 유사도들 중 상기 임계 값보다 큰 유사도가 있는 경우, 상기 계산된 유사도들 중 가장 높은 유사도에 대응하는 수도 라벨을 상기 객체 영역에 부여될 수도 라벨로 결정하는 단계를 더 포함하는,학습 방법
5 5
제2항에 있어서,상기 미리 정해진 임계 값은학습 데이터 내 라벨이 존재하는 객체 영역의 피처와 상기 제1 룩업 테이블에 해당 라벨에 대응하여 저장된 피처 사이의 유사도에 기초하여 결정된,학습 방법
6 6
제1항에 있어서,상기 객체 검색 모델을 학습시키는 단계는상기 추출된 피처와 상기 제1 룩업 테이블에 저장된 피처 사이의 유사도 및 상기 추출된 피처와 상기 제2 룩업 테이블에 저장된 피처 사이의 유사도에 기초하여, 손실 함수를 결정하는 단계; 및상기 손실 함수를 최소화하는 방향으로 상기 객체 검색 모델의 네트워크 파라미터를 학습시키는 단계를 포함하는,학습 방법
7 7
제6항에 있어서,상기 손실 함수는상기 객체 영역에 대응하는 라벨이 존재하는 경우, 상기 추출된 피처와 상기 제1 룩업 테이블에 상기 라벨에 대응하여 저장된 피처 사이의 유사도가 클수록 작게 결정되고,상기 객체 영역에 대응하는 수도 라벨이 존재하는 경우, 상기 추출된 피처와 상기 제2 룩업 테이블에 상기 수도 라벨에 대응하여 저장된 피처와의 유사도가 클수록 작게 결정되는,학습 방법
8 8
제1항에 있어서,상기 제1 룩업 테이블을 갱신하는 단계는상기 제1 룩업 테이블에 상기 라벨에 대응하는 피처가 저장되어 있는 경우, 상기 추출된 피처를 반영하여 상기 제1 룩업 테이블에 상기 라벨에 대응하여 저장된 피처를 갱신하는 단계; 및상기 제1 룩업 테이블에 상기 라벨에 대응하는 피처가 저장되어 있지 않은 경우, 상기 제1 룩업 테이블에 상기 추출된 피처를 상기 라벨에 대응하여 저장하는 단계를 포함하는, 학습 방법
9 9
제1항에 있어서,상기 제2 룩업 테이블을 갱신하는 단계는상기 제2 룩업 테이블에 상기 수도 라벨에 대응하는 피처가 저장되어 있는 경우, 상기 추출된 피처를 반영하여 상기 제2 룩업 테이블에 상기 수도 라벨에 대응하여 저장된 피처를 갱신하는 단계; 및상기 제2 룩업 테이블에 상기 수도 라벨에 대응하는 피처가 저장되어 있지 않은 경우, 상기 제2 룩업 테이블에 상기 추출된 피처를 상기 수도 라벨에 대응하여 저장하는 단계를 포함하는,학습 방법
10 10
검색 대상을 포함하는 쿼리 이미지 및 검색용 이미지를 수신하는 단계;상기 쿼리 이미지에서, 인코더를 이용하여 상기 검색 대상의 제1 피처를 획득하는 단계;상기 검색용 이미지에서, 상기 인코더를 이용하여 상기 검색용 이미지에 포함된 적어도 하나의 객체 영역의 제2 피처를 획득하는 단계; 및상기 제1 피처 및 상기 적어도 하나의 제2 피처에 기초하여, 상기 검색용 이미지에서 상기 검색 대상에 해당하는 영역을 획득하는 단계를 포함하고,상기 인코더는 라벨링되지 않은 학습 데이터를 수도 라벨링하여, 다른 라벨에 대응하는 데이터와 구분되는 피처를 추출하도록 학습된 뉴럴 네트워크로 구성된,객체 검색 방법
11 11
제10항에 있어서,상기 뉴럴 네트워크는 라벨링된 학습 데이터의 피처를 해당 라벨에 대응하여 저장하는 제1 룩업 테이블 및 라벨링되지 않은 학습 데이터를 수도 라벨링하여, 상기 라벨링되지 않은 학습 데이터의 피처를 해당 수도 라벨에 대응하여 저장하는 제2 룩업 테이블에 기초하여 학습된,객체 검색 방법
12 12
하드웨어와 결합되어 제1항 내지 제11항 중 어느 하나의 항의 방법을 실행시키기 위하여 매체에 저장된 컴퓨터 프로그램
13 13
라벨링되지 않은 학습 데이터를 수도 라벨링하여, 다른 라벨에 대응하는 데이터와 구분되는 피처를 추출하도록 학습된 뉴럴 네트워크로 구성된 인코더; 및검색 대상을 포함하는 쿼리 이미지 및 검색용 이미지를 수신하고, 상기 쿼리 이미지에서, 상기 인코더를 이용하여 상기 검색 대상의 제1 피처를 획득하고, 상기 검색용 이미지에서, 상기 인코더를 이용하여 상기 검색용 이미지에 포함된 적어도 하나의 객체 영역의 제2 피처를 획득하며, 상기 제1 피처 및 상기 적어도 하나의 제2 피처에 기초하여, 상기 검색용 이미지에서 상기 검색 대상에 해당하는 영역을 획득하는, 적어도 하나의 프로세서를 포함하는,객체 검색 장치
14 14
제13항에 있어서,상기 뉴럴 네트워크는,라벨링된 학습 데이터의 피처를 해당 라벨에 대응하여 저장하는 제1 룩업 테이블 및 라벨링되지 않은 학습 데이터를 수도 라벨링하여, 상기 라벨링되지 않은 학습 데이터의 피처를 해당 수도 라벨에 대응하여 저장하는 제2 룩업 테이블에 기초하여 학습된,객체 검색 장치
15 15
입력 데이터에서 객체 영역을 검출하고, 상기 객체 영역에서 피처를 추출하는 뉴럴 네트워크;라벨을 키(key)로 하여, 피처를 값(value)으로 저장하는 제1 룩업 테이블 및 수도 라벨을 키로 하여, 피처를 값으로 저장하는 제2 룩업 테이블을 기록하는 메모리; 및상기 제1 룩업 테이블 및 상기 제2 룩업 테이블에 기초하여, 상기 뉴럴 네트워크를 학습시키는 적어도 하나의 프로세서를 포함하는,객체 검색을 위한 학습 모델
16 16
제15항에 있어서,상기 프로세서는,상기 뉴럴 네트워크를 학습시킴에 있어서,상기 입력 데이터를 상기 뉴럴 네트워크에 인가하여, 상기 입력 데이터에 포함된 객체 영역의 피처를 획득하고,상기 객체 영역에 대응하는 라벨이 존재하는 경우, 상기 라벨 및 상기 추출된 피처에 기초하여 상기 제1 룩업 테이블을 갱신하고,상기 객체 영역에 대응하는 라벨이 존재하지 않는 경우, 상기 제2 룩업 테이블에 기초하여, 상기 객체 영역에 수도 라벨을 부여하고, 상기 수도 라벨 및 상기 추출된 피처에 기초하여 상기 제2 룩업 테이블을 갱신하며,상기 추출된 피처, 상기 제1 룩업 테이블 및 상기 제2 룩업 테이블에 기초하여, 상기 뉴럴 네트워크를 학습시키는,객체 검색을 위한 학습 모델
17 17
제16항에 있어서,상기 프로세서는,상기 객체 영역에 수도 라벨을 부여함에 있어서,상기 제2 룩업 테이블에 포함된 수도 라벨들 각각에 대응하여, 상기 추출된 피처와 해당하는 수도 라벨에 대응하여 저장된 피처의 유사도를 계산하고,계산된 유사도들 중 상기 임계 값보다 큰 유사도가 없는 경우, 상기 제2 룩업 테이블에 포함되지 않은 새로운 수도 라벨을 상기 객체 영역에 부여될 수도 라벨로 결정하고,상기 계산된 유사도들 중 상기 임계 값보다 큰 유사도가 있는 경우, 상기 계산된 유사도들 중 가장 높은 유사도에 대응하는 수도 라벨을 상기 객체 영역에 부여될 수도 라벨로 결정하는,객체 검색을 위한 학습 모델
18 18
제16항에 있어서,상기 프로세서는,상기 객체 검색 모델을 학습시킴에 있어서,상기 추출된 피처와 상기 제1 룩업 테이블에 저장된 피처 사이의 유사도 및 상기 추출된 피처와 상기 제2 룩업 테이블에 저장된 피처 사이의 유사도에 기초하여, 손실 함수를 결정하고,상기 손실 함수를 최소화하는 방향으로 상기 객체 검색 모델의 네트워크 파라미터를 학습시키는,객체 검색을 위한 학습 모델
19 19
제16항에 있어서,상기 프로세서는,상기 제1 룩업 테이블을 갱신함에 있어서,상기 제1 룩업 테이블에 상기 라벨에 대응하는 피처가 저장되어 있는 경우, 상기 추출된 피처를 반영하여 상기 제1 룩업 테이블에 상기 라벨에 대응하여 저장된 피처를 갱신하고,상기 제1 룩업 테이블에 상기 라벨에 대응하는 피처가 저장되어 있지 않은 경우, 상기 제1 룩업 테이블에 상기 추출된 피처를 상기 라벨에 대응하여 저장하는,객체 검색을 위한 학습 모델
20 20
제16항에 있어서,상기 프로세서는,상기 제2 룩업 테이블을 갱신함에 있어서,상기 제2 룩업 테이블에 상기 수도 라벨에 대응하는 피처가 저장되어 있는 경우, 상기 추출된 피처를 반영하여 상기 제2 룩업 테이블에 상기 수도 라벨에 대응하여 저장된 피처를 갱신하고,상기 제2 룩업 테이블에 상기 수도 라벨에 대응하는 피처가 저장되어 있지 않은 경우, 상기 제2 룩업 테이블에 상기 추출된 피처를 상기 수도 라벨에 대응하여 저장하는,객체 검색을 위한 학습 모델
지정국 정보가 없습니다
패밀리정보가 없습니다
순번, 연구부처, 주관기관, 연구사업, 연구과제의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 국가R&D 연구정보 정보 표입니다.
순번 연구부처 주관기관 연구사업 연구과제
1 과학기술정보통신부 울산과학기술원 디지털콘텐츠원천기술개발(R＆D,정보화) 이동 객체에 대한 증강현실 서비스 실현을 위한 정보-영상 정합기술 연구
2 과학기술정보통신부 울산과학기술원 정보통신방송혁신인재양성(R＆D) 인공지능대학원지원(울산과학기술원)