맞춤기술찾기

이전대상기술

합성곱 신경망 기반 장소 이미지 유사도 평가 및 장소 인식 방법 및 시스템

  • 기술번호 : KST2023003329
  • 담당센터 : 대전기술혁신센터
  • 전화번호 : 042-610-2279
요약, Int. CL, CPC, 출원번호/일자, 출원인, 등록번호/일자, 공개번호/일자, 공고번호/일자, 국제출원번호/일자, 국제공개번호/일자, 우선권정보, 법적상태, 심사진행상태, 심판사항, 구분, 원출원번호/일자, 관련 출원번호, 기술이전 희망, 심사청구여부/일자, 심사청구항수의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 서지정보 표입니다.
요약 합성곱 신경망 기반 장소 이미지 유사도 평가 및 장소 인식 방법 및 시스템이 제시된다. 본 발명의 일 실시예에 따른 컴퓨터 장치에 의해 수행되는 장소 인식 방법은, 이미지의 장소 표현 특징 텐서(tensor)를 추출하기 위해 특징점 클러스터링(clustering) 기반 신경망을 구현하는 단계; 동일한 장소 이미지간 동일한 특징을 인식하도록 상기 신경망을 학습시키는 단계; 학습된 상기 신경망을 이용하여 데이터베이스에서 모든 이미지의 장소 표현 특징 텐서를 추출 후 저장하는 단계; 장소를 알고자 하는 쿼리 이미지를 학습된 상기 신경망에 통과시켜 장소 표현 특징 텐서를 추출하는 단계; 및 상기 데이터베이스의 장소 표현 특징 텐서들 중 상기 쿼리 이미지의 장소 표현 특징 텐서와 가장 가까운 데이터베이스의 장소 표현 특징 텐서를 기반으로 상기 쿼리 이미지의 최종 유사 장소를 인식하는 단계를 포함하여 이루어질 수 있다.
Int. CL G06V 10/74 (2022.01.01) G06V 10/82 (2022.01.01) G06V 10/774 (2022.01.01) G06V 10/40 (2022.01.01) G06F 16/432 (2019.01.01)
CPC G06V 10/761(2013.01) G06V 10/82(2013.01) G06V 10/774(2013.01) G06V 10/40(2013.01) G06F 16/434(2013.01) G06N 3/08(2013.01)
출원번호/일자 1020210191081 (2021.12.29)
출원인 한국과학기술원
등록번호/일자
공개번호/일자 10-2023-0101182 (2023.07.06) 문서열기
공고번호/일자
국제출원번호/일자
국제공개번호/일자
우선권정보
법적상태 공개
심사진행상태 수리
심판사항
구분 국내출원/신규
원출원번호/일자
관련 출원번호
심사청구여부/일자 Y (2021.12.29)
심사청구항수 20

출원인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 출원인 표입니다.
번호 이름 국적 주소
1 한국과학기술원 대한민국 대전광역시 유성구

발명자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 발명자 표입니다.
번호 이름 국적 주소
1 명현 대전광역시 유성구
2 황성원 대전광역시 유성구
3 김윤수 대전광역시 유성구
4 임형태 대전광역시 유성구

대리인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 대리인 표입니다.
번호 이름 국적 주소
1 양성보 대한민국 서울특별시 강남구 선릉로***길 ** (논현동) 삼성빌딩 *층(피앤티특허법률사무소)

최종권리자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 최종권리자 표입니다.
번호 이름 국적 주소
최종권리자 정보가 없습니다
번호, 서류명, 접수/발송일자, 처리상태, 접수/발송일자의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 행정처리 표입니다.
번호 서류명 접수/발송일자 처리상태 접수/발송번호
1 [특허출원]특허출원서
[Patent Application] Patent Application
2021.12.29 수리 (Accepted) 1-1-2021-1522228-43
2 선행기술조사의뢰서
Request for Prior Art Search
2022.11.17 수리 (Accepted) 9-1-9999-9999999-89
3 선행기술조사보고서
Report of Prior Art Search
2023.01.12 발송처리완료 (Completion of Transmission) 9-6-2023-0012451-16
4 특허고객번호 정보변경(경정)신고서·정정신고서
2023.01.31 수리 (Accepted) 4-1-2023-5023571-05
5 특허고객번호 정보변경(경정)신고서·정정신고서
2023.05.04 수리 (Accepted) 4-1-2023-5110236-33
번호, 청구항의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 청구항 표입니다.
번호 청구항
1 1
컴퓨터 장치에 의해 수행되는 장소 인식 방법에 있어서, 이미지의 장소 표현 특징 텐서(tensor)를 추출하기 위해 특징점 클러스터링(clustering) 기반 신경망을 구현하는 단계; 동일한 장소 이미지간 동일한 특징을 인식하도록 상기 신경망을 학습시키는 단계; 학습된 상기 신경망을 이용하여 데이터베이스에서 모든 이미지의 장소 표현 특징 텐서를 추출 후 저장하는 단계; 장소를 알고자 하는 쿼리 이미지를 학습된 상기 신경망에 통과시켜 장소 표현 특징 텐서를 추출하는 단계; 및 상기 데이터베이스의 장소 표현 특징 텐서들 중 상기 쿼리 이미지의 장소 표현 특징 텐서와 가장 가까운 데이터베이스의 장소 표현 특징 텐서를 기반으로 상기 쿼리 이미지의 최종 유사 장소를 인식하는 단계를 포함하는, 장소 인식 방법
2 2
제1항에 있어서,상기 신경망을 구현하는 단계는, 합성곱 신경망(Convolutional Neural Network, CNN)을 활용하여 단위 이미지당 이미지를 표현하는 장소 표현 특징 텐서군을 추출하는 단계; 및 추출한 상기 장표 표현 특징 텐서군을 K 개의 장소를 표현하는 중심 텐서(centroid tensor)로 클러스터링하는 단계를 포함하는, 장소 인식 방법
3 3
제1항에 있어서,상기 신경망을 학습시키는 단계는, 트리플렛 손실(triplet loss)을 활용하여 동일한 장소의 이미지 및 다른 장소의 이미지 쌍을 상기 신경망에 학습시켜, 상기 신경망이 장소 유사도 평가에 유의미한 특징을 학습하도록 유도시키는 것을 특징으로 하는, 장소 인식 방법
4 4
제1항에 있어서,상기 데이터베이스에서 모든 이미지의 장소 표현 특징 텐서를 추출 후 저장하는 단계는, 학습된 상기 신경망을 이용하여 장소 이미지에 대한 빅데이터베이스의 특징 텐서를 추출 후 저장하며, 상기 빅데이터베이스의 매 이미지당 장소 정보의 메타데이터를 포함하는 것을 특징으로 하는, 장소 인식 방법
5 5
제1항에 있어서,상기 쿼리 이미지의 최종 유사 장소로 인식하는 단계는, 이미지 특징 텐서간 선택적 유클리디안 거리 측정(Selective Euclidean Distance)을 통해 최종 유사 장소를 인식하는 것을 특징으로 하는, 장소 인식 방법
6 6
제1항에 있어서,상기 쿼리 이미지의 최종 유사 장소로 인식하는 단계는, 상기 데이터베이스의 장소 표현 특징 텐서들 중 상기 쿼리 이미지의 장소 표현 특징 텐서와 가장 가까운 데이터베이스의 장소 표현 특징 텐서를 선택하는 단계; 및 선택된 상기 데이터베이스의 장소 표현 특징 텐서의 메타데이터를 상기 쿼리 이미지의 최종 유사 장소로 인식하는 단계를 포함하는, 장소 인식 방법
7 7
제6항에 있어서,상기 데이터베이스의 장소 표현 특징 텐서를 선택하는 단계는, 상기 데이터베이스의 장소 표현 특징 텐서들 중 상기 쿼리 이미지의 장소 표현 특징 텐서와 선택적 유클리디안 거리(Selective Euclidean Distance)가 가장 짧은 특징 텐서를 선택하는 것을 특징으로 하는, 장소 인식 방법
8 8
제6항에 있어서,상기 데이터베이스의 장소 표현 특징 텐서를 선택하는 단계는, 클러스터링이 되는 장소 특징 기준인 중심(centroid) 텐서들을 다중 퍼셉트론 신경망을 통해 학습하고, 장소 표현 특징 텐서를 표현하는 차원들 중 장소 평가에 유의미한 차원과 상대적으로 무의미한 차원의 구별을 학습하여, 상기 선택적 유클리디안 거리를 측정함에 있어서 각 차원당 학습한 중요도만큼 가중치를 주어 거리를 계산하는 것을 특징으로 하는, 장소 인식 방법
9 9
이미지의 장소 표현 특징 텐서(tensor)를 추출하기 위해 특징점 클러스터링(clustering) 기반 신경망을 구현하는 신경망 구현부; 동일한 장소 이미지간 동일한 특징을 인식하도록 상기 신경망을 학습시키는 신경망 학습부; 학습된 상기 신경망을 이용하여 데이터베이스에서 모든 이미지의 장소 표현 특징 텐서를 추출 후 저장하는 데이터베이스 텐서 추출부; 장소를 알고자 하는 쿼리 이미지를 학습된 상기 신경망에 통과시켜 장소 표현 특징 텐서를 추출하는 쿼리 이미지 텐서 추출부; 및 상기 데이터베이스의 장소 표현 특징 텐서들 중 상기 쿼리 이미지의 장소 표현 특징 텐서와 가장 가까운 데이터베이스의 장소 표현 특징 텐서를 기반으로 상기 쿼리 이미지의 최종 유사 장소를 인식하는 최종 유사 장소 인식부를 포함하는, 장소 인식 시스템
10 10
제9항에 있어서,상기 신경망 구현부는, 합성곱 신경망(Convolutional Neural Network, CNN)을 활용하여 단위 이미지당 이미지를 표현하는 장소 표현 특징 텐서군을 추출하고, 추출한 상기 장표 표현 특징 텐서군을 K 개의 장소를 표현하는 중심 텐서(centroid tensor)로 클러스터링하는 것을 특징으로 하는, 장소 인식 시스템
11 11
제9항에 있어서,상기 신경망 학습부는, 트리플렛 손실(triplet loss)을 활용하여 동일한 장소의 이미지 및 다른 장소의 이미지 쌍을 상기 신경망에 학습시켜, 상기 신경망이 장소 유사도 평가에 유의미한 특징을 학습하도록 유도시키는 것을 특징으로 하는, 장소 인식 시스템
12 12
제9항에 있어서,상기 데이터베이스 텐서 추출부는, 학습된 상기 신경망을 이용하여 장소 이미지에 대한 빅데이터베이스의 특징 텐서를 추출 후 저장하며, 상기 빅데이터베이스의 매 이미지당 장소 정보의 메타데이터를 포함하는 것을 특징으로 하는, 장소 인식 시스템
13 13
제9항에 있어서,상기 최종 유사 장소 인식부는, 이미지 특징 텐서간 선택적 유클리디안 거리 측정(Selective Euclidean Distance)을 통해 최종 유사 장소를 인식하는 것을 특징으로 하는, 장소 인식 시스템
14 14
제9항에 있어서,상기 최종 유사 장소 인식부는, 상기 데이터베이스의 장소 표현 특징 텐서들 중 상기 쿼리 이미지의 장소 표현 특징 텐서와 가장 가까운 데이터베이스의 장소 표현 특징 텐서를 선택하고, 선택된 상기 데이터베이스의 장소 표현 특징 텐서의 메타데이터를 상기 쿼리 이미지의 최종 유사 장소로 인식하는 것을 특징으로 하는, 장소 인식 시스템
15 15
제9항에 있어서,상기 최종 유사 장소 인식부는, 상기 데이터베이스의 장소 표현 특징 텐서들 중 상기 쿼리 이미지의 장소 표현 특징 텐서와 선택적 유클리디안 거리(Selective Euclidean Distance)가 가장 짧은 특징 텐서를 선택하는 것을 특징으로 하는, 장소 인식 시스템
16 16
제9항에 있어서,상기 최종 유사 장소 인식부는, 클러스터링이 되는 장소 특징 기준인 중심(centroid) 텐서들을 다중 퍼셉트론 신경망을 통해 학습하고, 장소 표현 특징 텐서를 표현하는 차원들 중 장소 평가에 유의미한 차원과 상대적으로 무의미한 차원의 구별을 학습하여, 상기 선택적 유클리디안 거리를 측정함에 있어서 각 차원당 학습한 중요도만큼 가중치를 주어 거리를 계산하는 것을 특징으로 하는, 장소 인식 시스템
17 17
컴퓨터 장치에 의해 수행되는 장소 인식 방법에 있어서, 이미지의 장소 표현 특징 텐서(tensor)를 추출하기 위해 특징점 클러스터링(clustering) 기반 신경망을 구현하는 단계; 동일한 장소 이미지간 동일한 특징을 인식하도록 상기 신경망을 학습시키는 단계; 및 학습된 상기 신경망을 이용하여 데이터베이스에서 모든 이미지의 장소 표현 특징 텐서를 추출 후 저장하는 단계를 포함하고, 상기 신경망을 학습시키는 단계는, 트리플렛 손실(triplet loss)을 활용하여 동일한 장소의 이미지 및 다른 장소의 이미지 쌍을 상기 신경망에 학습시켜, 상기 신경망이 장소 유사도 평가에 유의미한 특징을 학습하도록 유도시키는 것을 특징으로 하는, 장소 인식 방법
18 18
제17항에 있어서,상기 신경망을 구현하는 단계는, 합성곱 신경망(Convolutional Neural Network, CNN)을 활용하여 단위 이미지당 이미지를 표현하는 장소 표현 특징 텐서군을 추출하는 단계; 및 추출한 상기 장표 표현 특징 텐서군을 K 개의 장소를 표현하는 중심 텐서(centroid tensor)로 클러스터링하는 단계를 포함하는, 장소 인식 방법
19 19
제17항에 있어서,상기 데이터베이스에서 모든 이미지의 장소 표현 특징 텐서를 추출 후 저장하는 단계는, 학습된 상기 신경망을 이용하여 장소 이미지에 대한 빅데이터베이스의 특징 텐서를 추출 후 저장하며, 상기 빅데이터베이스의 매 이미지당 장소 정보의 메타데이터를 포함하는 것을 특징으로 하는, 장소 인식 방법
20 20
제17항에 있어서,장소를 알고자 하는 쿼리 이미지를 학습된 상기 신경망에 통과시켜 장소 표현 특징 텐서를 추출하는 단계; 및 상기 데이터베이스의 장소 표현 특징 텐서들 중 상기 쿼리 이미지의 장소 표현 특징 텐서와 가장 가까운 데이터베이스의 장소 표현 특징 텐서를 기반으로 상기 쿼리 이미지의 최종 유사 장소를 인식하는 단계를 더 포함하는, 장소 인식 방법
지정국 정보가 없습니다
패밀리정보가 없습니다
순번, 연구부처, 주관기관, 연구사업, 연구과제의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 국가R&D 연구정보 정보 표입니다.
순번 연구부처 주관기관 연구사업 연구과제
1 과학기술정보통신부 (주)엘핀 정보통신.방송 연구개발사업 (N01210794)(통합EZ)공간 변화에 강인한 위치 식별 알고리즘 개발(2021년도)