| 1 |
1
사용자 의도에 따른 사진 검색 결과를 제공하기 위한 사진 검색 시스템에 의해 수행되는 사용자 단말에서의 사진 검색 방법에 있어서,a) 사용자 질의가 입력되면 해당 사용자 질의를 질의 단어 벡터로 변환하고, 상기 질의 단어 벡터를 오픈 디렉토리 프로젝트(Open Directory Project, ODP)에 기초하여 기정의된 토픽 분류 트리에 적용하여 질의 시맨틱 토픽을 추출하는 단계;b) 하나 이상의 사진이 저장된 사진 저장소의 각 사진에 대해 객체 정보와 위치 정보를 분석하고, 상기 분석된 객체 정보와 위치 정보로부터 단어 벡터들을 추출하며, 상기 추출된 단어벡터들을 통합하여 통합 단어 벡터를 산출하고, 상기 통합 단어 벡터를 상기 토픽 분류 트리에 적용하여 사진 시맨틱 토픽을 추출하는 단계; 및 c) 상기 질의 시맨틱 토픽과 사진 시맨틱 토픽 간의 주제 분석을 통해 주제적 유사도를 계산하고, 상기 계산된 주제적 유사도 중 상위의 주제적 유사도를 갖는 사진들을 추출하여 상기 사용자 질의에 대한 사진 검색 결과로 제공하는 단계를 포함하는 것인, 사용자 단말에서의 사진 검색 방법
|
| 2 |
2
제 1 항에 있어서,상기 a) 단계는, a-1) 상기 질의 단어 벡터와 상기 토픽 분류 트리의 카테고리들에 대한 병합 센트로이드 벡터들 간의 유사도를 하기 수학식1을 이용하여 계산하는 단계; 및 a-2) 상기 계산된 유사도 중 상위 k개의 카테고리를 선별하고, 상기 상위 k개의 카테고리 중 상기 유사도가 기설정된 임계치 이상을 갖는 상위 카테고리들을 질의 시맨틱 토픽으로 추출하는 단계를 포함하는 것인, 사용자 단말에서의 사진 검색 방법
|
| 3 |
3
제 2 항에 있어서,상기 a-1) 단계는,상기 병합 센트로이드 벡터는 최하위 카테고리로부터 해당 카테고리가 갖는 센트로이드 벡터와 자식 카테고리의 병합 센트로이드 벡터를 합산하여 산출하되, 상기 자식 카테고리가 없는 경우 해당 카테고리의 센트로이드 벡터를 병합 센트로이드 벡터로 사용하는 것인, 사용자 단말에서의 사진 검색 방법
|
| 4 |
4
제 1 항에 있어서,상기 b) 단계는,b-1) 경량 딥러닝 알고리즘을 사용하여 학습된 분류 모델에 기초하여 상기 사진 저장소의 각 사진에 대한 이미지 분석을 통해 하나 이상의 객체를 인식하고, 상기 인식된 객체가 기정의된 카테고리들에 소속될 가능성을 각 카테고리의 분류 확률로 계산하고, 상기 계산된 분류 확률이 기설정된 기준값 이상을 가지는 상위 카테고리들을 객체 정보로 제공하는 단계; 및b-2) 상기 사진 저장소의 각 사진에 저장된 GPS 데이터를 이용하여 각 사진이 촬영된 장소명을 포함한 위치 정보를 추출하는 단계; 및b-3) 상기 객체 정보와 위치 정보를 단어 벡터로 각각 변환하고, 각 단어 벡터를 합산하여 통합 단어 벡터를 산출하는 단계를 포함하는 것인, 사용자 단말에서의 사진 검색 방법
|
| 5 |
5
제 4 항에 있어서,상기 경량 딥러닝 알고리즘을 사용하여 학습된 분류 모델은 ILSVRC(ImageNet Large Scale Visual Recognition Competition)의 데이터세트에 기초하여 학습된 채널 단위 합성곱(Depthwise Convolution)과 점별 합성곱(Pointwise Convolution)을 이용한 합성곱 필터 구조를 사용하는 것인, 사용자 단말에서의 사진 검색 방법
|
| 6 |
6
제 4 항에 있어서,상기 b-2) 단계는 상기 GPS 데이터를 이용하는 위치 기반 서비스의 응용 프로그래밍 인터페이스(Application Programming Interfaces, API)를 통해 각 사진이 촬영된 장소명을 검색하는 것인, 사용자 단말에서의 사진 검색 방법
|
| 7 |
7
제 1 항에 있어서,상기 b) 단계는상기 통합 단어 벡터와 토픽 분류 트리의 카테고리들에 대한 병합 센트로이드 벡터들 간의 유사도를 하기 수학식 2를 이용하여 계산하는 단계; 및 상기 계산된 유사도 중 상위 k개의 카테고리를 선별하고, 상기 상위 k개의 카테고리 중 기설정된 임계치 이상의 유사도를 가지는 상위 카테고리들을 사진 시맨틱 토픽으로 추출하는 단계를 더 포함하는 것인, 사용자 단말에서의 사진 검색 방법
|
| 8 |
8
제 1 항에 있어서,상기 c) 단계는,상기 주제적 유사도는 하기 수학식 3을 이용한 그래프 기반 유사도 기법으로 계산하는 것인, 사용자 단말에서의 사진 검색 방법
|
| 9 |
9
제 1 항에 있어서,상기 b) 단계는,상기 추출된 사진 시맨틱 토픽을 상기 사진 저장소에 저장하고, 다음 사용자 질의가 입력되면 상기 사진 저장소에 저장된 사진 시맨틱 토픽을 재사용하는 것인, 사용자 단말에서의 사진 검색 방법
|
| 10 |
10
제 1 항에 있어서,상기 c) 단계는,상기 단어벡터의 가중치를 고려하여 개인화된 랭킹을 구하는 페이지 랭크 알고리즘을 이용하여 상위의 주제적 유사도를 갖는 사진들을 순위화하여 정렬하는 것인, 사용자 단말에서의 사진 검색 방법
|
| 11 |
11
사용자 의도에 따른 사진 검색 결과를 제공하기 위한 사진 검색 시스템에 있어서,사용자 단말에서의 사진 검색 방법을 수행하기 위한 프로그램이 기록된 메모리; 및상기 프로그램을 실행하기 위한 프로세서; 를 포함하며,상기 프로세서는, 상기 프로그램의 실행에 의해,사용자 질의가 입력되면 해당 사용자 질의를 질의 단어 벡터로 변환하고, 상기 질의 단어 벡터를 오픈 디렉토리 프로젝트(Open Directory Project, ODP)에 기초하여 기정의된 토픽 분류 트리에 적용하여 질의 시맨틱 토픽을 추출하고,하나 이상의 사진이 저장된 사진 저장소의 각 사진에 대해 객체 정보와 위치 정보를 분석하고, 상기 분석된 객체 정보와 위치 정보로부터 단어 벡터들을 추출하며, 상기 추출된 단어벡터들을 통합하여 통합 단어 벡터를 산출하고, 상기 통합 단어 벡터를 상기 토픽 분류 트리에 적용하여 사진 시맨틱 토픽을 추출하고, 상기 질의 시맨틱 토픽과 사진 시맨틱 토픽 간의 주제 분석을 통해 주제적 유사도를 계산하고, 상기 계산된 주제적 유사도 중 상위의 주제적 유사도를 갖는 사진들을 추출하여 상기 사용자 질의에 대한 사진 검색 결과로 제공하는 것인, 사용자 단말에서의 사진 검색 시스템
|
| 12 |
12
제 1 항에 따른 사용자 단말에서의 사진 검색 방법을 수행하는 프로그램이 기록된 컴퓨터 판독가능 기록매체
|
