맞춤기술찾기
이전대상기술
그리드 컴퓨팅 기반 웹 크롤러 시스템 및 그 방법
- 기술번호 : KST2014065659
- 담당센터 : 대전기술혁신센터
- 전화번호 : 042-610-2279
| 요약 | 본 발명은, 웹 페이지를 크롤링하기 위해 가장 적은 비용이 드는 그리드 컴퓨팅 자원을 선택하고, 해당 웹 페이지가 서피스웹인 경우, 선택된 컴퓨팅 자원을 이용하여 해당 페이지의 인덱스를 생성하거나, 해당 웹 페이지가 딥웹인 경우, 선택된 컴퓨팅 자원을 이용하여 해당 웹 페이지의 검색 폼을 찾고, 해당 검색 폼에 적당한 질의를 선택하고, 해당 검색 폼에 선택된 질의를 입력하여 검색 결과로 생성된 웹 페이지의 인덱스를 생성하며, 생성된 인덱스와 웹 페이지의 매핑 정보를 저장하도록 하는, 그리드 컴퓨팅 기반 웹 크롤러 시스템 및 그 방법에 관한 것으로서, 본 발명에 따른 그리드 컴퓨팅 기반 웹 크롤링 방법은, (a) 크롤링할 웹 페이지가 서피스웹에 해당하는 경우, 웹 페이지를 크롤링하기 위해 최적의 서피스웹 크롤러 서비스 팩토리를 호출하여 서피스웹 크롤러 서비스 인스턴스를 동적으로 생성하고, 이를 통해 상기 웹 페이지의 인덱스를 생성하는 서피스웹 크롤링 단계; (b) 크롤링할 웹 페이지가 딥웹에 해당하는 경우, 상기 웹 페이지에서 딥웹 검색폼을 찾기 위해 최적의 딥웹 크롤러 서비스 팩토리를 호출하여 딥웹 크롤러 서비스 인스턴스를 동적으로 생성하고, 생성된 상기 딥웹 크롤러 서비스 인스턴스에서 딥웹 검색폼을 추출하는 검색폼 추출 단계; 및 (c) 상기 딥웹 검색폼에 적당한 질의를 입력해서 결과 페이지를 생성하며, 상기 결과 페이지의 키워드를 추출하여 페이지의 인덱스를 생성해 호출자에게 리턴하는 딥웹 크롤링 단계;를 포함한다.딥웹, 서피스웹, 그리드 컴퓨팅, 인덱스, 크롤러, 웹 페이지, URL |
|---|---|
| Int. CL | G06F 17/00 (2006.01) G06F 17/30 (2006.01) |
| CPC | G06F 17/30864(2013.01) |
| 출원번호/일자 | 1020070095444 (2007.09.19) |
| 출원인 | 한국과학기술정보연구원 |
| 등록번호/일자 | 10-0875636-0000 (2008.12.17) |
| 공개번호/일자 | |
| 공고번호/일자 | (20081226) 문서열기 |
| 국제출원번호/일자 | |
| 국제공개번호/일자 | |
| 우선권정보 | |
| 법적상태 | 소멸 |
| 심사진행상태 | 수리 |
| 심판사항 | |
| 구분 | |
| 원출원번호/일자 | |
| 관련 출원번호 | |
| 심사청구여부/일자 | Y (2007.09.19) |
| 심사청구항수 | 32 |
출원인
| 번호 | 이름 | 국적 | 주소 |
|---|---|---|---|
| 1 | 한국과학기술정보연구원 | 대한민국 | 대전광역시 유성구 |
발명자
| 번호 | 이름 | 국적 | 주소 |
|---|---|---|---|
| 1 | 송지환 | 대한민국 | 서울 서초구 |
| 2 | 최동훈 | 대한민국 | 서울 용산구 |
| 3 | 이윤준 | 대한민국 | 대전 유성구 |
대리인
| 번호 | 이름 | 국적 | 주소 |
|---|---|---|---|
| 1 | 특허법인(유)화우 | 대한민국 | 서울특별시 강남구 테헤란로***길 **, *층 (대치동, 삼호빌딩) |
최종권리자
| 번호 | 이름 | 국적 | 주소 |
|---|---|---|---|
| 1 | 한국과학기술정보연구원 | 대전광역시 유성구 |
| 번호 | 서류명 | 접수/발송일자 | 처리상태 | 접수/발송번호 |
|---|---|---|---|---|
| 1 | [특허출원]특허출원서 [Patent Application] Patent Application |
2007.09.19 | 수리 (Accepted) | 1-1-2007-0679911-59 |
| 2 | 선행기술조사의뢰서 Request for Prior Art Search |
2008.05.07 | 수리 (Accepted) | 9-1-9999-9999999-89 |
| 3 | [우선심사신청]심사청구(우선심사신청)서 [Request for Preferential Examination] Request for Examination (Request for Preferential Examination) |
2008.05.28 | 수리 (Accepted) | 1-1-2008-0382799-88 |
| 4 | 선행기술조사보고서 Report of Prior Art Search |
2008.06.13 | 수리 (Accepted) | 9-1-2008-0037779-25 |
| 5 | 의견제출통지서 Notification of reason for refusal |
2008.08.18 | 발송처리완료 (Completion of Transmission) | 9-5-2008-0429371-33 |
| 6 | [명세서등 보정]보정서 [Amendment to Description, etc.] Amendment |
2008.08.29 | 보정승인간주 (Regarded as an acceptance of amendment) | 1-1-2008-0617793-50 |
| 7 | [거절이유 등 통지에 따른 의견]의견(답변, 소명)서 [Opinion according to the Notification of Reasons for Refusal] Written Opinion(Written Reply, Written Substantiation) |
2008.08.29 | 수리 (Accepted) | 1-1-2008-0617794-06 |
| 8 | 최후의견제출통지서 Notification of reason for final refusal |
2008.12.09 | 발송처리완료 (Completion of Transmission) | 9-5-2008-0619669-90 |
| 9 | [거절이유 등 통지에 따른 의견]의견(답변, 소명)서 [Opinion according to the Notification of Reasons for Refusal] Written Opinion(Written Reply, Written Substantiation) |
2008.12.11 | 수리 (Accepted) | 1-1-2008-0853011-55 |
| 10 | [명세서등 보정]보정서 [Amendment to Description, etc.] Amendment |
2008.12.11 | 보정승인 (Acceptance of amendment) | 1-1-2008-0853009-63 |
| 11 | 등록결정서 Decision to grant |
2008.12.15 | 발송처리완료 (Completion of Transmission) | 9-5-2008-0627844-16 |
| 12 | 출원인정보변경(경정)신고서 Notification of change of applicant's information |
2009.12.23 | 수리 (Accepted) | 4-1-2009-5253238-15 |
| 번호 | 청구항 |
|---|---|
| 1 |
1 (a) 크롤링할 웹 페이지가 서피스웹인 경우, 해당 웹 페이지를 서피스웹 크롤링하기 위해 서피스웹 크롤러 서비스 팩토리를 호출하여 서피스웹 크롤러 서비스 인스턴스를 동적으로 생성하고, 이를 통해 상기 웹 페이지의 인덱스를 생성하는 서피스웹 크롤링 단계;(b) 상기 웹 페이지가 딥웹인 경우, 해당 웹 페이지에서 딥웹 검색폼을 찾기 위한 딥웹 크롤러 서비스 팩토리를 호출하여 딥웹 크롤러 서비스 인스턴스를 동적으로 생성하고, 생성된 상기 딥웹 크롤러 서비스 인스턴스에서 딥웹 검색폼을 추출하는 검색폼 추출 단계; 및(c) 상기 딥웹 검색폼에 질의를 입력해서 결과 페이지를 생성하며, 상기 결과 페이지의 키워드를 추출하여 페이지의 인덱스를 생성해 호출자에게 리턴하는 딥웹 크롤링 단계;를 포함하는 그리드 컴퓨팅 기반 웹 크롤링 방법 |
| 2 |
2 제 1 항에 있어서,상기 서피스웹 크롤링 단계는, 상기 서피스웹 크롤링이 수행되어야 할 페이지 주소를 입력받는 과정;사용 가능한 서피스웹 크롤러 서비스 팩토리의 리스트를 가져오는 과정;상기 리스트에서 임의의 서피스웹 크롤러 서비스 팩토리를 선택하는 과정;상기 서피스웹 크롤러 서비스 팩토리에서 제공하는 서피스웹 크롤러 서비스 상태 검색 기능을 이용하여 서피스웹 크롤러 서비스의 상태 정보를 얻는 과정;상기 상태 정보를 근거로 상기 서피스웹 크롤러 서비스를 동적으로 생성하여 크롤링 작업에 들어갈 비용을 계산하는 과정; 및가장 적은 비용을 갖는 서피스웹 크롤러 서비스 팩토리를 최소 비용 팩토리로 지정하는 과정;을 포함하는 것을 특징으로 하는 그리드 컴퓨팅 기반 웹 크롤링 방법 |
| 3 |
3 제 2 항에 있어서,상기 서피스웹 크롤러 서비스의 상태 정보는,상기 서피스웹 크롤러 서비스를 사용할 때 발생하는 비용, 서피스웹 크롤러 서비스 노드와 웹 사이트 간의 통신 비용, 서피스웹 크롤러 서비스 노드의 부하(load)를 포함하는 것을 특징으로 하는 그리드 컴퓨팅 기반 웹 크롤링 방법 |
| 4 |
4 제 2 항에 있어서,상기 크롤링 작업에 들어갈 비용은, 비용=α×Cost(Si) + β×CommunicationCost(Si) + γ×Capacity(Si)의 수학식으로 계산하되, 상기 수학식중 α, β, γ는 α≥0, β≥0, γ≥0, α+β+γ=1의 조건을 만족하는 가중치, Si는 서피스웹 크롤러 서비스, Cost(Si)는 서피스웹 크롤러 서비스(Si)를 사용할 때 발생하는 비용, CommunicationCost(Si)는 서피스웹 크롤러 서비스 Si와 웹 사이트 간의 통신 비용, Capacity(Si)는 서피스웹 크롤러 서비스 Si의 현재 부하 정도인 것을 특징으로 하는 그리드 컴퓨팅 기반 웹 크롤링 방법 |
| 5 |
5 제 1 항에 있어서,상기 검색폼 추출 단계는,생성된 상기 딥웹 크롤러 서비스의 딥웹 검색폼 정보 추출 프로시저를 호출하여 딥웹 검색폼 정보를 추출하고, 추출된 상기 딥웹 검색폼 정보를 임시로 저장하며, 임시로 저장된 상기 딥웹 검색폼 정보를 호출자에게 리턴하는 것을 특징으로 하는 그리드 컴퓨팅 기반 웹 크롤링 방법 |
| 6 |
6 제 1 항에 있어서,상기 검색폼 추출 단계는,상기 딥웹 검색폼을 선택하고, 선택된 상기 딥웹 검색폼에서 상기 딥웹 크롤러 서비스 팩토리를 호출하며, 상기 딥웹 크롤러 서비스 팩토리를 이용하여 상기 딥웹 크롤러 서비스 인스턴스를 동적으로 생성하고, 생성된 상기 딥웹 크롤러 서비스 인스턴스의 딥웹 크롤링 프로시저를 호출하여 상기 웹 페이지의 인덱스를 생성해 저장하는 것을 특징으로 하는 그리드 컴퓨팅 기반 웹 크롤링 방법 |
| 7 |
7 제 1 항에 있어서,상기 딥웹 크롤링 단계는,상기 딥웹 검색폼의 정보를 입력받고, 상기 딥웹 검색폼의 정보를 바탕으로 딥웹의 도메인을 결정하며, 결정된 상기 도메인에서 임의의 질의를 선택하고, 선택된 상기 질의를 상기 딥웹 검색폼에 입력하며,상기 질의를 상기 딥웹 검색폼에 입력한 결과로 생성된 결과 페이지를 제1 결과 집합에 추가하고, 상기 제1 결과 집합의 페이지들의 키워드를 추출하여 페이지의 인덱스를 생성하여 호출자에게 리턴하는 것을 특징으로 하는 그리드 컴퓨팅 기반 웹 크롤링 방법 |
| 8 |
8 제 7 항에 있어서,추출된 상기 키워드 중 도메인 키워드에 해당하는 키워드들을 질의 집합에 추가하는 것을 특징으로 하는 그리드 컴퓨팅 기반 웹 크롤링 방법 |
| 9 |
9 제 7 항에 있어서,상기 제1 결과 집합과, 검색된 페이지들이 포함된 제2 결과 집합의 교집합을 계산하고, 계산된 상기 교집합과 상기 제1 결과 집합의 차집합을 계산하며, 상기 제1 결과 집합을 상기 제2 결과 집합에 추가하는 것을 특징으로 하는 그리드 컴퓨팅 기반 웹 크롤링 방법 |
| 10 |
10 제 1 항에 있어서,상기 딥웹 검색폼은, 검색폼들의 딥웹 크롤링 우선 순위를 나타내는 조건을 만족하며, 상기 조건은 상기 검색폼의 사용 빈도수와, 최근 일정 시간 동안 검색폼이 얼마나 오랫동안 방문되지 않았는지를 나타내는 최근방문지수 및 상기 사용 빈도수와 상기 최근방문지수의 값들 중 어떤 값에 더 비중을 둘 지를 결정하는 가중치의 조합으로 이루어지는 것을 특징으로 하는 그리드 컴퓨팅 기반 웹 크롤링 방법 |
| 11 |
11 제 10 항에 있어서,상기 딥웹 검색폼은,검색폼들의 딥웹 크롤링 우선 순위를 나타내는 조건 α×Popularity(SFi) + (1-α)×LeastRecentlyVisited(SFi)를 만족하며, 여기서 α는 Popularity(SFi)와 LeastRecentlyVisited(SFi) 값들 중 어떤 값에 더 비중을 둘 지를 결정하는 가중치이고 0≤α≤1이며, Popularity(SFi)는 검색 폼 SFi의 사용 빈도수를 나타내고, LeastRecentlyVisited(SFi)는 최근 s 시간 동안 검색 폼 SFi가 얼마나 오랫동안 방문되지 않았는지를 나타내는 것을 특징으로 하는 그리드 컴퓨팅 기반 웹 크롤링 방법 |
| 12 |
12 (a) 웹 주소 집합에서 크롤링 해야 할 페이지의 주소를 선택하는 단계;(b) 상기 선택된 페이지의 주소를 서피스웹 크롤링하기 위한 서피스웹 크롤러 서비스 팩토리를 호출하고, 상기 호출된 서피스웹 크롤러 서비스 팩토리를 이용하여 서피스웹 크롤러 서비스 인스턴스를 동적으로 생성하는 단계;(c) 상기 생성된 서피스웹 크롤러 서비스 인스턴스를 이용하여 상기 선택된 페이지의 인덱스를 생성하는 단계; 및(d) 상기 생성된 페이지의 인덱스를 저장하는 단계;를 포함하는 그리드 컴퓨팅 기반 서피스웹 크롤링 방법 |
| 13 |
13 제 12 항에 있어서,(e) 상기 페이지가 검색폼을 포함하는 경우에 상기 페이지의 주소를 저장하는 단계;를 추가로 포함하는 것을 특징으로 하는 그리드 컴퓨팅 기반 서피스웹 크롤링 방법 |
| 14 |
14 제 12 항에 있어서,상기 (b) 단계는,서피스웹 크롤링이 수행되어야 할 페이지의 주소를 입력받는 과정;사용 가능한 서피스웹 크롤러 서비스 팩토리 리스트를 가져오는 과정;상기 리스트에서 임의의 서피스웹 크롤러 서비스 팩토리를 선택하는 과정;상기 서피스웹 크롤러 서비스 팩토리에서 제공하는 서피스웹 크롤러 서비스 상태 검색 기능을 이용하여 서피스웹 크롤러 서비스의 상태 정보를 얻는 과정;상기 상태 정보를 근거로 상기 서피스웹 크롤러 서비스 인스턴스를 동적으로 생성하여, 생성된 인스턴스로 크롤링 작업에 들어갈 때 발생하는 비용을 계산하는 과정; 및가장 적은 비용을 갖는 서피스웹 크롤러 서비스 팩토리를 최소 비용 팩토리로 지정하는 과정;을 포함하는 것을 특징으로 하는 그리드 컴퓨팅 기반 서피스웹 크롤링 방법 |
| 15 |
15 제 14 항에 있어서,상기 서피스웹 크롤러 서비스의 상태 정보는,상기 서피스웹 크롤러 서비스를 사용할 때 발생하는 비용, 서피스웹 크롤러 서비스 노드와 웹 사이트 간의 통신 비용, 서피스웹 크롤러 서비스 노드의 부하(load)를 포함하는 것을 특징으로 하는 그리드 컴퓨팅 기반 서피스웹 크롤링 방법 |
| 16 |
16 제 14 항에 있어서,상기 크롤링 작업에 들어갈 때 발생하는 비용은비용=α×Cost(Si) + β×CommunicationCost(Si) + γ×Capacity(Si)의 수학식으로 계산하되, 상기 수학식중 α, β, γ는 α≥0, β≥0, γ≥0, α+β+γ=1의 조건을 만족하는 가중치, Si는 서피스웹 크롤러 서비스, Cost(Si)는 서피스웹 크롤러 서비스(Si)를 사용할 때 발생하는 비용, CommunicationCost(Si)는 서피스웹 크롤러 서비스 Si와 웹 사이트 간의 통신 비용, Capacity(Si)는 서피스웹 크롤러 서비스 Si의 현재 부하 정도인 것을 특징으로 하는 그리드 컴퓨팅 기반 서피스 웹 크롤링 방법 |
| 17 |
17 (a) 검색폼이 포함된 페이지를 선택하는 단계;(b) 선택된 상기 페이지에서 딥웹 검색폼을 찾아줄 수 있는 딥웹 크롤러 서비스 인스턴스를 생성하기 위해 딥웹 크롤러 서비스 팩토리를 호출하는 단계;(c) 호출된 상기 딥웹 크롤러 서비스 팩토리를 이용하여 딥웹 크롤러 서비스 인스턴스를 동적으로 생성하는 단계;(d) 생성된 상기 딥웹 크롤러 서비스 인스턴스의 딥웹 검색폼 정보 추출 프로시저를 호출하여 상기 딥웹 검색폼 정보를 추출하는 단계; 및(e) 검색된 상기 딥웹 검색폼 정보를 저장하는 단계;를 포함하는 그리드 컴퓨팅 기반 딥웹 크롤링 방법 |
| 18 |
18 제 17 항에 있어서,상기 (d) 단계는,상기 페이지에 접근하여 검색폼을 추출하는 과정;추출된 상기 검색폼을 저장하는 과정; 및저장된 상기 검색폼들의 정보를 호출자에게 리턴하는 과정;을 포함하는 것을 특징으로 하는 그리드 컴퓨팅 기반 딥웹 크롤링 방법 |
| 19 |
19 (a) 딥웹 검색폼을 선택하는 단계;(b) 선택된 상기 딥웹 검색폼에서 딥웹 크롤링을 수행하기 위해 딥웹 크롤러 서비스 팩토리를 호출하는 단계;(c) 상기 딥웹 크롤러 서비스 팩토리를 이용하여 딥웹 크롤러 서비스 인스턴스를 동적으로 생성하는 단계;(d) 생성된 상기 딥웹 크롤러 서비스 인스턴스의 딥웹 크롤링 프로시저를 호출하여 딥웹 페이지의 인덱스를 생성하는 단계; 및(e) 생성된 상기 딥웹 페이지의 인덱스를 저장하는 단계;를 포함하는 그리드 컴퓨팅 기반 딥웹 크롤링 방법 |
| 20 |
20 제 19 항에 있어서,상기 딥웹 검색폼은,검색폼들의 딥웹 크롤링 우선 순위를 나타내는 조건 α×Popularity(SFi) + (1-α)×LeastRecentlyVisited(SFi)를 만족하며, 여기서 α는 Popularity(SFi)와 LeastRecentlyVisited(SFi) 값들 중 어떤 값에 더 비중을 둘 지를 결정하는 가중치이고 0≤α≤1이며, Popularity(SFi)는 검색 폼 SFi의 사용 빈도수를 나타내고, LeastRecentlyVisited(SFi)는 최근 s 시간 동안 검색 폼 SFi가 얼마나 오랫동안 방문되지 않았는지를 나타내는 것을 특징으로 하는 그리드 컴퓨팅 기반 딥웹 크롤링 방법 |
| 21 |
21 (a) 검색폼 정보를 입력 받는 단계;(b) 상기 검색폼 정보를 바탕으로 해당 딥웹의 도메인을 결정하는 단계;(c) 결정된 상기 도메인에서 임의의 질의를 선택하고, 선택된 상기 질의를 상기 검색폼에 입력하는 단계;(d) 상기 질의 입력 결과로 생성된 결과 페이지를 제1 결과 집합에 추가하는 단계;(e) 상기 제1 결과 집합의 페이지들의 키워드를 추출하여 페이지의 인덱스를 생성하는 단계;(f) 생성한 상기 페이지의 인덱스를 호출자에게 리턴하는 단계;를 포함하는 그리드 컴퓨팅 기반 딥웹 크롤링 방법 |
| 22 |
22 제 21 항에 있어서,상기 (e) 단계는, 추출된 키워드 중 도메인 키워드에 해당하는 키워드들을 질의 집합에 추가하는 것을 특징으로 하는 그리드 컴퓨팅 기반 딥웹 크롤링 방법 |
| 23 |
23 제 21 항에 있어서,상기 (e) 단계는, 검색된 페이지들이 포함된 제2 결과 집합과 상기 제1 결과 집합의 교집합을 계산하는 과정;계산된 상기 교집합과 상기 제1 결과 집합의 차집합을 계산하는 과정; 및상기 제1 결과 집합을 상기 제2 결과 집합에 추가하는 과정;을 포함하는 것을 특징으로 하는 그리드 컴퓨팅 기반 딥웹 크롤링 방법 |
| 24 |
24 딥웹 및 서피스웹의 크롤링 작업을 분산된 그리드 컴퓨팅 노드들에게 할당하고, 크롤링 작업 후 생성되는 웹 페이지들의 인덱스(Index)를 저장하고 관리하는 그리드 웹 크롤러 관리 서브시스템;웹 크롤링을 위한 그리드 기반의 미들웨어로서, 상기 그리드 웹 크롤러 관리 서브시스템으로부터 할당받은 크롤링 작업을 실제 그리드 노드들에서 수행하는 그리드 웹 크롤러 미들웨어 서브시스템; 및서피스웹 크롤러 서비스 팩토리 및 딥웹 크롤러 서비스 팩토리의 등록 및 검색 서비스를 제공하는 그리드 웹 크롤러 레지스트리 서브시스템;을 포함하는 그리드 웹 크롤러 시스템 |
| 25 |
25 제 24 항에 있어서,상기 그리드 웹 크롤러 관리 서브시스템은,크롤링된 페이지들로부터 추출된 키워드와 해당 페이지 간의 매핑 정보를 저장하는 키워드/페이지 인덱스 저장소;딥웹 사이트의 검색 폼 정보와 폼을 포함한 페이지를 저장하는 딥웹 검색 폼 저장소;서피스웹 크롤링 작업을 그리드 컴퓨팅 자원들에게 할당하고 관리하는 서피스웹 크롤러 관리자; 및딥웹의 검색 폼을 찾는 작업 및 실제 딥웹을 크롤링하는 작업을 관리하는 딥웹 크롤러 관리자;를 포함하는 것을 특징으로 하는 그리드 웹 크롤러 시스템 |
| 26 |
26 제 25 항에 있어서,상기 서피스웹 크롤러 관리자는, 서피스웹 크롤링 작업이 끝난 후 생성되는 정적 페이지들의 인덱스를 상기 키워드/페이지 인덱스 저장소에 저장하는 것을 특징으로 하는 그리드 웹 크롤러 시스템 |
| 27 |
27 제 25 항에 있어서,상기 딥웹 크롤러 관리자는, 딥웹의 검색 폼을 찾는 작업이 끝나면, 그 결과 생성된 딥웹 검색 폼 정보를 상기 딥웹 검색폼 저장소에 저장하고, 딥웹 크롤링 작업이 끝난 후 생성되는 동적 페이지들의 인덱스를 상기 키워드/페이지 인덱스 저장소에 저장하는 것을 특징으로 하는 그리드 웹 크롤러 시스템 |
| 28 |
28 제 25 항에 있어서,상기 서피스웹 크롤러 관리자는, 웹 주소 집합에서 크롤링 해야 할 페이지의 주소를 선택하고, 선택된 페이지의 주소를 가장 적은 비용으로 서피스웹 크롤링하기 위한 최소 비용의 서피스웹 크롤러 서비스 팩토리를 호출하며, 호출된 상기 서피스웹 크롤러 서비스 팩토리를 이용하여 서피스웹 크롤러 서비스 인스턴스를 동적으로 생성하고, 생성된 상기 서피스웹 크롤러 서비스 인스턴스를 이용하여 상기 페이지의 인덱스를 생성하며, 생성된 상기 페이지의 인덱스를 상기 키워드/페이지 인덱스 저장소에 저장하는 것을 특징으로 하는 그리드 웹 크롤러 시스템 |
| 29 |
29 제 25 항에 있어서,상기 딥웹 크롤러 관리자는,검색폼이 포함된 페이지를 선택하고, 선택된 상기 페이지에서 딥웹 검색폼을 가장 적은 비용으로 찾아줄 수 있는 딥웹 크롤러 서비스 인스턴스를 생성하기 위해 최소 비용의 딥웹 크롤러 서비스 팩토리를 호출하며, 호출된 상기 딥웹 크롤러 서비스 팩토리를 이용하여 딥웹 크롤러 서비스 인스턴스를 동적으로 생성하고, 생성된 상기 딥웹 크롤러 서비스 인스턴스의 딥웹 검색폼 정보 추출 프로시저를 호출하여 상기 딥웹 검색폼 정보를 추출하고, 검색된 상기 딥웹 검색폼 정보를 상기 딥웹 검색폼 저장소에 저장하는 것을 특징으로 하는 그리드 웹 크롤러 시스템 |
| 30 |
30 제 24 항에 있어서,상기 그리드 웹 크롤러 미들웨어 서브시스템은, 지속적인(persistent) 그리드 팩토리 서비스로서 자신이 담당하는 그리드 컴퓨팅 자원들의 정보를 알려주는 기능 및 서피스웹 크롤링을 수행하는 일시적인(transient) 서피스웹 크롤러 서비스 인스턴스를 동적으로 생성하는 기능을 제공하는 서피스웹 크롤러 서비스 팩토리;지속적인 그리드 팩토리 서비스로서 자신이 담당하는 그리드 컴퓨팅 자원들의 정보를 알려주는 기능 및 딥웹 크롤링을 수행하는 딥웹 크롤러 서비스 인스턴스를 동적으로 생성하는 기능을 제공하는 딥웹 크롤러 서비스 팩토리;상기 서피스웹 크롤러 서비스 팩토리를 이용하여 상기 서피스웹 크롤러 서비스 인스턴스를 생성하는 서피스웹 크롤러 서비스; 및상기 딥웹 크롤러 서비스 팩토리를 이용하여 상기 딥웹 크롤러 서비스 인스턴스를 생성하는 딥웹 크롤러 서비스;를 포함하는 것을 특징으로 하는 그리드 웹 크롤러 시스템 |
| 31 |
31 제 30 항에 있어서,상기 그리드 컴퓨팅 자원들의 정보는, 그리드 서비스를 사용할 때 발생하는 비용, 그리드 서비스와 서피스웹 사이트 간의 통신 비용, 그리드 서비스의 부하 정도에 관한 정보를 포함하는 것을 특징으로 하는 그리드 웹 크롤러 시스템 |
| 32 |
32 제 30 항에 있어서,상기 서피스웹 크롤러 서비스는, 상기 서피스웹 크롤러 서비스 팩토리에서 제공하는 서피스웹 크롤러 서비스 상태 검색 기능을 이용하여 서피스웹 크롤러 서비스의 상태 정보를 얻고, 상기 상태 정보를 근거로 상기 서피스웹 크롤러 서비스 인스턴스를 동적으로 생성하여, 생성된 인스턴스로 크롤링 작업에 들어갈 때 발생하는 비용을 계산하며, 상기 크롤링 작업에 들어갈 때 발생하는 비용은, 비용=α×Cost(Si) + β×CommunicationCost(Si) + γ×Capacity(Si)의 수학식으로 계산하되, 상기 수학식 중 α, β, γ는 α≥0, β≥0, γ≥0, α+β+γ=1의 조건을 만족하는 가중치, Si는 서피스웹 크롤러 서비스, Cost(Si)는 서피스웹 크롤러 서비스(Si)를 사용할 때 발생하는 비용, CommunicationCost(Si)는 서피스웹 크롤러 서비스 Si와 웹 사이트 간의 통신 비용, Capacity(Si)는 서피스웹 크롤러 서비스 Si의 현재 부하 정도인 것을 특징으로 하는 그리드 웹 크롤러 시스템 |
| 지정국 정보가 없습니다 |
|---|
| 패밀리정보가 없습니다 |
|---|
| 국가 R&D 정보가 없습니다. |
|---|
| 공개전문 정보가 없습니다 |
|---|
- 본 등록정보는 참고용으로 법적증빙자료로 사용할 수 없습니다.
- 데이터 이관에 따른 소요기간(1일)으로 인하여 등록원부와 일부 차이가 발생할 수 있으며, 일부 정보(부기, 상세 주소 등)를 제공하지 않고 있습니다.
- 법적증빙자료로 활용하시거나 더 자세한 정보를 보시려면 등록원부를 발급받아 사용하시기 바랍니다.
| 특허 등록번호 | 10-0875636-0000 |
|---|
권리란
| 표시번호 | 사항 |
|---|---|
| 1 |
출원 연월일 : 20070919 출원 번호 : 1020070095444 공고 연월일 : 20081226 공고 번호 : 특허결정(심결)연월일 : 20081215 청구범위의 항수 : 32 유별 : G06F 17/30 발명의 명칭 : 그리드 컴퓨팅 기반 웹 크롤러 시스템 및 그 방법 존속기간(예정)만료일 : 20151218 |
특허권자란
| 순위번호 | 사항 |
|---|---|
| 1 |
(권리자) 한국과학기술정보연구원 대전광역시 유성구... |
| 2 |
(의무자) 한국과학기술정보연구원 대전광역시 유성구... |
| 2 |
(권리자) (재)연구개발특구진흥재단 대전광역시 유성구... |
| 3 |
(의무자) (재)연구개발특구진흥재단 대전광역시 유성구... |
| 3 |
(권리자) 한국과학기술정보연구원 대전광역시 유성구... |
등록료란
| 제 1 - 3 년분 | 금 액 | 753,000 원 | 2008년 12월 18일 | 납입 |
| 제 4 년분 | 금 액 | 744,000 원 | 2011년 10월 10일 | 납입 |
| 제 5 년분 | 금 액 | 744,000 원 | 2012년 10월 11일 | 납입 |
| 제 6 - 7 년분 | 금 액 | 2,060,000 원 | 2013년 09월 24일 | 납입 |
- 본 '원본보기 서비스'는 참고용이므로, 일부 오류 및 누락이 발생할 수 있습니다.
- 정확한 서류를 확인하시려면 해당 웹사이트에서 조회하시기 바랍니다. (특허로 바로가기: http://www.patent.go.kr)
- 해당 서비스는 점검으로 인해 매주 일요일 00:00 ~ 02:00까지 이용이 중단됩니다.
| 번호 | 서류명 | 접수/발송일자 | 처리상태 | 접수/발송번호 |
|---|---|---|---|---|
| 1 | [특허출원]특허출원서 | 2007.09.19 | 수리 (Accepted) | 1-1-2007-0679911-59 |
| 2 | 선행기술조사의뢰서 | 2008.05.07 | 수리 (Accepted) | 9-1-9999-9999999-89 |
| 3 | [우선심사신청]심사청구(우선심사신청)서 | 2008.05.28 | 수리 (Accepted) | 1-1-2008-0382799-88 |
| 4 | 선행기술조사보고서 | 2008.06.13 | 수리 (Accepted) | 9-1-2008-0037779-25 |
| 5 | 의견제출통지서 | 2008.08.18 | 발송처리완료 (Completion of Transmission) | 9-5-2008-0429371-33 |
| 6 | [명세서등 보정]보정서 | 2008.08.29 | 보정승인간주 (Regarded as an acceptance of amendment) | 1-1-2008-0617793-50 |
| 7 | [거절이유 등 통지에 따른 의견]의견(답변, 소명)서 | 2008.08.29 | 수리 (Accepted) | 1-1-2008-0617794-06 |
| 8 | 최후의견제출통지서 | 2008.12.09 | 발송처리완료 (Completion of Transmission) | 9-5-2008-0619669-90 |
| 9 | [거절이유 등 통지에 따른 의견]의견(답변, 소명)서 | 2008.12.11 | 수리 (Accepted) | 1-1-2008-0853011-55 |
| 10 | [명세서등 보정]보정서 | 2008.12.11 | 보정승인 (Acceptance of amendment) | 1-1-2008-0853009-63 |
| 11 | 등록결정서 | 2008.12.15 | 발송처리완료 (Completion of Transmission) | 9-5-2008-0627844-16 |
| 12 | 출원인정보변경(경정)신고서 | 2009.12.23 | 수리 (Accepted) | 4-1-2009-5253238-15 |
| 기술번호 | KST2014065659 |
|---|---|
| 자료제공기관 | 미래기술마당 |
| 기술공급기관 | 한국과학기술정보연구원 |
| 기술명 | 그리드 컴퓨팅 기반 웹 크롤러 시스템 및 그 방법 |
| 기술개요 |
본 발명은, 웹 페이지를 크롤링하기 위해 가장 적은 비용이 드는 그리드 컴퓨팅 자원을 선택하고, 해당 웹 페이지가 서피스웹인 경우, 선택된 컴퓨팅 자원을 이용하여 해당 페이지의 인덱스를 생성하거나, 해당 웹 페이지가 딥웹인 경우, 선택된 컴퓨팅 자원을 이용하여 해당 웹 페이지의 검색 폼을 찾고, 해당 검색 폼에 적당한 질의를 선택하고, 해당 검색 폼에 선택된 질의를 입력하여 검색 결과로 생성된 웹 페이지의 인덱스를 생성하며, 생성된 인덱스와 웹 페이지의 매핑 정보를 저장하도록 하는, 그리드 컴퓨팅 기반 웹 크롤러 시스템 및 그 방법에 관한 것으로서, 본 발명에 따른 그리드 컴퓨팅 기반 웹 크롤링 방법은, (a) 크롤링할 웹 페이지가 서피스웹에 해당하는 경우, 웹 페이지를 크롤링하기 위해 최적의 서피스웹 크롤러 서비스 팩토리를 호출하여 서피스웹 크롤러 서비스 인스턴스를 동적으로 생성하고, 이를 통해 상기 웹 페이지의 인덱스를 생성하는 서피스웹 크롤링 단계; (b) 크롤링할 웹 페이지가 딥웹에 해당하는 경우, 상기 웹 페이지에서 딥웹 검색폼을 찾기 위해 최적의 딥웹 크롤러 서비스 팩토리를 호출하여 딥웹 크롤러 서비스 인스턴스를 동적으로 생성하고, 생성된 상기 딥웹 크롤러 서비스 인스턴스에서 딥웹 검색폼을 추출하는 검색폼 추출 단계; 및 (c) 상기 딥웹 검색폼에 적당한 질의를 입력해서 결과 페이지를 생성하며, 상기 결과 페이지의 키워드를 추출하여 페이지의 인덱스를 생성해 호출자에게 리턴하는 딥웹 크롤링 단계;를 포함한다.딥웹, 서피스웹, 그리드 컴퓨팅, 인덱스, 크롤러, 웹 페이지, URL |
| 개발상태 | 연구실환경 테스트 |
| 기술의 우수성 |
1) 크롤링할 웹 페이지가 서피스웹인 경우, 해당 웹 페이지를 서피스웹 크롤링하기 위해 서피스웹 크롤러 서비스 팩토리를 호출하여 서피스웹 크롤러 서비스 인스턴스를 동적으로 생성하고, 이를 통해 상기 웹 페이지의 인덱스를 생성
2) 웹 페이지가 딥웹인 경우, 해당 웹 페이지에서 딥웹 검색폼을 찾기 위한 딥웹 크롤러 서비스 팩토리를 호출하여 딥웹 크롤러 서비스 인스턴스를 동적으로 생성하고, 생성된 상기 딥웹 크롤러 서비스 인스턴스에서 딥웹 검색폼을 추출하는 검색폼 추출 3) 딥웹 검색폼에 질의를 입력해서 결과 페이지를 생성하며, 상기 결과 페이지의 키워드를 추출하여 페이지의 인덱스를 생성해 호출자에게 리턴 |
| 응용분야 | 그리드 컴퓨팅 기술 응용 및 개방형 그리드 아키텍처 팁웹 그롤링 시스템 적용 |
| 시장규모 및 동향 | |
| 희망거래유형 | |
| 사업화적용실적 | |
| 도입시고려사항 |
| 과제고유번호 | 1355048056 |
|---|---|
| 세부과제번호 | K-07-L03-C01 |
| 연구과제명 | e-Science환경구축 |
| 성과구분 | 출원 |
| 부처명 | 교육과학기술부 |
| 연구관리전문기관명 | 과학기술부 |
| 연구주관기관명 | 한국과학기술정보연구원 |
| 성과제출연도 | 2007 |
| 연구기간 | 200701~200712 |
| 기여율 | 1 |
| 연구개발단계명 | 개발연구 |
| 6T분류명 | 기타 |
| 과제고유번호 | 1345067537 |
|---|---|
| 세부과제번호 | I-08-GG-LR05 |
| 연구과제명 | e-science기반구축 |
| 성과구분 | 등록 |
| 부처명 | 교육과학기술부 |
| 연구관리전문기관명 | 교육과학기술부 |
| 연구주관기관명 | 한국과학기술정보연구원 |
| 성과제출연도 | 2008 |
| 연구기간 | 200801~201112 |
| 기여율 | 1 |
| 연구개발단계명 | 응용연구 |
| 6T분류명 | IT(정보기술) |
특허성과
| [1020080127176] | 데이터 교환 시스템 및 방법과 이를 위한 기록매체 | 새창보기 |
|---|---|---|
| [1020080096417] | 그리드 컴퓨팅 기반의 투과전자현미경 영상 렌더링 시스템및 방법 | 새창보기 |
| [1020080096416] | 전자 현미경의 원격 제어 시스템 및 제어방법 | 새창보기 |
| [1020070095444] | 그리드 컴퓨팅 기반 웹 크롤러 시스템 및 그 방법 | 새창보기 |
중요키워드
| [KST2015206801][한국과학기술정보연구원] | 원문검색시스템 및 그 방법과 이를 기록한 기록매체 | 새창보기 |
|---|---|---|
| [KST2015206812][한국과학기술정보연구원] | 개체 식별 결과 검색 시스템 및 방법 | 새창보기 |
| [KST2015206743][한국과학기술정보연구원] | 어댑티브 온톨로지 정보 제공 방법, 어댑티브 온톨로지 정보 제공 장치, 어댑티브 온톨로지 정보를 제공하는 프로그램을 저장하는 저장매체 | 새창보기 |
| [KST2015206762][한국과학기술정보연구원] | 시뮬레이션 데이터 처리 방법 및 시스템 | 새창보기 |
| [KST2015206783][한국과학기술정보연구원] | ＤＢＭＳ 기반 지식 확장 및 추론 서비스 시스템 및 그방법 | 새창보기 |
| [KST2015206749][한국과학기술정보연구원] | 공기 정보를 이용한 문장 클러스터 기반의 정보 검색 장치 및 방법 | 새창보기 |
| [KST2015206763][한국과학기술정보연구원] | 중첩 격자에서의 필드라인 생성 장치 및 그 방법 | 새창보기 |
| [KST2015206778][한국과학기술정보연구원] | 시뮬레이션 프로그램 바인딩 시스템 및 방법 | 새창보기 |
| [KST2015206781][한국과학기술정보연구원] | 트리구조를 이용한 무 검색어 검색 시스템 및 그에 따른검색방법 | 새창보기 |
| [KST2016011822][한국과학기술정보연구원] | 대용량 데이터 분석을 위한 R의 연계방법 및 프로그램을 저장한 저장매체(R COOPERATION METHOD FOR THE ANALYSIS OF LARGE AMOUNT OF DATA AND STORAGE MEDIUM SAVING THE PROGRAM THEREOF) | 새창보기 |
| [KST2014065687][한국과학기술정보연구원] | Big data 기반 전략 수립 지원 서비스 InSciTe | 새창보기 |
| [KST2014062998][한국과학기술정보연구원] | 온톨로지 기반 연관성 추적 기술 | 새창보기 |
| [KST2015206739][한국과학기술정보연구원] | 클라우드 환경에서의 정보 보호 서비스 시스템 및 방법 | 새창보기 |
| [KST2015206745][한국과학기술정보연구원] | 시뮬레이션 워크플로우 관리 시스템 | 새창보기 |
| [KST2015206766][한국과학기술정보연구원] | Part-whole 관계를 이용한 제품의 혁신 수준 측정 방법 및 시스템 | 새창보기 |
| [KST2015206804][한국과학기술정보연구원] | 특허 유사도 검출에 의한 지적재산권 포괄 성형망 구현장치 및 방법 | 새창보기 |
| [KST2016011967][한국과학기술정보연구원] | 기술 가치 평가 장치, 방법 및 이를 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록매체(APPARATUS FOR EVALUATING A VALUE OF TECHNIQUE, METHOD THEREOF, AND STORAGE MEDIA FOR STORING A PROGRAM EVALUATING AVALUE OF TECHNIQUE) | 새창보기 |
| [KST2014061522][한국과학기술정보연구원] | 기술 생명 주기 그래프를 이용한 기술 추이 제공 방법 및 시스템 | 새창보기 |
| [KST2014063000][한국과학기술정보연구원] | 대용량 문서학습을 위한 동적학습 파이프라인 생성기술 | 새창보기 |
| [KST2016021138][한국과학기술정보연구원] | 텍스트 마이닝을 활용한 순수 기업 선정 장치 및 방법(Apparatus and method for selecting a pure play company by using text mining) | 새창보기 |
| [KST2014062997][한국과학기술정보연구원] | 테크놀로지 인텔리전스 서비스 기술 | 새창보기 |
| [KST2015206761][한국과학기술정보연구원] | 결합 가능 기술 분석 시스템 및 방법 | 새창보기 |
| [KST2015206738][한국과학기술정보연구원] | 규칙집합 기반 대용량 데이터 처리 시스템 및 방법 | 새창보기 |
| [KST2014061523][한국과학기술정보연구원] | 계산작업 제어장치, 계산작업 제어방법, 및 계산작업을 제어하는 소프트웨어를 저장하는 저장매체 | 새창보기 |
| [KST2014063003][한국과학기술정보연구원] | 과학기술문헌 지식기술 자동추출 기술 | 새창보기 |
| [KST2014061516][한국과학기술정보연구원] | 온톨로지 정보 브라우징 방법, 온톨로지 정보 브라우징 장치, 온톨로지 정보 브라우저를 구동하는 프로그램을 저장하는 저장매체 | 새창보기 |
| [KST2017009414][한국과학기술정보연구원] | 빅데이터 기반 식품 안전 데이터 분석 장치, 그 방법 및 그 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체(Method, Apparatus for Food Safety Data Analysis Based on Big Data, And a Computer-readableStorage Medium for executing the Method) | 새창보기 |
| [KST2015206754][한국과학기술정보연구원] | 패턴 기반 관계 유사도 측정 장치 및 방법 | 새창보기 |
| [KST2016012177][한국과학기술정보연구원] | 녹색기술과 결합가능한 연관기술 검색 서비스 시스템 및 방법(SYSTEM AND METHOD FOR SEARCHING ASSOCIATION TECHNOLOGY COMBINABLE GREEN TECHNOLOGY) | 새창보기 |
| [KST2014065637][한국과학기술정보연구원] | 데이터의 구조화 및 접근을 위한 시스템 및 방법 | 새창보기 |
| 심판사항 정보가 없습니다 |
|---|