맞춤기술찾기

이전대상기술

웹 크롤링 모니터링 시스템 및 방법(System and method for monitoring web crawling)

  • 기술번호 : KST2017011609
  • 담당센터 : 대전기술혁신센터
  • 전화번호 : 042-610-2279
요약, Int. CL, CPC, 출원번호/일자, 출원인, 등록번호/일자, 공개번호/일자, 공고번호/일자, 국제출원번호/일자, 국제공개번호/일자, 우선권정보, 법적상태, 심사진행상태, 심판사항, 구분, 원출원번호/일자, 관련 출원번호, 기술이전 희망, 심사청구여부/일자, 심사청구항수의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 서지정보 표입니다.
요약 본 발명은 웹사이트 정적 크롤러의 오작동을 모니터링하여 URL(Uniform Resource Locator)서버에 과다한 트래픽(Traffic)이 발생되는 피해를 방지할 수 있는 웹 크롤러 모니터링 시스템 및 방법에 관한 것으로, 웹 크롤러(Web crawler)를 모니터링 하는 시스템에 있어서, 입력되는 URL(Uniform Resource Locator)을 상기 크롤러에게 전달하고, 상기 URL의 크롤링 프로세스 정보(PID) 및 크롤링 시작시간을 파일로 저장하며, 기 지정된 크롤링 작업시간이 경과하면 상기 크롤링 프로세스를 강제로 종료한 후, 상기 파일을 삭제하고 구동을 종료하는 제1모니터링부; 상기 제1모니터링부가 저장한 파일로부터 상기 크롤링 프로세스 정보(PID) 및 크롤링 시작시간을 독출하고, 상기 기 지정된 작업시간이 경과하면 상기 크롤링 프로세스 및 상기 제1모니터링부의 구동을 강제로 종료하는 제2모니터링부; 및 상기 URL 및 상기 파일을 저장하는 데이터베이스;를 포함하는 것을 특징으로 하는 웹 크롤러 모니터링 시스템 및 그 모니터링 방법을 제공한다.
Int. CL H04L 12/26 (2016.02.15) G06F 17/30 (2016.02.15)
CPC H04L 43/0817(2013.01) H04L 43/0817(2013.01) H04L 43/0817(2013.01) H04L 43/0817(2013.01)
출원번호/일자 1020150191014 (2015.12.31)
출원인 순천향대학교 산학협력단
등록번호/일자
공개번호/일자 10-2017-0080954 (2017.07.11) 문서열기
공고번호/일자 문서열기
국제출원번호/일자
국제공개번호/일자
우선권정보
법적상태 등록
심사진행상태 수리
심판사항
구분 신규
원출원번호/일자
관련 출원번호
심사청구여부/일자 Y (2015.12.31)
심사청구항수 3

출원인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 출원인 표입니다.
번호 이름 국적 주소
1 순천향대학교 산학협력단 대한민국 충청남도 아산시

발명자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 발명자 표입니다.
번호 이름 국적 주소
1 염흥열 대한민국 서울특별시 서초구
2 유동현 대한민국 인천광역시 계양구
3 김종기 대한민국 경기도 시흥시 정왕대로

대리인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 대리인 표입니다.
번호 이름 국적 주소
1 김진동 대한민국 서울특별시 서초구 서초대로**길 ** 다원빌딩 *층(푸른국제특허법률사무소)

최종권리자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 최종권리자 표입니다.
번호 이름 국적 주소
1 순천향대학교 산학협력단 충청남도 아산시
번호, 서류명, 접수/발송일자, 처리상태, 접수/발송일자의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 행정처리 표입니다.
번호 서류명 접수/발송일자 처리상태 접수/발송번호
1 [특허출원]특허출원서
[Patent Application] Patent Application
2015.12.31 수리 (Accepted) 1-1-2015-1293175-19
2 출원인정보변경(경정)신고서
Notification of change of applicant's information
2016.03.02 수리 (Accepted) 4-1-2016-0013703-86
3 선행기술조사의뢰서
Request for Prior Art Search
2016.11.10 수리 (Accepted) 9-1-9999-9999999-89
4 선행기술조사보고서
Report of Prior Art Search
2016.12.20 발송처리완료 (Completion of Transmission) 9-6-2016-0172906-54
5 의견제출통지서
Notification of reason for refusal
2016.12.22 발송처리완료 (Completion of Transmission) 9-5-2016-0924531-41
6 [명세서등 보정]보정서
[Amendment to Description, etc.] Amendment
2017.02.21 보정승인간주 (Regarded as an acceptance of amendment) 1-1-2017-0180623-91
7 [거절이유 등 통지에 따른 의견]의견(답변, 소명)서
[Opinion according to the Notification of Reasons for Refusal] Written Opinion(Written Reply, Written Substantiation)
2017.02.21 수리 (Accepted) 1-1-2017-0180651-69
8 등록결정서
Decision to grant
2017.06.30 발송처리완료 (Completion of Transmission) 9-5-2017-0458974-34
9 출원인정보변경(경정)신고서
Notification of change of applicant's information
2020.11.11 수리 (Accepted) 4-1-2020-5248644-91
번호, 청구항의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 청구항 표입니다.
번호 청구항
1 1
수신된 URL의 크롤링 동작을 수행하는 크롤러;데이터베이스로부터 전달되는 URL(Uniform Resource Locator)을 전달받아 상기 URL을 상기 크롤러로 전달하고, 상기 URL의 크롤링 프로세스 정보(PID) 및 크롤링 시작시간을 파일로 저장하며, 상기 크롤러의 작업시간이 기 지정된 크롤링 작업시간을 경과하면 크롤링 강제종료 명령을 생성하여 생성된 크롤링 강제종료 명령을 상기 크롤러로 전달해 상기 크롤러의 크롤링 동작을 강제로 종료할 수 있도록 한 후, 상기 파일을 삭제하는 제1모니터링부; 그리고상기 제1모니터링부가 저장한 파일이 존재하는지 확인하고, 상기 제1모니터링부가 저장한 파일이 존재하면 상기 파일의 크롤링 프로세스 정보(PID) 및 크롤링 시작시간을 확인하여 상기 크롤러가 무한 루프를 수행하고 있는 크롤링 작업이 존재하는지 확인하고, 상기 제1모니터링부가 저장한 파일에 저장되어 있는 크롤링 시작시간이 최대 작업시간을 경과하면 상기 크롤링 프로세스 정보(PID)에 대응하는 크롤링 동작이 구동되는지 판단하여, 상기 크롤링 프로세스 정보(PID)에 대응하는 크롤링 동작이 구동되는 경우 상기 크롤링 프로세스 정보(PID)에 대응하는 크롤링 동작이 정해진 작업 시간을 경과하면 상기 크롤링 프로세스 정보(PID)에 대응하는 크롤링 동작과 상기 제1모니터링부의 동작을 강제 종료하는 제2모니터링부를 포함하고,상기 크롤러는 상기 제1모니터링부로부터 전달되는 상기 URL을 수신하면, 기 지정된 시간 내에 상기 URL에 대한 동일한 크롤링 동작이 수행했는지 검사 기록을 체크하고, 상기 검사 기록이 존재하면 해당 크롤링 동작을 종료한 후 상기 제1모니터링부로 크롤링의 종료를 통지하고, 상기 검사 기록이 존재하지 않으면 상기 URL에 대한 크롤링 동작을 수행한 후 상기 URL에 대한 크롤링 동작이 기 저장된 크롤링 작업 시간을 경과하면 상기 URL에 대한 크롤링 동작을 종료한 후 상기 제1모니터링부에 작업 종료를 보고하고, 상기 제1모니터링부는 상기 크롤러로부터 상기 작업 종료를 보고 받으면 저장되어 있는 상기 파일을 삭제하는 웹 크롤링 모니터링 시스템
2 2
삭제
3 3
삭제
4 4
삭제
5 5
제 1항에 있어서, 상기 제1모니터링부 및 상기 제2모니터링부는 상기 크롤링 동작을 강제로 종료한 내용을 로그파일로 저장하는 웹 크롤링 모니터링 시스템
6 6
제1모니터링부는 데이터베이스로부터 URL(Uniform Resource Locator)이 입력되면 구동되는 상기 URL을 크롤러로 전달하는 단계;제1모니터링부는 상기 URL의 크롤링 프로세스 정보(PID) 및 크롤링 시작시간을 파일로 저장하는 단계;제1모니터링부는 상기 크롤러의 작업시간이 기 지정된 크롤링 작업시간을 경과하면 크롤링 강제종료 명령을 생성하는 단계;제1모니터링부는 상기 크롤링 강제종료 명령을 상기 크롤러로 전달하여 상기 크롤러의 크롤링 동작을 강제로 종료시키는 단계;상기 제1모니터링부는 상기 크롤링 강제종료 명령을 상기 크롤러로 전달한 후, 상기 파일을 삭제하는 단계;제2모니터링부는 상기 제1모니터링부가 저장한 파일이 존재하는지 확인하는 단계;상기 제2모니터링부는 상기 제1모니터링부가 저장한 파일이 존재하면, 상기 파일의 크롤링 프로세스 정보(PID) 및 크롤링 시작시간을 확인하여 상기 크롤러가 무한 루프를 수행하고 있는 크롤링 작업이 존재하는지 확인하는 단계;상기 제2모니터링부는 상기 제1모니터링부가 저장한 파일에 저장되어 있는 크롤링 시작시간이 최대 작업시간을 경과하면 상기 크롤링 프로세스 정보(PID)에 대응하는 크롤링 동작이 구동되는지 판단하는 단계;상기 제2모니터링부는 상기 크롤링 프로세스 정보(PID)에 대응하는 크롤링 동작이 구동되는 경우 상기 크롤링 프로세스 정보(PID)에 대응하는 크롤링 동작이 정해진 작업 시간을 경과했는지 판단하는 단계; 그리고상기 제2모니터링부는 상기 크롤링 프로세스 정보(PID)에 대응하는 크롤링 동작이 정해진 작업 시간을 경과하면 상기 크롤링 프로세스 정보(PID)에 대응하는 크롤링 동작과 상기 제1모니터링부의 동작을 강제 종료하는 단계를 포함하는 웹 크롤링 모니터링 방법
7 7
삭제
8 8
삭제
지정국 정보가 없습니다
패밀리정보가 없습니다
순번, 연구부처, 주관기관, 연구사업, 연구과제의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 국가R&D 연구정보 정보 표입니다.
순번 연구부처 주관기관 연구사업 연구과제
1 미래창조과학부 순천향대학교 산학협력단 2015년 고용계약형 정보보호 석사과정 지원사업 -