| 1 |
1
다양한 웹 사이트에서 제목과, 요약 및 작성 시간을 포함하는 기본 목록 구성 정보를 크롤링하도록 구성되는 크롤링 모듈;상기 웹 사이트의 시간별 변경 데이터를 수집하여 기록하는 웹 아카이브 사이트로부터 상기 웹 사이트의 과거 데이터를 수집하는 웹 아카이브 모듈;상기 웹 사이트로부터 수집된 상기 기본 목록 구성 정보 및 상기 웹 아카이브 사이트로부터 수집된 상기 과거 데이터를 저장하도록 구성되는 데이터베이스; 및상기 다양한 웹 사이트에서 수집된 상기 기본 목록 구성 정보 및 상기 다양한 웹 사이트와 관련하여 상기 웹 아카이브 사이트로부터 수집된 상기 과거 데이터로부터, 상기 다양한 웹 사이트로부터 수집된 상기 기본 목록 구성 정보와 상기 웹 아카이브 사이트로부터 수집된 상기 과거 데이터가 통합된 사용자 대상 사이트를 생성하도록 구성되는 사용자 대상 사이트 생성 모듈을 포함하는, 웹 아카이브를 활용한 데이터 크롤링 장치
|
| 2 |
2
제1항에 있어서,상기 웹 아카이브 모듈은 웨이백 머신(wayback machine)을 기반으로 상기 웹 아카이브 사이트로부터 상기 웹 사이트의 과거 데이터를 수집하도록 구성되는, 웹 아카이브를 활용한 데이터 크롤링 장치
|
| 3 |
3
제1항에 있어서,상기 사용자 대상 사이트에서 사용자 디바이스로부터 상세 정보 요청이 입력되면, 상기 사용자 디바이스를 통해 상기 상세 정보 요청과 관련된 대상 웹 사이트에서 상기 기본 목록 구성 정보와 관련된 상세 정보를 수집하여 상기 데이터베이스에 저장시키도록 구성되는 에뮬레이터 모듈을 더 포함하는, 웹 아카이브를 활용한 데이터 크롤링 장치
|
| 4 |
4
제3항에 있어서,상기 에뮬레이터 모듈은,상기 사용자 디바이스로 하여금 상기 대상 웹 사이트에 상기 상세 정보를 열람하게 하고;상기 사용자 디바이스에서 상기 대상 웹 사이트를 열람하여 수집한 상기 상세 정보를 상기 사용자 디바이스로부터 전달받고; 그리고상기 사용자 디바이스로부터 전달받은 상기 상세 정보를 상기 기본 목록 구성 정보와 연동하여 상기 데이터베이스에 저장시키도록 구성되는, 웹 아카이브를 활용한 데이터 크롤링 장치
|
| 5 |
5
제4항에 있어서,상기 에뮬레이터 모듈은,상기 사용자 디바이스로부터 상기 상세 정보 요청이 입력되면, 상기 상세 정보가 상기 데이터베이스에 저장되어 있는지 판단하고;상기 상세 정보가 상기 데이터베이스에 저장되어 있는 경우, 상기 데이터베이스에 저장된 상세 정보를 상기 사용자 대상 사이트를 통해 상기 사용자 디바이스로 제공하고;상기 상세 정보가 상기 데이터베이스에 저장되어 있지 않은 경우, 상기 사용자 디바이스에서 응용 프로그램 어플리케이션을 실행하여 상기 대상 웹 사이트에 접근하게 하고; 그리고상기 사용자 디바이스에서 실행되는 응용 프로그램 어플리케이션에 의해 상기 대상 웹 사이트로부터 상기 상세 정보를 수집하여 상기 데이터베이스에 저장하도록 구성되는, 웹 아카이브를 활용한 데이터 크롤링 장치
|
| 6 |
6
제3항에 있어서,상기 상세 정보는 상기 기본 목록 구성 정보와 관련된 상품의 상세 이미지, 상품의 크기, 중량, 재질, 색상 및 부가 설명 정보를 포함하는, 웹 아카이브를 활용한 데이터 크롤링 장치
|
| 7 |
7
제3항에 있어서,상기 에뮬레이터 모듈은:상기 대상 웹 사이트에 포함된 상품들 중, 상기 사용자 대상 사이트에서 상기 상세 정보 요청이 입력된 사용자 대상 상품의 선호도 순위가 기 설정된 순위 조건을 만족하는지 판단하고;상기 사용자 대상 상품의 선호도 순위가 상기 기 설정된 순위 조건을 만족하면, 상기 사용자 디바이스를 통해 상기 대상 웹 사이트에서 상기 사용자 대상 상품의 상세 정보를 수집하고; 그리고상기 사용자 대상 상품의 선호도 순위가 상기 기 설정된 순위 조건을 만족하지 않으면, 상기 사용자 디바이스를 통해 상기 사용자 대상 상품의 상세 정보를 수집하지 않도록 구성되는, 웹 아카이브를 활용한 데이터 크롤링 장치
|
| 8 |
8
제1항 내지 제7항 중 어느 한 항에 있어서,상기 크롤링 모듈은,상기 다양한 대상 웹 사이트 별로 상기 기본 목록 구성 정보의 배열 패턴을 분석하고, 상기 배열 패턴을 기반으로 크롤링 대상 블록 및 상기 크롤링 대상 블록의 속성 및 필드를 지정하도록 구성되는 크롤링 대상 분석기; 및상기 다양한 대상 웹 사이트로부터 상기 크롤링 대상 블록 및 상기 크롤링 대상 블록의 속성 및 필드를 기반으로 상기 기본 목록 구성 정보를 크롤링하도록 구성되는 크롤러를 포함하고,상기 사용자 대상 사이트 생성 모듈은 상기 다양한 대상 웹 사이트로부터 수집되는 다양한 상품에 대한 상품 데이터를 지정된 객체 패턴으로 통합하여 상기 사용자 대상 사이트에 표시하도록 구성되는, 웹 아카이브를 활용한 데이터 크롤링 장치
|
| 9 |
9
크롤링 모듈에 의해, 다양한 웹 사이트에서 제목과, 요약 및 작성 시간을 포함하는 기본 목록 구성 정보를 크롤링하는 단계;웹 아카이브 모듈에 의해, 상기 웹 사이트의 시간별 변경 데이터를 수집하여 기록하는 웹 아카이브 사이트로부터 상기 웹 사이트의 과거 데이터를 수집하는 단계;상기 웹 사이트로부터 수집된 상기 기본 목록 구성 정보 및 상기 웹 아카이브 사이트로부터 수집된 상기 과거 데이터를 데이터베이스에 저장하는 단계; 및사용자 대상 사이트 생성 모듈에 의해, 상기 다양한 웹 사이트에서 수집된 상기 기본 목록 구성 정보 및 상기 다양한 웹 사이트와 관련하여 상기 웹 아카이브 사이트로부터 수집된 상기 과거 데이터로부터, 상기 다양한 웹 사이트로부터 수집된 상기 기본 목록 구성 정보와 상기 웹 아카이브 사이트로부터 수집된 상기 과거 데이터가 통합된 사용자 대상 사이트를 생성하는 단계를 포함하는, 웹 아카이브를 활용한 데이터 크롤링 방법
|
| 10 |
10
제9항에 있어서,에뮬레이터 모듈에 의해, 상기 사용자 대상 사이트에서 사용자 디바이스로부터 상세 정보 요청이 입력되면, 상기 사용자 디바이스를 통해 상기 상세 정보 요청과 관련된 대상 웹 사이트에서 상기 기본 목록 구성 정보와 관련된 상세 정보를 수집하여 상기 데이터베이스에 저장하는 단계를 더 포함하는, 웹 아카이브를 활용한 데이터 크롤링 방법
|
| 11 |
11
제10항에 있어서,상기 상세 정보를 수집하여 상기 데이터베이스에 저장하는 단계는:상기 사용자 디바이스로 하여금 상기 대상 웹 사이트에 상기 상세 정보를 열람하게 하는 단계;상기 사용자 디바이스에서 상기 대상 웹 사이트를 열람하여 수집한 상기 상세 정보를 상기 사용자 디바이스로부터 전달받는 단계; 및상기 사용자 디바이스로부터 전달받은 상기 상세 정보를 상기 기본 목록 구성 정보와 연동하여 상기 데이터베이스에 하는 단계를 포함하는, 웹 아카이브를 활용한 데이터 크롤링 방법
|
| 12 |
12
제11항에 있어서,상기 상세 정보를 수집하여 상기 데이터베이스에 저장하는 단계는:상기 사용자 디바이스로부터 상기 상세 정보 요청이 입력되면, 상기 상세 정보가 상기 데이터베이스에 저장되어 있는지 판단하는 단계;상기 상세 정보가 상기 데이터베이스에 저장되어 있는 경우, 상기 데이터베이스에 저장된 상세 정보를 상기 사용자 대상 사이트를 통해 상기 사용자 디바이스로 제공하는 단계;상기 상세 정보가 상기 데이터베이스에 저장되어 있지 않은 경우, 상기 사용자 디바이스에서 응용 프로그램 어플리케이션을 실행하여 상기 대상 웹 사이트에 접근하게 하는 단계; 및상기 사용자 디바이스에서 실행되는 응용 프로그램 어플리케이션에 의해 상기 대상 웹 사이트로부터 상기 상세 정보를 수집하여 상기 데이터베이스에 저장하는 단계를 포함하는, 웹 아카이브를 활용한 데이터 크롤링 방법
|
| 13 |
13
제10항에 있어서,상기 상세 정보를 수집하여 상기 데이터베이스에 저장하는 단계는:상기 대상 웹 사이트에 포함된 상품들 중, 상기 사용자 대상 사이트에서 상기 상세 정보 요청이 입력된 사용자 대상 상품의 선호도 순위가 기 설정된 순위 조건을 만족하는지 판단하는 단계; 및상기 사용자 대상 상품의 선호도 순위가 상기 기 설정된 순위 조건을 만족하면, 상기 사용자 디바이스를 통해 상기 대상 웹 사이트에서 상기 사용자 대상 상품의 상세 정보를 수집하는 단계를 포함하고,상기 사용자 대상 상품의 선호도 순위가 상기 기 설정된 순위 조건을 만족하지 않으면, 상기 사용자 디바이스를 통해 상기 사용자 대상 상품의 상세 정보를 수집하지 않도록 하는, 웹 아카이브를 활용한 데이터 크롤링 방법
|
| 14 |
14
제9항에 있어서,상기 기본 목록 구성 정보를 크롤링하는 단계는:상기 다양한 대상 웹 사이트 별로 상기 기본 목록 구성 정보의 배열 패턴을 분석하고, 상기 배열 패턴을 기반으로 크롤링 대상 블록 및 상기 크롤링 대상 블록의 속성 및 필드를 지정하는 단계; 및상기 다양한 대상 웹 사이트로부터 상기 크롤링 대상 블록 및 상기 크롤링 대상 블록의 속성 및 필드를 기반으로 상기 기본 목록 구성 정보를 크롤링하는 단계를 포함하고,상기 사용자 대상 사이트를 생성하는 단계는 상기 다양한 대상 웹 사이트로부터 수집되는 다양한 상품에 대한 상품 데이터를 지정된 객체 패턴으로 통합하여 상기 사용자 대상 사이트에 표시하는 단계를 포함하는, 웹 아카이브를 활용한 데이터 크롤링 방법
|
| 15 |
15
제9항 내지 제14항 중 어느 한 항에 기재된 웹 아카이브를 활용한 데이터 크롤링 방법을 실행하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체
|
