| 1 |
1
텍스트 데이터 수집 및 분석 방법에 있어서,키워드 및 기간 정보에 관한 입력을 수신하는 단계;상기 키워드 및 상기 기간 정보에 기초하여 웹으로부터 상기 키워드를 포함하는 기사의 수 및 크롤링 가능한 웹 페이지의 수를 포함하는 기사의 정보를 획득하는 단계;상기 기사의 정보에 기초하여 상기 기사가 포함된 웹 페이지를 크롤링(crawling)하는 단계;상기 크롤링된 웹 페이지에 포함된 기사의 텍스트 데이터를 수집하는 단계;상기 수집한 텍스트 데이터를 크롤링 데이터베이스에 저장하는 단계;상기 수집한 텍스트 데이터에 기초하여 텍스트 데이터 분석을 수행하는 단계,를 포함하되,상기 텍스트 데이터 분석을 수행하는 단계는,각 기사의 빈발 단어 포함 여부에 관한 정보인 매트릭스 데이터 셋트 내의 빈발 단어들로 만들 수 있는 단어 조합을 포함하는 제1단어 집합을 결정하는 단계;미리 설정된 순위 이내의 빈발 단어 집합 중 적어도 하나의 단어를 포함하는 제2단어 집합에 관한 입력을 수신하는 단계; 및상기 제1단어 집합에 포함된 단어 조합이 기사에 포함되면 상기 제2단어 집합에 포함된 단어도 기사에 포함되는지에 관한 연관규칙을 결정하는 단계를 포함하는 텍스트 데이터 수집 및 분석 방법
|
| 2 |
2
제 1 항에 있어서,상기 텍스트 데이터를 수집하는 단계는,상기 키워드 및 상기 기간 정보를 포함하는 URL을 생성하여 상기 웹으로 전송하는 단계;상기 웹으로부터 검색 결과가 포함된 HTML 파일을 수신하는 단계;상기 HTML 파일을 트리형태로 재구성하는 단계;상기 HTML 파일로부터 기사 리스트의 URL을 추출하는 단계;상기 기사 리스트의 URL을 웹으로 전송하고, 웹으로부터 기사 텍스트 데이터를 포함하는 HTML 파일을 수신하는 단계;상기 기사 텍스트 데이터를 포함하는 HTML 파일을 트리형태로 재구성하고 텍스트 데이터를 추출하는 단계; 및상기 추출된 텍스트 데이터로부터 기사의 제목 및 내용에 해당하는 텍스트 데이터를 추출하는 단계,를 포함하는 것인, 텍스트 데이터 수집 및 분석 방법
|
| 3 |
3
제 2 항에 있어서,상기 트리형태로 재구성된 기사 리스트의 HTML 파일 및 상기 트리형태로 재구성된 기사 텍스트 데이터를 포함하는 HTML 파일에 대하여 인코딩을 수행하는 단계,를 더 포함하는 것인, 텍스트 데이터 수집 및 분석 방법
|
| 4 |
4
제 3 항에 있어서,상기 인코딩은 UTF-8 (Universal Transformation Format-8)인코딩인 것인, 텍스트 데이터 수집 및 분석 방법
|
| 5 |
5
제 2 항에 있어서,상기 추출된 텍스트 데이터를 txt 형식의 파일로 생성하는 단계,를 더 포함하고,상기 생성된 txt 형식의 파일이 상기 크롤링 데이터베이스에 저장되는 것인, 텍스트 데이터 수집 및 분석 방법
|
| 6 |
6
제 3 항에 있어서,상기 수집한 텍스트 데이터를 상기 크롤링 데이터베이스로부터 읽어오는 단계; 상기 수집한 텍스트 데이터에 대하여 미리 설정된 사전 정의 단어에 기초하여 전처리하는 단계; 및상기 전처리된 기사의 텍스트 데이터로부터 기반 데이터 셋트를 형성하는 단계,를 더 포함하고,상기 텍스트 데이터 분석을 수행하는 단계는 기반 데이터 셋트에 기초하여 수행되는 것인, 텍스트 데이터 수집 및 분석 방법
|
| 7 |
7
텍스트 데이터 수집 및 분석 장치에 있어서,키워드 및 기간 정보에 관한 입력을 수신하는 유저 인터페이스부;상기 키워드 및 상기 기간 정보에 기초하여 웹으로부터 상기 키워드를 포함하는 기사의 수 및 크롤링 가능한 웹 페이지의 수를 포함하는 기사의 정보를 획득하고, 상기 기사의 정보에 기초하여 상기 기사가 포함된 웹 페이지를 크롤링(crawling)하고, 상기 크롤링된 웹 페이지에 포함된 기사의 텍스트 데이터를 수집하는 웹 크롤러부;상기 수집한 텍스트 데이터를 저장하는 크롤링 데이터베이스; 및상기 수집한 텍스트 데이터에 기초하여 텍스트 데이터 분석을 수행하는 데이터 분석부,를 포함하되,상기 유저 인터페이스부는, 미리 설정된 순위 이내의 빈발 단어 집합 중 적어도 하나의 단어를 포함하는 제2단어 집합에 관한 입력을 수신하고,상기 분석부는, 각 기사의 빈발 단어 포함 여부에 관한 정보인 매트릭스 데이터 셋트 내의 빈발 단어들로 만들 수 있는 단어 조합을 포함하는 제1단어 집합을 결정하고, 상기 제1단어 집합에 포함된 단어 조합이 기사에 포함되면 상기 제2단어 집합에 포함된 단어도 기사에 포함되는지에 관한 연관규칙을 결정하는 것인, 텍스트 데이터 수집 및 분석 장치
|
| 8 |
8
제 7 항에 있어서,상기 웹 크롤러부는,상기 키워드 및 상기 기간 정보를 포함하는 URL을 생성하여 상기 웹으로 전송하고, 상기 웹으로부터 검색 결과가 포함된 HTML 파일을 수신하여 상기 HTML 파일을 트리형태로 재구성하고, 상기 HTML 파일로부터 기사 리스트의 URL을 추출하여 상기 기사 리스트의 URL을 웹으로 전송하고, 웹으로부터 기사 텍스트 데이터를 포함하는 HTML 파일을 수신하고, 상기 기사 텍스트 데이터를 포함하는 HTML 파일을 트리형태로 재구성하는 파싱부; 및상기 트리형태로 재구성된 기사 텍스트 데이터를 포함하는 HTML 파일로부터 텍스트 데이터를 추출하고, 상기 추출된 텍스트 데이터로부터 기사의 제목 및 내용에 해당하는 텍스트 데이터를 추출하는 추출부,를 포함하는 것인, 텍스트 데이터 수집 및 분석 장치
|
| 9 |
9
제 8 항에 있어서,상기 웹 크롤러부는,상기 트리형태로 재구성된 기사 리스트의 HTML 파일 및 상기 트리형태로 재구성된 기사 텍스트 데이터를 포함하는 HTML 파일에 대하여 인코딩을 수행하는 언어 지원부,를 더 포함하는 것인, 텍스트 데이터 수집 및 분석 장치
|
| 10 |
10
제 9 항에 있어서,상기 인코딩은 UTF-8 (Universal Transformation Format-8)인코딩인 것인, 텍스트 데이터 수집 및 분석 장치
|
| 11 |
11
제 8 항에 있어서,상기 웹 크롤러부는,상기 추출된 텍스트 데이터를 txt 형식의 파일로 생성하는 파일 생성부,를 더 포함하고,상기 크롤링 데이터베이스는 상기 생성된 txt 형식의 파일을 저장하는 것인, 텍스트 데이터 수집 및 분석 장치
|
| 12 |
12
제 9 항에 있어서,상기 데이터 분석부는,상기 수집한 텍스트 데이터를 상기 크롤링 데이터베이스로부터 읽어와서 미리 설정된 사전 정의 단어에 기초하여 전처리하는 전처리부;상기 전처리된 기사의 텍스트 데이터로부터 기반 데이터 셋트를 형성하는 데이터 형성부; 및상기 기반 데이터 셋트에 기초하여 상기 텍스트 데이터 분석을 수행하는 분석부,를 포함하는 것인, 텍스트 데이터 수집 및 분석 장치
|
| 13 |
13
제 7 항 내지 제 12 항 중 어느 한 항의 텍스트 데이터 수집 및 분석 장치; 및상기 텍스트 데이터 수집 및 분석 장치에 키워드 및 기간 정보에 관한 입력을 제공하고, 상기 텍스트 데이터 수집 및 분석 장치로부터 텍스트 데이터 분석의 결과를 수신하여 출력하는 사용자 단말,을 포함하는 텍스트 데이터 수집 및 분석 시스템
|
| 14 |
14
제 1 항 내지 제 6 항 중 어느 한 항의 방법을 컴퓨터에서 실행하기 위한 프로그램을 기록한 컴퓨터에서 판독 가능한 기록매체
|
