| 1 |
1
빅 데이터 처리 기술을 이용한 연관 단어 추출 방법에 있어서,검색 단어를 수신하는 단계;상기 수신된 검색 단어로 검색된 데이터를 수집하는 단계;상기 수집된 데이터의 형태소를 분석하여 상기 검색 단어와 연관된 후보 연관 단어들을 추출하는 단계;상기 추출된 후보 연관 단어들 각각에 대한 빈도수를 계산하는 단계;상기 후보 연관 단어들 각각을 추가 검색 단어로 하여 상기 계산하는 단계 내지 상기 계산하는 단계를 재귀적 방식으로 수행하는 단계; 및상기 재귀적 방식에 의해 계산된 빈도수에 기초하여 상기 검색 단어와 상기 후보 연관 단어들 각각의 연관성 및 상기 추가 검색 단어와 상기 추가 검색 단어에 대한 추가 후보 연관 단어들 각각의 연관성을 계산하고, 상기 계산된 연관성에 기초하여 상기 검색 단어의 연관 단어들을 추출하는 단계를 포함하고,상기 연관 단어들을 추출하는 단계는상기 검색 단어와 상기 검색 단어에 대한 후보 연관 단어들 각각에 대한 제1 연관성, 상기 추가 검색 단어와 상기 추가 후보 연관 단어들 각각에 대한 제2 연관성을 계산하고, 상기 계산된 제1 연관성과 제2 연관성에 기초하여 상기 검색 단어의 연관 단어들을 추출하는 연관 단어 추출 방법
|
| 2 |
2
제1항에 있어서,상기 후보 연관 단어들 및 상기 후보 연관 단어들 각각에 대한 빈도수를 상기 검색 단어와 맵핑시켜 저장하는 단계를 더 포함하고,상기 연관 단어들을 추출하는 단계는상기 검색 단어와 맵핑시켜 저장된 데이터에 기초하여 연관성을 계산하는 연관 단어 추출 방법
|
| 3 |
3
제1항에 있어서,상기 데이터를 수집하는 단계는상기 검색 단어와 관련된 인터넷 뉴스 데이터를 수집하고, 상기 수집된 인터넷 뉴스 데이터의 본문 내용, 날짜 및 인터넷 주소를 추출하며, 상기 추출된 본문 내용을 문장으로 분할하는 연관 단어 추출 방법
|
| 4 |
4
제3항에 있어서,상기 후보 연관 단어들을 추출하는 단계는상기 분할된 문장에 대한 형태소 분석을 수행하여 상기 문장에 포함된 일반 명사와 고유 명사를 추출하고, 상기 추출된 일반 명사와 고유 명사를 상기 후보 연관 단어들로 추출하는 연관 단어 추출 방법
|
| 5 |
5
제1항에 있어서,상기 빈도수를 계산하는 단계는상기 추출된 후보 연관 단어들에 대한 맵리듀스(MapReduce) 작업을 수행함으로써, 상기 후보 연관 단어들 각각에 대한 빈도수를 계산하는 연관 단어 추출 방법
|
| 6 |
6
제2항에 있어서,상기 저장하는 단계는상기 검색 단어와 상기 검색 단어에 대해 상기 추출된 후보 연관 단어들의 정보를 HBase에 저장하며,상기 검색 단어를 상기 HBase의 로우 키(Row Key)로 저장하고, 상기 추출된 후보 연관 단어들 각각과 상기 추출된 후보 연관 단어들 각각의 날짜, 인터넷 주소, 빈도수를 복수의 컬럼들 각각에 저장하는 연관 단어 추출 방법
|
| 7 |
7
제6항에 있어서,상기 재귀적 방식으로 수행하는 단계는상기 후보 연관 단어들 중 상기 HBase의 로우 키에 저장되어 있지 않은 후보 연관 단어에 대해 상기 재귀적 방식으로 수행하는 연관 단어 추출 방법
|
| 8 |
8
삭제
|
| 9 |
9
검색 단어를 수신하는 단계;단어에 따른 후보 연관 단어들의 빈도수를 저장하는 데이터베이스로부터 상기 수신된 검색 단어를 검색하는 단계;상기 검색 결과 상기 검색 단어가 상기 데이터베이스에 존재하면 상기 검색 단어에 대한 후보 연관 단어들의 빈도수에 기초하여 상기 검색 단어와 상기 후보 연관 단어들 각각의 연관성을 계산하는 단계;상기 검색 단어에 대한 후보 연관 단어들 각각을 추가 검색 단어로 결정하고, 재귀적 방식에 의해 계산된 상기 추가 검색 단어에 대한 추가 후보 연관 단어들의 빈도수에 기초하여 상기 추가 검색 단어와 상기 추가 후보 연관 단어들 각각의 연관성을 계산하는 단계; 및상기 검색 단어와 상기 후보 연관 단어들 각각의 연관성, 및 상기 추가 검색 단어와 상기 추가 후보 연관 단어들 각각의 연관성에 기초하여 상기 검색 단어의 연관 단어들을 추출하는 단계를 포함하고,상기 연관 단어들을 추출하는 단계는상기 검색 단어와 상기 검색 단어에 대한 후보 연관 단어들 각각에 대한 제1 연관성, 상기 추가 검색 단어와 상기 추가 후보 연관 단어들 각각에 대한 제2 연관성을 계산하고, 상기 계산된 제1 연관성과 제2 연관성에 기초하여 상기 검색 단어의 연관 단어들을 추출하는 연관 단어 추출 방법
|
| 10 |
10
빅 데이터 처리 기술을 이용한 연관 단어 추출 시스템에 있어서,검색 단어를 수신하는 수신부;상기 수신된 검색 단어로 검색된 데이터를 수집하는 데이터 수집부;상기 수집된 데이터의 형태소를 분석하여 상기 검색 단어와 연관된 후보 연관 단어들을 추출하는 형태소 분석부;상기 추출된 후보 연관 단어들 각각에 대한 빈도수를 계산하는 빈도수 추출부;상기 후보 연관 단어들 및 상기 후보 연관 단어들 각각에 대한 빈도수를 상기 검색 단어와 맵핑시켜 저장하는 데이터 저장부; 및상기 저장된 후보 연관 단어들 각각에 대한 빈도수에 기초하여 상기 검색 단어와 상기 후보 연관 단어들 각각의 연관성을 계산하고, 상기 계산된 연관성에 기초하여 상기 검색 단어의 연관 단어들을 추출하는 데이터 추출부를 포함하고,상기 빈도수 추출부는재귀적 방식을 이용하여 상기 후보 연관 단어들 각각을 추가 검색 단어로 하여 상기 데이터 저장부에 저장된 상기 추가 검색 단어의 추가 후보 연관 단어들 각각에 대한 빈도수를 계산하며,상기 데이터 추출부는상기 추가 검색 단어의 추가 후보 연관 단어들 각각에 대한 빈도수에 기초하여 상기 추가 검색 단어와 상기 추가 후보 연관 단어들 각각의 연관성을 계산하고, 상기 검색 단어와 상기 후보 연관 단어들 각각의 연관성, 및 상기 추가 검색 단어와 상기 추가 후보 연관 단어들 각각의 연관성에 기초하여 상기 검색 단어의 연관 단어들을 추출하는 연관 단어 추출 시스템
|
| 11 |
11
삭제
|
| 12 |
12
제10항에 있어서,상기 데이터 수집부는상기 검색 단어와 관련된 인터넷 뉴스 데이터를 수집하고, 상기 수집된 인터넷 뉴스 데이터의 본문 내용, 날짜 및 인터넷 주소를 추출하며, 상기 추출된 본문 내용을 문장으로 분할하는 연관 단어 추출 시스템
|
| 13 |
13
제12항에 있어서,상기 형태소 분석부는상기 분할된 문장에 대한 형태소 분석을 수행하여 상기 문장에 포함된 일반 명사와 고유 명사를 추출하고, 상기 추출된 일반 명사와 고유 명사를 상기 후보 연관 단어들로 추출하는 연관 단어 추출 시스템
|
| 14 |
14
제10항에 있어서,상기 빈도수 추출부는상기 추출된 후보 연관 단어들에 대한 맵리듀스(MapReduce) 작업을 수행함으로써, 상기 후보 연관 단어들 각각에 대한 빈도수를 계산하는 연관 단어 추출 시스템
|
| 15 |
15
제10항에 있어서,상기 데이터 저장부는상기 검색 단어와 상기 검색 단어에 대해 상기 추출된 후보 연관 단어들의 정보를 HBase에 저장하며,상기 검색 단어를 상기 HBase의 로우 키(Row Key)로 저장하고, 상기 추출된 후보 연관 단어들 각각과 상기 추출된 후보 연관 단어들 각각의 날짜, 인터넷 주소, 빈도수를 복수의 컬럼들 각각에 저장하는 연관 단어 추출 시스템
|
