| 1 |
1
추출대상 웹 사이트로부터 수집된 웹 문서에 대해 수작업으로 속성을 태깅한 문서를 기계학습 방식으로 학습하여 학습모델을 생성하는 속성학습 처리 장치와,
상기 속성학습 처리 장치에서 생성된 학습모델을 사용하여 상기 웹 사이트로부터 수집된 원시 웹 문서에서 속성을 추출하는 속성추출 처리 장치와,
상기 속성학습 처리 장치에서 생성된 학습모델 중 경계인식 학습모델을 데이터베이스화하여 상기 속성추출 처리 장치로 제공하는 경계인식 학습 모델 데이터베이스와,
상기 속성학습 처리 장치에서 생성된 학습모델 중 속성인식 학습모델을 데이터베이스화하여 상기 속성추출 처리 장치로 제공하는 속성인식 학습 모델 데이터베이스
를 포함하는 웹 문서 구조정보 추출 시스템
|
| 2 |
2
제 1 항에 있어서,
상기 속성학습 처리 장치는,
HTML 웹 문서를 파싱하여 불필요한 부분을 제거하여 필터링을 수행하는 전 처리부와,
상기 전 처리부에서 필터링된 HTML 웹 문서를 웰-폼(well-formed) HTML로 변환하는 XHTML 변환부와,
상기 XHTML 변환부에서 변환된 XHTML을 DOM(Document Object Model) 트리로 변환하는 DOM 트리 생성부와,
상기 DOM 트리로부터 특징자질(Feature)들을 추출하여 추출하고자 하는 속성의 경계(Boundary)에 대한 경계자질을 추출하는 경계자질 추출부와,
상기 경계자질 추출부에서 추출된 경계자질들을 학습하여 경계인식 학습모델을 생성하는 경계 학습부와,
상기 경계 학습부를 통해 생성된 경계인식 학습모델의 경계의 시작부터 끝까지를 하나의 토큰으로 하여 각 토큰에 대한 속성의 종류를 판별하기 위해 DOM 트리로부터 특징자질들을 추출하는 속성자질 추출부와,
상기 각 토큰에 대한 속성을 학습하여 속성인식 학습모델을 생성하는 속성 학습부
를 포함하는 웹 문서 구조정보 추출 시스템
|
| 3 |
3
제 1 항에 있어서,
상기 속성추출 처리 장치는,
HTML 웹 문서를 파싱하여 불필요한 부분을 제거하여 필터링을 수행하는 전 처리부와,
상기 전 처리부에서 필터링된 HTML 웹 문서를 웰-폼 HTML로 변환하는 XHTML 변환부와,
상기 XHTML 변환부에서 변환된 XHTML을 DOM 트리로 변환하는 DOM 트리 생성부와,
상기 DOM 트리로부터 특징자질들을 추출하여 추출하고자 하는 속성의 경계에 대한 경계자질을 추출하는 경계자질 추출부와,
상기 경계자질 추출부에서 추출된 경계자질들로부터 상기 경계인식 학습모델을 이용하여 경계를 인식하는 경계 인식부와,
상기 경계 인식부에서 인식된 경계의 시작부터 끝까지를 하나의 토큰으로 하여 각 토큰에 대한 속성의 종류를 판별하기 위해 DOM 트리로부터 특징자질들을 추출하는 속성자질 추출부와,
상기 경계 인식부로부터 인식된 각 토큰들에 대해 상기 속성인식 학습모델을 이용하여 후보속성을 인식하는 속성 인식부와,
상기 속성 인식부에서 인식되는 후보속성들 중에서 최대 확률을 갖는 속성을 최종 속성으로 결정하는 속성 태깅부
를 포함하는 웹 문서 구조정보 추출 시스템
|
| 4 |
4
HTML 웹 문서로부터 구조정보를 추출하는 방법으로서,
(a) 상기 HTML 웹 문서를 파싱하여 불필요한 부분을 제거하여 필터링을 수행하는 과정과,
(b) 상기 필터링된 HTML 웹 문서를 XHTML 문서로 변환하는 과정과,
(c) 상기 변환된 XHTML 문서로부터 DOM 트리를 생성하는 과정과,
(d) 상기 생성된 DOM 트리로부터 속성경계를 인식하기 위해 속성 경계자질을 추출하는 과정과,
(e) 상기 추출된 속성 경계자질을 이용하여 기계학습을 수행하는 과정과,
(f) 상기 생성된 DOM 트리로부터 속성의 종류를 인식하기 위해 속성 인식자질을 추출하는 과정과,
(g) 상기 추출된 속성 인식자질을 이용하여 기계학습을 수행하는 과정과,
(h) 상기 추출된 속성 경계자질을 이용하여 속성의 경계를 기계학습에 의해 추정하여 속성의 경계를 인식하는 과정과,
(i) 상기 추출된 속성 인식자질을 이용하여 속성의 종류를 기계학습에 의해 추정하여 속성을 인식하는 과정과,
(j) 상기 인식된 후보속성들 중 최대 확률을 갖는 속성을 최종 속성으로 결정하는 과정
을 포함하는 웹 문서 구조정보 추출 방법
|
| 5 |
5
제 4 항에 있어서,
상기 (e) 과정 및 (h) 과정 수행에 대해, 사이트 의존적인 정보인 속성의 경계정보를 웹 사이트 별로 학습하는 것을 특징으로 하는 웹 문서 구조정보 추출 방법
|
| 6 |
6
제 4 항에 있어서,
상기 (g) 과정 및 (i) 과정 수행에 대해, 사이트 독립적인 정보인 속성 종류의 판별을 위해 웹 사이트가 아닌 영역별로 학습하는 것을 특징으로 하는 웹 문서 구조정보 추출 방법
|
| 7 |
7
제 4 항에 있어서,
상기 (h) 과정 수행에 의해, 테이블의 한 셀 내에서 적어도 두 개 이상의 속성의 추출이 가능한 것을 특징으로 하는 웹 문서 구조정보 추출 방법
|
