| 1 |
1
대용량 순차 수집 데이터 처리를 위한 프레임워크 제공장치에서의 데이터 처리방법에 있어서,외부의 데이터 제공 장치에서 수집한 원본 데이터에 대해 사용자 정의 기반의 전처리 작업을 수행하는 단계;상기 원본 데이터를 사용자가 정의한 저장 규칙에 기초하여 분산형 데이터 저장소에 저장하는 단계;사용자가 정의한 데이터 처리 규칙에 기초하여 상기 원본 데이터 또는 상기 원본 데이터의 저장 정보를 처리하여 가공 데이터를 생성하는 단계;상기 가공 데이터를 상기 분산형 데이터 저장소에 분배하여 저장하기 위한 데이터 분배 규칙을 등록하는 단계; 및상기 데이터 분배 규칙에 기초하여 상기 가공 데이터를 상기 분산형 데이터 저장소에 분배하여 저장하는 단계 를 포함하는 데이터 처리방법
|
| 2 |
2
제1항에 있어서, 상기 분산형 데이터 저장소에 저장된 상기 원본 데이터 또는 상기 가공 데이터에 사용자 조회가 있는 경우, 상기 사용자가 정의한 저장 규칙 또는 상기 데이터 분배 규칙을 참조하여 상기 원본 데이터 또는 상기 가공 데이터를 사용자 단말로 전송하는 단계를 더 포함하는 데이터 처리방법
|
| 3 |
3
제1항에 있어서, 상기 사용자 정의 기반의 전처리 작업을 수행하는 단계는, 사용자 인터페이스를 통해 등록되는 외부 시스템 연동 기능과 데이터 전처리 기능에 기초하여 데이터 수집 프로세스를 생성하는 단계를 포함하는 것인 데이터 처리방법
|
| 4 |
4
제1항에 있어서, 상기 분산형 데이터 저장소에 저장하는 단계는, 사용자 인터페이스를 통해 등록되는 사용자가 정의한 원본 데이터 저장 규칙에 기초하여 원본 데이터 저장 프로세스를 생성하는 단계를 포함하는 것인 데이터 처리방법
|
| 5 |
5
제1항에 있어서, 상기 가공 데이터를 생성하는 단계는,사용자 인터페이스를 통해 등록된 사용자 정의 기반 데이터 처리 기능과 가공 데이터 저장 규칙에 기초하여 적어도 하나 이상의 원본 데이터 처리 프로세스를 생성하는 단계를 포함하는 것인 데이터 처리방법
|
| 6 |
6
제1항에 있어서, 상기 데이터 분배 규칙을 등록하는 단계는,상기 분산형 데이터 저장소가 키-밸류(key-value) 분산형 데이터 저장소인 경우, 상기 가공 데이터를 균등하게 저장할 수 있는 키 값 생성 규칙을 등록하는 단계를 포함하는 것 인 데이터 처리방법
|
| 7 |
7
대용량 순차 수집 데이터 처리를 위한 프레임워크 제공장치에서의 데이터 처리방법에 있어서, 사용자 인터페이스를 통해 등록되는 외부 시스템 연동 기능과 데이터 전처리 기능에 기초하여 데이터 수집 프로세스를 생성하는 단계;사용자 인터페이스를 통해 등록되는 사용자가 정의한 원본 데이터 저장 규칙에 기초하여 원본 데이터 저장 프로세스를 생성하는 단계;사용자 인터페이스를 통해 등록된 사용자 정의 기반 데이터 처리 기능과 가공 데이터 저장 규칙에 기초하여 적어도 하나 이상의 원본 데이터 처리 프로세스를 생성하는 단계;가공 데이터를 분산형 데이터 저장소에 분배하여 저장하기 위한 데이터 분배 규칙을 등록하고, 상기 데이터 분배 규칙에 기초하여 가공 데이터 분배 프로세스를 생성하는 단계; 및상기 각각의 프로세스 사이의 관계 설정을 통해 사용자 정의 기반 데이터 처리를 위한 통합 프로세스를 생성하는 단계를 포함하는 데이터 처리방법
|
| 8 |
8
대용량 순차 수집 데이터 처리를 위한 프레임워크를 제공하는 프로그램 코드(code)가 저장된 비휘발성 메모리와, 상기 프로그램 코드를 실행하는 적어도 하나의 프로세서를 포함하는 프레임워크 제공장치에 있어서, 상기 프레임워크는, 외부의 데이터 제공 장치에서 수집한 원본 데이터에 대해 사용자 정의 기반의 전처리 작업을 수행하는 데이터 수집 모듈;상기 원본 데이터를 사용자가 정의한 저장 규칙에 기초하여 분산형 데이터 저장소에 저장하는 데이터 저장 모듈;사용자가 정의한 데이터 처리 규칙에 기초하여 상기 원본 데이터 또는 상기 원본 데이터의 저장 정보를 처리하여 가공 데이터를 생성하는 데이터 처리 모듈;상기 가공 데이터를 상기 분산형 데이터 저장소에 분배하여 저장하기 위한 데이터 분배 규칙을 등록하는 데이터 관리정책 모듈을 제공하도록 구현된 것인 프레임워크 제공장치
|
| 9 |
9
제8항에 있어서, 상기 데이터 수집 모듈은,외부 시스템 연동 기능과 데이터 파싱을 포함하는 사용자 정의 기반 전처리 기능을 등록할 수 있는 사용자 인터페이스를 제공하는 것 인 프레임워크 제공장치
|
| 10 |
10
제8항에 있어서, 상기 데이터 저장 모듈은,사용자 정의에 따른 원본 데이터 저장 규칙을 등록할 수 있는 사용자 인터페이스를 제공하는 것인 프레임워크 제공장치
|
| 11 |
11
제8항에 있어서, 상기 데이터 저장 모듈은,상기 원본 데이터로부터 필요한 데이터 추출 작업 또는 상기 원본 데이터에 대한 가공 작업이 필요한 경우, 상기 데이터 처리 모듈을 등록하고, 상기 데이터 처리 모듈에서 사용자가 정의한 데이터 처리 규칙에 기초하여 상기 원본 데이터를 상기 데이터 처리 모듈로 전달하거나, 상기 원본 데이터의 저장 정보를 통지하는 것인 프레임워크 제공장치
|
| 12 |
12
제8항에 있어서, 상기 데이터 처리 모듈은,상기 사용자가 정의한 데이터 처리 규칙과 가공 데이터 저장 규칙을 등록할 수 있는 사용자 인터페이스를 제공하는 것 인 프레임워크 제공장치
|
| 13 |
13
제8항에 있어서, 상기 데이터 처리 모듈은,사용자가 정의한 데이터 처리 규칙에 기초하여 상기 원본 데이터 또는 상기 원본 데이터의 저장 정보를 즉시 수행 방식 또는 주기적 수행 방식으로 처리하는 것 인 프레임워크 제공장치
|
| 14 |
14
제8항에 있어서, 상기 데이터 관리정책 모듈은,상기 데이터 분배 규칙을 등록 및 조회할 수 있는 사용자 인터페이스를 제공하되, 상기 분산형 데이터 저장소가 키-밸류(key-value) 분산형 데이터 저장소인 경우, 상기 데이터 분배 규칙은 상기 가공 데이터를 균등하게 저장할 수 있는 키 값 생성 규칙인 것인 프레임워크 제공장치
|
