| 1 |
1
하둡(Hadoop) 기반의 빅데이터 시스템에서 ETL(Extract, Transform, Load) 절차를 수행하는 방법으로,미리 생성된 ETL 스트립트(script) 파일을 불러오는 단계;불러온 상기 ETL 스트립트 파일에서 입력 데이터에 대한 ETL 절차를 수행하는 데 필요한 복수의 단위 작업을 확인하는 단계; 및상기 입력 데이터를 분산병렬 처리를 위한 개별 단위로 분할하고, 분할된 개별 단위마다 상기 복수의 단위 작업에 대한 분산-병렬 처리를 수행하는 단계를 포함하는, ETL 절차를 수행하는 방법
|
| 2 |
2
청구항 1에서,상기 ETL 스크립트 파일은,JSON(JavaScript Object Notation), XML(Extensible Markup Language) 포맷 중 하나인, ETL 절차를 수행하는 방법
|
| 3 |
3
청구항 2에서,상기 ETL 스크립트 파일은, 상기 JSON 포맷이고, 상기 ETL 절차를 위한 단위 작업 및 상기 단위 작업의 수행에 필요한 파라미터 키-값 페어(key-value pair)를 포함하는, ETL 절차를 수행하는 방법
|
| 4 |
4
청구항 1에서,상기 복수의 단위 작업은,플러그인(plug-in) 방식으로 상기 빅데이터 시스템에서 참조가 가능하도록 구현되는, ETL 절차를 수행하는 방법
|
| 5 |
5
청구항 1에서,상기 복수의 단위 작업은,상기 입력 데이터를 파싱(parsing)하는 작업 및 상기 입력 데이터의 데이터 포맷을 상기 빅데이터 시스템에 따른 데이터 포맷으로 변환하는 작업을 포함하는, ETL 절차를 수행하는 방법
|
| 6 |
6
청구항 1에서,상기 분산-병렬 처리를 수행하는 단계는,하둡 기반 맵리듀스를 이용하여 상기 개별 단위별로 분산-병렬 처리를 수행하는, ETL 절차를 수행하는 방법
|
| 7 |
7
청구항 6에서,상기 분산-병렬 처리를 수행하는 단계는,상기 개별 단위에 상응하는 입력 데이터를 불러오는 단계;불러온 입력 데이터를 파싱(parsing)하는 단계; 및파싱된 데이터를 분석하는 단계를 포함하는, ETL 절차를 수행하는 방법
|
| 8 |
8
청구항 7에서,상기 분석하는 단계 이후에,분석한 결과 데이터를 상기 빅데이터 시스템에 따른 하둡 파일로 저장하는 단계를 더 포함하는, ETL 절차를 수행하는 방법
|
| 9 |
9
하둡(Hadoop) 기반의 빅데이터 시스템에서 ETL(Extract, Transform, Load) 절차를 수행하는 장치로서,적어도 하나의 프로세서(processor); 및상기 적어도 하나의 프로세서가 적어도 하나의 단계를 수행하도록 지시하는 명령어들(instructions)을 저장하는 메모리(memory)를 포함하고,상기 적어도 하나의 단계는,미리 생성된 ETL 스트립트(script) 파일을 불러오는 단계;불러온 상기 ETL 스트립트 파일에서 입력 데이터에 대한 ETL 절차를 수행하는 데 필요한 복수의 단위 작업을 확인하는 단계; 및상기 입력 데이터를 분산병렬 처리를 위한 개별 단위로 분할하고, 분할된 개별 단위마다 상기 복수의 단위 작업에 대한 분산-병렬 처리를 수행하는 단계를 포함하는, ETL 절차를 수행하는 장치
|
| 10 |
10
청구항 9에서,상기 ETL 스크립트 파일은,JSON(JavaScript Object Notation), XML(Extensible Markup Language) 포맷 중 하나인, ETL 절차를 수행하는 장치
|
| 11 |
11
청구항 10에서,상기 ETL 스크립트 파일은, 상기 JSON 포맷이고, 상기 ETL 절차를 위한 단위 작업 및 상기 단위 작업의 수행에 필요한 파라미터 키-값 페어(key-value pair)를 포함하는, ETL 절차를 수행하는 장치
|
| 12 |
12
청구항 9에서,상기 복수의 단위 작업은,플러그인(plug-in) 방식으로 상기 빅데이터 시스템에서 참조가 가능하도록 구현되는, ETL 절차를 수행하는 장치
|
| 13 |
13
청구항 9에서,상기 복수의 단위 작업은,상기 입력 데이터를 파싱(parsing)하는 작업 및 상기 입력 데이터의 데이터 포맷을 상기 빅데이터 시스템에 따른 데이터 포맷으로 변환하는 작업을 포함하는, ETL 절차를 수행하는 장치
|
| 14 |
14
청구항 9에서,상기 분산-병렬 처리를 수행하는 단계는,하둡 기반 맵리듀스를 이용하여 상기 개별 단위별로 분산-병렬 처리를 수행하는, ETL 절차를 수행하는 장치
|
| 15 |
15
청구항 14에서,상기 분산-병렬 처리를 수행하는 단계는,상기 개별 단위에 상응하는 입력 데이터를 불러오는 단계;불러온 입력 데이터를 파싱(parsing)하는 단계; 및파싱된 데이터를 분석하는 단계를 포함하는, ETL 절차를 수행하는 장치
|
| 16 |
16
청구항 15에서,상기 분석하는 단계 이후에,분석한 결과 데이터를 상기 빅데이터 시스템에 따른 하둡 파일로 저장하는 단계를 더 포함하는, ETL 절차를 수행하는 장치
|
