| 1 |
1
프로세서에 의해 수행되는 관리 방법으로서, 데이터 수집, 분석 및 처리를 위한 RDD(Resilient Distributed Dataset)를 관리하는 방법에 있어서, 상기 프로세서가, RDD에 대한 계보로부터 메타데이터를 추출하는 단계;상기 프로세서가, 상기 추출하는 단계에서 추출된 메타데이터를 저장하는 단계; 및상기 프로세서가, 상기 RDD에 대한 계보와 관련된 연산 수행시 저장된 메타데이터를 업데이트 하는 단계, 여기서, 상기 저장된 메타데이터는 RDD 객체정보 및 RDD 타입정보를 포함함;를 포함하는 RDD 관리 방법
|
| 2 |
2
제 1 항에 있어서, 상기 업데이트하는 단계는, 상기 RDD에 대한 계보와 관련된 연산 수행의 결과로 생성된 RDD들의 라이프 사이클을 지시하는 스테이터스 정보를 업데이트하는 단계인 RDD 관리 방법
|
| 3 |
3
제 2 항에 있어서,상기 프로세서가, 상기 연산 수행의 결과로 생성된 RDD들 중 적어도 하나의 RDD를 메모리 상에 캐싱(cashing) 저장할지 퍼시스트(persist)로 저장할지를 지시하는 정보를 수신하는 단계;상기 프로세서가, 상기 지시하는 정보에 따라 상기 적어도 하나의 RDD를 저장하는 단계; 및상기 프로세서가, 상기 지시하는 정보 및 저장된 상기 적어도 하나의 RDD의 저장위치 정보에 기초하여 상기 저장된 메타데이터를 더 업데이트하는 단계;를 더 포함하는 RDD 관리 방법
|
| 4 |
4
제 1 항에 있어서,상기 저장된 메타데이터는 우선순위 정보 및 RDD 저장위치 정보를 더 포함하고, 상기 우선순위 정보는 상기 RDD 타입정보에 의존하여 설정되고, 상기 RDD 저장위치 정보는 RDD들이 저장되는 위치정보를 지시하는 RDD 관리 방법
|
| 5 |
5
제 4 항에 있어서,상기 저장된 메타데이터는 상기 RDD에 대한 계보와 관련된 연산 수행의 결과로 생성된 RDD들의 라이프 사이클을 지시하는 스테이터스 정보를 더 포함하고,상기 방법은,상기 프로세서가, 상기 RDD에 대한 계보와 관련된 연산 수행의 결과로 생성된 RDD들에 대한 가비지 컬렉션(garbage collection)을 감지하는 단계;상기 프로세서가, 상기 생성된 RDD들 중 가비지 컬렉션의 대상으로 선정된 RDD들과 관련된 상기 스테이터스 정보를 변경하여 상기 저장된 메타데이터를 더 업데이트하는 단계; 및상기 프로세서가, 상기 가비지 컬렉션의 대상으로 선정된 RDD들 중 우선순위 정보가 기설정된 우선순위 보다 높은 우선순위를 갖는 RDD에 대한 상기 스테이터스 정보 및 상기 RDD 저장위치 정보를 변경하여 상기 저장된 메타데이터를 더 업데이트하고, 상기 우선순위 정보가 기설정된 우선순위 보다 앞서는 RDD를 변경된 RDD 저장위치 정보에 기초하여 저장하는 단계;를 더 포함하는 RDD 관리 방법
|
| 6 |
6
제 5 항에 있어서,상기 우선순위 정보가 기설정된 우선순위 보다 앞서는 RDD를 변경된 RDD 저장위치 정보에 기초하여 저장하는 단계 이후에, 상기 감지하는 단계에서 감지된 가비지 컬렉션이 수행되는 RDD 관리 방법
|
| 7 |
7
제 1 항에 있어서,상기 RDD 타입정보는, 최종 RDD, 헤비 RDD, 일반 RDD 및 원시 RDD 중 어느 하나를 지시하는 RDD 관리 방법
|
| 8 |
8
제 6 항에 있어서,상기 우선순위 정보는, 최종 RDD, 헤비 RDD, 원시 RDD, 일반 RDD의 순서로 높은 우선순위를 나타내는 RDD 관리 방법
|
| 9 |
9
데이터 수집, 분석 및 처리를 위한 RDD(Resilient Distributed Dataset)를 관리하는 장치에 있어서, RDD에 대한 계보를 포함하는 DAG(Directed Acyclic Graph)를 스캐닝하고, 상기 RDD에 대한 계보로부터 메타데이터를 추출하는 DAG 스캐닝 에이전트; 및상기 RDD에 대한 계보로부터 추출된 메타데이터를 저장하고, 상기 RDD에 대한 계보와 관련된 연산 수행시 저장된 메타데이터를 업데이트하는 메타데이터 매니저, 여기서, 상기 저장된 메타데이터는 RDD 객체정보 및 RDD 타입정보를 포함함;를 포함하는 RDD 관리 장치
|
| 10 |
10
제 9 항에 있어서, 상기 메타데이터 매니저는, 상기 RDD에 대한 계보와 관련된 연산 수행의 결과로 생성된 RDD들의 라이프 사이클을 지시하는 스테이터스 정보를 업데이트하는 RDD 관리 장치
|
| 11 |
11
제 10 항에 있어서, 상기 장치는, 상기 연산 수행의 결과로 생성된 RDD들 중 적어도 하나의 RDD를 메모리 상에 캐싱(cashing) 저장할지 퍼시스트(persist)로 저장할지를 지시하는 정보를 수신하고, 상기 지시하는 정보에 따라 상기 적어도 하나의 RDD를 저장하는 RDD 저장 매니저;를 더 포함하고,상기 메타데이터 매니저는, 상기 지시하는 정보 및 저장된 상기 적어도 하나의 RDD의 저장위치 정보에 기초하여 상기 저장된 메타데이터를 더 업데이트하는 RDD 관리 장치
|
| 12 |
12
제 11 항에 있어서, 상기 저장된 메타데이터는 우선순위 정보 및 RDD 저장위치 정보를 더 포함하고,상기 우선순위 정보는 상기 RDD 타입정보에 의존하여 설정되고, 상기 RDD 저장위치 정보는 RDD들이 저장되는 위치정보를 지시하는 RDD 관리 장치
|
| 13 |
13
제 12 항에 있어서, 상기 저장된 메타데이터는 상기 RDD에 대한 계보와 관련된 연산 수행의 결과로 생성된 RDD들의 라이프 사이클을 지시하는 스테이터스 정보를 더 포함하고,상기 장치는, 상기 RDD에 대한 계보와 관련된 연산 수행의 결과로 생성된 RDD들에 대한 가비지 컬렉션을 감지하는 RDD 수명 모니터링 에이전트;를 더 포함하고,상기 메타데이터 매니저는, 상기 생성된 RDD들 중 가비지 컬렉션의 대상으로 선정된 RDD들과 관련된 상기 스테이터스 정보를 변경하여 상기 저장된 메타데이터를 더 업데이트하고, 상기 메타데이터 매니저는, 상기 가비지 컬렉션의 대상으로 선정된 RDD들 중 우선순위 정보가 기설정된 우선순위 보다 높은 우선순위를 갖는 RDD에 대한 상기 스테이터스 정보 및 상기 RDD 저장위치 정보를 변경하여 상기 저장된 메타데이터를 더 업데이트하고,상기 RDD 저장 매니저는, 상기 우선순위 정보가 기설정된 우선순위 보다 앞서는 RDD를 변경된 RDD 저장위치 정보에 기초하여 저장하는 RDD 관리 장치
|
| 14 |
14
데이터 수집, 분석 및 처리를 위한 RDD(Resilient Distributed Dataset)를 관리하는 컴퓨터로 판독 가능한 프로그램을 저장하는 저장매체에 있어서, RDD에 대한 계보로부터 메타데이터를 추출하고, 상기 추출하는 단계에서 추출된 메타데이터를 저장하고, 상기 RDD에 대한 계보와 관련된 연산 수행시 저장된 메타데이터를 업데이트 하고, 여기서, 상기 저장된 메타데이터는 RDD 객체정보 및 RDD 타입정보를 포함하는 것인, 컴퓨터로 판독 가능한 프로그램을 저장하는 저장매체
|
