1 |
1
메시지 서버, 매니지먼트 서버를 포함하는 실시간 분석 시스템을 이용한 자원 사용 방법에 있어서,(a) 상기 메시지 서버에 의해 입력 데이터를 파싱하여 서로 다른 속성을 갖는 데이터 종류별로 상기 입력 데이터가 분류되면, 상기 매니지먼트 서버가, 상기 종류별 입력 데이터를 획득하는 단계;(b) 상기 매니지먼트 서버가, 기 저장된 소정의 시간대 별로, 상기 종류별 입력 데이터를 분석 처리하는 각각의 쓰레드 - 상기 각각의 쓰레드는 각각에 대응되는 상기 종류별 입력 데이터를 처리하는 기능을 수행함 - 의 할당 비율 및 상기 쓰레드 할당 비율에 따른 데이터 분석 작업의 작업량 데이터를 기록하고 이를 학습하는 단계;(c) 특정 시각에 종류별 신규 입력 데이터가 획득되면, 상기 매니지먼트 서버가, 상기 특정 시각과 매칭되는 유사 시각 그룹에 포함되어 있는 적어도 하나의 이전 시각에 대응되는 상기 학습된 시간대별 상기 쓰레드의 할당 비율 및 상기 작업량 데이터를 참조로 하여, 상기 특정 시각에 대응하는 상기 종류별 신규 입력 데이터에 대한 최적의 쓰레드 할당 비율을 예측하는 단계; 및(d) 상기 매니지먼트 서버가, 상기 특정 시각에 대응되는 상기 최적의 쓰레드 할당 비율을 참조로 하여, 상기 종류별 신규 입력 데이터를 분석 처리하는 쓰레드를 할당하는 단계;를 포함하는 것을 특징으로 하는 실시간 분석 시스템에서의 자원 사용 방법
|
2 |
2
제 1 항에 있어서,상기 (c) 단계는, 현재 시각이, 상기 특정 시각이 되기 소정 시간 이전인 경우, 상기 현재 시각에 상기 특정 시각에서 적용될 최적의 상기 쓰레드 할당 비율을 미리 예측하고, 상기 (d) 단계는, 상기 현재 시각으로부터 상기 소정 시간 후에, 상기 예측된 최적의 쓰레드 할당 비율로 전체 쓰레드 개수를 각 종류별 신규 입력 데이터에 대응되는 쓰레드 개수로 나누는 것을 특징으로 하는 실시간 분석 시스템에서의 자원 사용 방법
|
3 |
3
제 2 항에 있어서, (e) 상기 매니지먼트 서버가, 상기 특정 시각에, 상기 종류별 신규 입력 데이터를 상기 할당 비율을 바탕으로 할당된 개수만큼의 쓰레드를 실행하여 데이터를 분석 처리하는 단계; 를 더 포함하는 것을 특징으로 하는 실시간 분석 시스템에서의 자원 사용 방법
|
4 |
4
제 1 항에 있어서,상기 (b) 단계에 따른 학습 데이터가 존재하지 않는 경우, 상기 (c) 단계에서, 상기 종류별 신규 입력 데이터의 종류별 비율을 바탕으로, 전체 쓰레드에서 상기 종류별 신규 입력 데이터를 실행할 쓰레드를 할당하는 것을 특징으로 하는 실시간 분석 시스템에서의 자원 사용 방법
|
5 |
5
제 1 항에 있어서,상기 (a) 단계에서, 상기 메시지 서버에 의해 실시간으로 입력되는 데이터를 파싱하여 정형, 반정형, 비정형 데이터를 구분하여 구분된 데이터 종류별로 메시지 큐에 적재되고, 상기 메시지 서버 내에 포함되는 큐 매니지먼트에 의해, (i) 데이터 종류별 상기 메시지 큐에 적재된 데이터의 양과 비율 정보, 및 (ii) 상기 종류별 신규 입력 데이터에 대응하는 상기 특정 시각에 대한 정보가 일정한 주기로 상기 매니지먼트 서버로 전달되는 것을 특징으로 하는 실시간 분석 시스템에서의 자원 사용 방법
|
6 |
6
제 1 항에 있어서,(e) 상기 매니지먼트 서버가, 상기 특정 시각에 상기 종류별 신규 입력 데이터를 상기 할당 비율을 바탕으로 할당된 개수만큼의 쓰레드를 실행하여 데이터를 분석 처리하는 단계; (f) 상기 매니지먼트 서버가, 상기 특정 시각에서의 상기 할당된 쓰레드 비율에 따른 작업량을 계산하고 상기 할당된 쓰레드 비율 정보 및 작업량 정보를 상기 특정 시각에 대응시켜 저장하고, 상기 특정 시각에 대응되는 정보를 상기 유사 시각 그룹에 대응되는 정보에 편입하여 업데이트하는 단계; 및(g) 상기 매니지먼트 서버가, 상기 업데이트된 유사 시각 그룹에 포함되어 있는 적어도 하나의 이전 시각에 대응되는 상기 학습된 시간대별 상기 쓰레드의 할당 비율 및 상기 작업량 데이터를 참조하여, 상기 유사 시각 그룹에 대한 최적의 쓰레드 할당 비율 및 최적의 작업량 데이터를 학습하고 이를 업데이트 하는 단계를 더 포함하는 것을 특징으로 하는 실시간 분석 시스템에서의 자원 사용 방법
|
7 |
7
제6항에 있어서,상기 (e) 단계는, 상기 매니지먼트 서버가, 상기 쓰레드 할당 비율에 따라 상기 할당된 개수만큼의 각 쓰레드를 실행하여 소정의 기간 동안 쓰레드 풀의 작업량을 측정하고, 각 쓰레드 풀의 측정된 작업량과 소정의 기대 값을 비교한 후, 상기 측정된 작업량이 상기 기대 값에 도달했을 때는 상기 쓰레드 할당 비율을 유지하며, 상기 신규 입력 데이터의 특정 종류에 대응하는 특정 쓰레드 풀에서 측정된 작업량이 상기 기대 값에 미치지 못했을 경우에는 상기 기대 값에 미치지 못한 상기 신규 입력 데이터의 상기 특정 종류에 대응하는 상기 특정 쓰레드 풀의 쓰레드 개수를 증가시키는 것을 특징으로 하는 실시간 분석 시스템에서의 자원 사용 방법
|
8 |
8
제7항에 있어서,상기 (e) 단계는, 모든 쓰레드 풀에서 측정된 작업량이 상기 기대 값에 미치지 못한 경우에는 전체 쓰레드의 개수를 증가시키는 것을 특징으로 하는 실시간 분석 시스템에서의 자원 사용 방법
|
9 |
9
제7항에 있어서,상기 소정의 기대 값은 전체 쓰레드를 상기 특정 쓰레드 풀에만 할당하여 작업했을 때 측정된 작업량의 90% 이상인 값으로 설정되는 것을 특징으로 하는 실시간 분석 시스템에서의 자원 사용 방법
|
10 |
10
제7항에 있어서,현재 시각이, 상기 특정 시각이 되기 소정 시간 이전인 경우, 상기 (c) 단계는, 학습 데이터를 기반으로 가설함수를 생성하고, 상기 가설함수를 통해 상기 현재 시각에 상기 소정 시간만큼 흐른 상태의 시각인 상기 특정 시각을 입력 변수로 회귀 분석을 수행하며, 상기 회귀 분석 결과를 기반으로 상기 쓰레드 할당 비율을 조정함으로써, 상기 종류별 신규 입력 데이터에 대한 시간대별 최적의 쓰레드 할당 비율을 예측하는 것을 특징으로 하는 실시간 분석 시스템에서의 자원 사용 방법
|
11 |
11
제1항에 있어서,상기 (c) 단계는, 상기 유사 시각 그룹에 대응되어 저장되어 있는 쓰레드 할당 비율이 두 가지 이상 존재하는 경우 작업량이 더 높은 쓰레드 할당 비율을 선택하여 예측하는 것을 특징으로 하는 실시간 분식 시스템에서의 자원 사용 방법
|
12 |
12
제1항에 있어서,상기 (c) 단계는, 상기 유사 시각 그룹에 대응되어 저장되어 있는 쓰레드 할당 비율이 두 가지 이상 존재하는 가장 최근에 저장된 쓰레드 할당 비율을 선택하여 예측하는 것을 특징으로 하는 실시간 분식 시스템에서의 자원 사용 방법
|
13 |
13
실시간 분석 시스템의 매니지먼트 서버에 있어서, 상기 실시간 분석 시스템 내의 메시지 서버에 의해 입력 데이터를 파싱하여 서로 다른 속성을 갖는 데이터 종류별로 상기 입력 데이터가 분류되면, 상기 메시지 서버로부터, 상기 종류별 입력 데이터를 획득하는 통신부;(i) 기 저장된 소정의 시간대 별로, 상기 종류별 입력 데이터를 분석 처리하는 각각의 쓰레드 - 상기 각각의 쓰레드는 각각에 대응되는 상기 종류별 입력 데이터를 처리하는 기능을 수행함 - 의 할당 비율 및 상기 쓰레드 할당 비율에 따른 데이터 분석 작업의 작업량 데이터를 기록하고 이를 학습하는 프로세스; (ii) 특정 시각에 종류별 신규 입력 데이터가 획득되면, 상기 특정 시각과 매칭되는 유사 시각 그룹에 포함되어 있는 적어도 하나의 이전 시각에 대응되는 상기 학습된 시간대별 상기 쓰레드의 할당 비율 및 상기 작업량 데이터를 참조로 하여, 상기 특정 시각에 대응하는 상기 종류별 신규 입력 데이터에 대한 최적의 쓰레드 할당 비율을 예측하는 프로세스; 및 (iii) 상기 특정 시각에 대응되는 상기 최적의 쓰레드 할당 비율을 참조로 하여, 상기 종류별 신규 입력 데이터를 분석 처리하는 쓰레드를 할당하는 프로세스를 수행하는 프로세서;를 포함하는 것을 특징으로 하는 매니지먼트 서버
|
14 |
14
제 13 항에 있어서,상기 프로세서는, 상기 (ii) 프로세스에서, 현재 시각이, 상기 특정 시각이 되기 소정 시간 이전인 경우, 상기 현재 시각에 상기 특정 시각에서 적용될 최적의 상기 쓰레드 할당 비율을 미리 예측하고, 상기 (iii) 프로세스에서, 상기 현재 시각으로부터 상기 소정 시간 후에, 상기 예측된 최적의 쓰레드 할당 비율로 전체 쓰레드 개수를 각 종류별 신규 입력 데이터에 대응되는 쓰레드 개수로 나누는 것을 특징으로 하는 매니지먼트 서버
|
15 |
15
제 14 항에 있어서, 상기 프로세서는 (iv) 상기 특정 시각에, 상기 종류별 신규 입력 데이터를 상기 할당 비율을 바탕으로 할당된 개수만큼의 쓰레드를 실행하여 데이터를 분석 처리하는 프로세스; 를 더 수행하는 것을 특징으로 하는 매니지먼트 서버
|
16 |
16
제 13 항에 있어서,상기 프로세서는, 상기 (i) 프로세스에 따른 학습 데이터가 존재하지 않는 경우, 상기 (ii) 프로세스에서, 상기 종류별 신규 입력 데이터의 종류별 비율을 바탕으로, 전체 쓰레드에서 상기 종류별 신규 입력 데이터를 실행할 쓰레드를 할당하는 것을 특징으로 하는 매니지먼트 서버
|
17 |
17
제 13 항에 있어서,상기 메시지 서버에 의해 실시간으로 입력되는 데이터를 파싱하여 정형, 반정형, 비정형 데이터를 구분하여 구분된 데이터 종류별로 메시지 큐에 적재되고, 상기 메시지 서버 내에 포함되는 큐 매니지먼트에 의해, (i) 데이터 종류별 상기 메시지 큐에 적재된 데이터의 양과 비율 정보, 및 (ii) 상기 종류별 신규 입력 데이터에 대응하는 상기 특정 시각에 대한 정보가 일정한 주기로 상기 매니지먼트 서버로 전달하면, 상기 통신부는, 이를 획득하는 것을 특징으로 하는 매니지먼트 서버
|
18 |
18
제 13 항에 있어서,상기 프로세서는, (iv) 상기 특정 시각에 상기 종류별 신규 입력 데이터를 상기 할당 비율을 바탕으로 할당된 개수만큼의 쓰레드를 실행하여 데이터를 분석 처리하는 프로세스; (v) 상기 특정 시각에서의 상기 할당된 쓰레드 비율에 따른 작업량을 계산하고 상기 할당된 쓰레드 비율 정보 및 작업량 정보를 상기 특정 시각에 대응시켜 저장하고, 상기 특정 시각에 대응되는 정보를 상기 유사 시각 그룹에 대응되는 정보에 편입하여 업데이트하는 프로세스; 및(vi) 상기 업데이트된 유사 시각 그룹에 포함되어 있는 적어도 하나의 이전 시각에 대응되는 상기 학습된 시간대별 상기 쓰레드의 할당 비율 및 상기 작업량 데이터를 참조하여, 상기 유사 시각 그룹에 대한 최적의 쓰레드 할당 비율 및 최적의 작업량 데이터를 학습하고 이를 업데이트 하는 프로세스를 더 수행하는 것을 특징으로 하는 매니지먼트 서버
|
19 |
19
제18항에 있어서,상기 (iv) 프로세스는, 상기 쓰레드 할당 비율에 따라 상기 할당된 개수만큼의 각 쓰레드를 실행하여 소정의 기간 동안 쓰레드 풀의 작업량을 측정하고, 각 쓰레드 풀의 측정된 작업량과 소정의 기대 값을 비교한 후, 상기 측정된 작업량이 상기 기대 값에 도달했을 때는 상기 쓰레드 할당 비율을 유지하며, 상기 신규 입력 데이터의 특정 종류에 대응하는 특정 쓰레드 풀에서 측정된 작업량이 상기 기대 값에 미치지 못했을 경우에는 상기 기대 값에 미치지 못한 상기 신규 입력 데이터의 상기 특정 종류에 대응하는 상기 특정 쓰레드 풀의 쓰레드 개수를 증가시키는 것을 특징으로 하는 매니지먼트 서버
|
20 |
20
제19항에 있어서,상기 (iv) 프로세스는, 모든 쓰레드 풀에서 측정된 작업량이 상기 기대 값에 미치지 못한 경우에는 전체 쓰레드의 개수를 증가시키는 것을 특징으로 하는 매니지먼트 서버
|
21 |
21
제19항에 있어서,상기 소정의 기대 값은 전체 쓰레드를 상기 특정 쓰레드 풀에만 할당하여 작업했을 때 측정된 작업량의 90% 이상인 값으로 설정되는 것을 특징으로 하는 매니지먼트 서버
|
22 |
22
제19항에 있어서,현재 시각이, 상기 특정 시각이 되기 소정 시간 이전인 경우, 상기 (ii) 프로세스는, 학습 데이터를 기반으로 가설함수를 생성하고, 상기 가설함수를 통해 상기 현재 시각에 상기 소정 시간만큼 흐른 상태의 시각인 상기 특정 시각을 입력 변수로 회귀 분석을 수행하며, 상기 회귀 분석 결과를 기반으로 상기 쓰레드 할당 비율을 조정함으로써, 상기 종류별 신규 입력 데이터에 대한 시간대별 최적의 쓰레드 할당 비율을 예측하는 것을 특징으로 하는 매니지먼트 서버
|
23 |
23
제13항에 있어서,상기 (ii) 프로세스는, 상기 유사 시각 그룹에 대응되어 저장되어 있는 쓰레드 할당 비율이 두 가지 이상 존재하는 경우 작업량이 더 높은 쓰레드 할당 비율을 선택하여 예측하는 것을 특징으로 하는 매니지먼트 서버
|
24 |
24
제13항에 있어서,상기 (ii) 프로세스는, 상기 유사 시각 그룹에 대응되어 저장되어 있는 쓰레드 할당 비율이 두 가지 이상 존재하는 가장 최근에 저장된 쓰레드 할당 비율을 선택하여 예측하는 것을 특징으로 하는 매니지먼트 서버
|