| 1 |
1
맵 연산을 실행하는 맵 연산기;맵 연산기의 맵 결과를 집계축약하는 컴바이너;맵 리듀스 제어장치의 정책에 따라 동일한 랙 스위치에 연결된 맵 리듀스 장치 간의 맵 연산결과를 집계축약하는 랙 컴바이너; 및컴바이너 또는 랙 컴바이너의 집계축약 결과를 수신하여 리듀스 연산을 실행하는 리듀스 연산기;를 포함하는 것을 특징으로 하는 맵 리듀스 장치
|
| 2 |
2
제 1 항에 있어서, 상기 랙 컴바이너는상기 맵 리듀스 제어장치를 통해 결정된 랙 컴바인을 실행할지에 대한 여부와, 랙 컴바인을 실행할 맵 리듀스 장치의 수와, 노드 별로 랙 컴바인을 실행할 중간 데이터 레코드의 범위(양)와, 랙 컴바인을 실행할 맵 리듀스 장치에 대한 정책에 따라 랙 내 맵 연산결과를 집계축약하는 것을 특징으로 하는 맵 리듀스 장치
|
| 3 |
3
제 1 항에 있어서, 상기 리듀스 연산기는상기 랙 컴바이너의 랙 컴바인 실행이 종료되면, 상기 맵 리듀스 제어장치로부터 새로운 중간 데이터에 따른 새로운 키의 대역폭 정보를 수신하여 리듀스 연산을 실행하는 것을 특징으로 하는 맵 리듀스 장치
|
| 4 |
4
계층화된 네트워크로 구성된 클러스터 환경에서 리듀스를 수행할 파티션 정보와 랙 간 또는 랙 내의 네트워크 상황정보에 따라 랙 단위로 랙 내 맵 연산결과를 집계축약하도록 적어도 하나의 맵 리듀스 장치를 제어하여, 랙 간의 이동 데이터를 줄이는 랙 컴바인 정책기;를 포함하는 것을 특징으로 하는 맵 리듀스 제어장치
|
| 5 |
5
제 4 항에 있어서,상기 네트워크 상황정보는 랙 간 네트워크 대역, 랙 내 네트워크 대역, 랙 간 셔플할 데이터량 및 랙 내 셔플할 데이터량 정보를 포함하는 것을 특징으로 하는 맵 리듀스 제어장치
|
| 6 |
6
제 4 항에 있어서, 상기 랙 컴바인 정책기는리듀스를 수행할 파티션 정보를 수신하는 파티션 정보 수신부;파티션 정보와 네트워크 상황정보를 이용하여 랙 단위로 랙 내 맵 연산결과를 집계축약하기 위한 랙 컴바인 정책을 결정하는 랙 컴바이닝 정책부; 및상기 랙 컴바이닝 정책부의 결정 결과에 따라 리듀스 연산기에 대한 셔플링 정책을 결정하는 셔플링 정책부;를 포함하는 것을 특징으로 하는 맵 리듀스 제어장치
|
| 7 |
7
제 6 항에 있어서, 상기 랙 컴바이닝 정책부는랙 내 맵 리듀스 장치 간에 셔플링할 데이터량(Din)과 다른 랙의 맵 리듀스 장치로 셔플링할 데이터량(Dout)을 계산하고, 랙 내 노드 간 셔플링을 위한 네트워크 지연 예상시간(Sin)과, 랙 간 셔플링을 위한 네트워크 지연 예상시간(Sout)을 계산하는 것을 특징으로 하는 맵 리듀스 제어장치
|
| 8 |
8
제 7 항에 있어서,랙 내 노드 간 셔플링을 위한 네트워크 지연 예상시간(Sin)은, 랙 내 맵 리듀스 장치 간에 셔플링할 데이터량(Din)을, 랙 내 맵 리듀스 장치들의 네트워크 대역폭의 합(Brack)으로 나눈 값인 것을 특징으로 하는 맵 리듀스 제어장치
|
| 9 |
9
제 7 항에 있어서,랙 간 셔플링을 위한 네트워크 지연 예상시간(Sout)은, 다른 랙의 맵 리듀스 장치로 셔플링할 데이터량(Dout)을, 랙 스위치와 코어 스위치 간의 네트워크 대역폭(Bcore)으로 나눈 값인 것을 특징으로 하는 맵 리듀스 제어장치
|
| 10 |
10
제 6 항에 있어서, 상기 랙 컴바이닝 정책부는랙 간 셔플링을 위한 네트워크 지연 예상시간(Sout)이 랙 내 노드 간 셔플링을 위한 네트워크 지연 예상시간(Sin)보다 큰지를 판단하고, 크면(Sin＜Sout) 랙 컴바인을 실행할 경우의 랙 간 셔플링의 예상 지연시간(Sout')을 계산하여, 랙 컴바인 실행 전과 실행 후의 랙 간 셔플링 예상시간의 비율(Sout/Sout')이 미리 설정된 임계 비율(r)보다 큰지를 판단하는 것을 특징으로 하는 맵 리듀스 제어장치
|
| 11 |
11
제 10 항에 있어서, 상기 랙 컴바이닝 정책부는랙 컴바인 실행 전과 실행 후의 랙 간 셔플링 예상시간의 비율(Sout/Sout')이 미리 설정된 임계 비율(r) 이상이면, 랙 컴바인을 실행할지에 대한 여부와, 랙 컴바인을 실행할 맵 리듀스 장치의 수와, 노드 별로 랙 컴바인을 실행할 중간 데이터 레코드의 범위(양)를 결정하고, 랙 컴바인을 실행할 맵 리듀스 장치를 결정한 후, 랙 컴바인의 실행을 해당 노드에 지시하는 것을 특징으로 하는 맵 리듀스 제어장치
|
| 12 |
12
제 6 항에 있어서, 상기 랙 컴바이닝 정책부는각 맵 리듀스 장치의 랙 컴바이너의 랙 컴바인 실행이 모두 종료됨을 수신하면, 상기 셔플링 정책부를 통해 새로운 중간 데이터에 따른 새로운 키의 대역폭 정보를 각 맵 리듀스 장치의 리듀스 연산기에 전달하여 리듀스 연산 실행을 지시하는 것을 특징으로 하는 맵 리듀스 제어장치
|
| 13 |
13
맵 리듀스 제어장치의 맵 리듀스 제어방법에 있어서, 상기 맵 리듀스 제어장치가:리듀스를 수행할 파티션 정보를 수신하는 단계;파티션 정보와 네트워크 상황정보를 기초로 하여 랙 단위로 랙 내 맵 연산결과를 집계축약하기 위한 랙 컴바인 정책을 결정하는 단계; 및상기 결정 결과에 따라 해당 맵 리듀스 장치에 랙 컴바인을 지시하는 단계;를 포함하는 것을 특징으로 하는 맵 리듀스 제어방법
|
| 14 |
14
제 13 항에 있어서, 상기 랙 컴바인 정책을 결정하는 단계는랙 내 맵 리듀스 장치 간에 셔플링할 데이터량(Din)과 다른 랙의 맵 리듀스 장치로 셔플링할 데이터량(Dout)을 계산하는 단계;랙 내 노드 간 셔플링을 위한 네트워크 지연 예상시간(Sin)을 계산하는 단계; 및랙 간 셔플링을 위한 네트워크 지연 예상시간(Sout)을 계산하는 단계;를 포함하는 것을 특징으로 하는 맵 리듀스 제어방법
|
| 15 |
15
제 14 항에 있어서, 상기 랙 내 노드 간 셔플링을 위한 네트워크 지연 예상시간(Sin)을 계산하는 단계는랙 내 맵 리듀스 장치 간에 셔플링할 데이터량(Din)을, 랙 내 맵 리듀스 장치들의 네트워크 대역폭의 합(Brack)으로 나누는 것을 특징으로 하는 맵 리듀스 제어방법
|
| 16 |
16
제 14 항에 있어서, 상기 랙 간 셔플링을 위한 네트워크 지연 예상시간(Sout)을 계산하는 단계는다른 랙의 맵 리듀스 장치로 셔플링할 데이터량(Dout)을, 랙 스위치와 코어 스위치 간의 네트워크 대역폭(Bcore)으로 나누는 것을 특징으로 하는 맵 리듀스 제어방법
|
| 17 |
17
제 13 항에 있어서, 상기 랙 컴바인 정책을 결정하는 단계는랙 간 셔플링을 위한 네트워크 지연 예상시간(Sout)이 랙 내 노드 간 셔플링을 위한 네트워크 지연 예상시간(Sin)보다 큰지를 판단하는 단계;크면(Sin＜Sout) 랙 컴바인을 실행할 경우의 랙 간 셔플링의 예상 지연시간(Sout')을 계산하는 단계; 및랙 컴바인 실행 전과 실행 후의 랙 간 셔플링 예상시간의 비율(Sout/Sout')이 미리 설정된 임계 비율(r)보다 큰지를 판단하는 단계;를 포함하는 것을 특징으로 하는 맵 리듀스 제어방법
|
| 18 |
18
제 17 항에 있어서, 상기 랙 컴바인 정책을 결정하는 단계는랙 컴바인 실행 전과 실행 후의 랙 간 셔플링 예상시간의 비율(Sout/Sout')이 미리 설정된 임계 비율(r) 이상이면, 랙 컴바인을 실행할지에 대한 여부와, 랙 컴바인을 실행할 맵 리듀스 장치의 수와, 노드 별로 랙 컴바인을 실행할 중간 데이터 레코드의 범위(양)를 결정하는 단계; 및랙 컴바인을 실행할 맵 리듀스 장치를 결정하는 단계;를 더 포함하는 것을 특징으로 하는 맵 리듀스 제어방법
|
| 19 |
19
제 13 항에 있어서, 상기 맵 리듀스 제어방법은각 맵 리듀스 장치의 랙 컴바이너의 랙 컴바인 실행이 모두 종료됨을 수신하면, 새로운 중간 데이터에 따른 새로운 키의 대역폭 정보를 각 맵 리듀스 장치의 리듀스 연산기에 전달하여 리듀스 연산 실행을 지시하는 단계;를 더 포함하는 것을 특징으로 하는 맵 리듀스 제어방법
|
