1 |
1
파일을 HDFS(Hadoop Distribution File System; 하둡 분산 파일 시스템)에 분산 저장하는 HDFS 분산 저장 시스템으로서,상기 파일에 상응하는 M개의 분할 파일 블록을 생성하는 분할모듈-여기서, M은 상기 파일을 S/R의 크기로 분할했을 때의 블록의 개수이며, R은 상기 HDFS의 리플리케이션 팩터이며, S는 소정의 기본 블록 사이즈(default block size)임; 및상기 M개의 분할 파일 블록을 상기 HDFS 상의 데이터 노드에 분산 저장하는 제어모듈을 포함하되,상기 M개의 분할 파일 블록 중 i번째 분할 파일 블록(1≤i≤M-R+1)은,상기 파일 중 상기 파일을 S/R의 크기로 분할하였을 때의 i번째 블록의 시작지점부터 상기 기본 블록 사이즈만큼의 영역에 포함된 데이터를 포함하며,상기 M개의 분할 파일 블록 중 j번째 분할 파일 블록(M-R+2≤j≤M)은,상기 파일 중 상기 파일을 S/R의 크기로 분할하였을 때의 i번째 블록의 시작지점부터 상기 파일의 종료지점까지의 영역에 포함된 데이터를 포함하는 HDFS 분산 저장 시스템
|
2 |
2
제1항에 있어서,상기 M개의 분할 파일 블록 중 j번째 분할 파일 블록(M-R+2≤j≤M)은, 상기 파일의 시작지점부터 상기 파일을 S/R의 크기로 분할하였을 때의 R-(M-j+1)번째 블록의 종료지점까지의 영역에 포함된 데이터를 더 포함하는 HDFS 분산 저장 시스템
|
3 |
3
제1항에 있어서,상기 파일은 동영상 파일인 것을 특징으로 하는 HDFS분산 저장 시스템
|
4 |
4
제3항에 있어서,상기 제어모듈은,상기 동영상 파일의 헤더 정보를 포함하는 헤더 블록을 상기 M개의 분할 파일 블록을 분산 저장하고 있는 모든 데이터 노드에 더 저장하는 HDFS 분산 저장 시스템
|
5 |
5
제3항에 기재된 시스템에 의해 저장된 동영상 파일에 대한 맵리듀스(Map-Reduce)를 수행하며, 잡 트래커(Job Tracker) 서버 및 복수의 태스크 트래커(Task Tracker) 서버를 포함하는 동영상 맵리듀스 시스템으로서,상기 잡 트래커 서버는,상기 동영상 파일을 키 프레임을 기준으로 하여 단위 스플릿으로 분할하고, 분할된 각각의 단위 스플릿을 상기 복수의 태스크 트래커 서버 중 해당 단위 스플릿을 포함하는 분할 파일 블록을 저장하고 있는 태스크 트래커 서버에서 실행되는 맵 태스크에 할당하고,상기 태스크 트래커 서버는,자신에게 할당된 단위 스플릿에 포함된 데이터에 대한 맵 태스크를 수행하는 동영상 맵리듀스 시스템
|
6 |
6
파일을 HDFS에 분산 저장하는 HDFS 분산 저장 시스템 제공방법으로서,상기 파일에 상응하는 M개의 분할 파일 블록을 생성하는 단계-여기서, M은 상기 파일을 S/R의 크기로 분할했을 때의 블록의 개수이며, R은 상기 HDFS의 리플리케이션 팩터이며, S는 소정의 기본 블록 사이즈임; 및상기 M개의 분할 파일 블록을 상기 HDFS 상의 데이터 노드에 분산 저장하는 단계를 포함하되,상기 M개의 분할 파일 블록 중 i번째 분할 파일 블록(1≤i≤M-R+1)은,상기 파일 중 상기 파일을 S/R의 크기로 분할하였을 때의 i번째 블록의 시작지점부터 상기 기본 블록 사이즈만큼의 영역에 포함된 데이터를 포함하며,상기 M개의 분할 파일 블록 중 j번째 분할 파일 블록(M-R+2≤j≤M)은,상기 파일 중 상기 파일을 S/R의 크기로 분할하였을 때의 i번째 블록의 시작지점부터 상기 파일의 종료지점까지의 영역에 포함된 데이터를 포함하는 HDFS 분산 저장 시스템 제공방법
|
7 |
7
제6항에 있어서,상기 M개의 분할 파일 블록 중 j번째 분할 파일 블록(M-R+2≤j≤M)은, 상기 파일의 시작지점부터 상기 파일을 S/R의 크기로 분할하였을 때의 R-(M-j+1)번째 블록의 종료지점까지의 영역에 포함된 데이터를 더 포함하는 HDFS 분산 저장 시스템 제공방법
|
8 |
8
제6항에 있어서,상기 파일은 동영상 파일이며,상기 HDFS 분산 저장 시스템 제공방법은,상기 동영상 파일의 헤더 정보를 포함하는 헤더 블록을 상기 M개의 분할 파일 블록을 분산 저장하고 있는 모든 데이터 노드에 저장하는 단계를 더 포함하는 HDFS 분산 저장 시스템 제공방법
|
9 |
9
제6항 내지 제8항 중 어느 한 항에 기재된 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록매체
|
10 |
10
HDFS 분산 저장 시스템으로서,프로세서; 및 상기 프로세서에 의하여 실행되는 컴퓨터 프로그램을 저장하는 메모리를 포함하며,상기 컴퓨터 프로그램은, 상기 프로세서에 의해 실행되는 경우, 상기 HDFS에 분산 저장 시스템이 제6항 내지 제8항 중 어느 한 항에 기재된 방법을 수행하도록 하는 HDFS 분산 저장 시스템
|
11 |
11
제3항에 기재된 시스템에 의해 저장된 동영상 파일에 대한 맵리듀스를 수행하며, 잡 트래커 서버 및 복수의 태스크 트래커 서버를 포함하는 동영상 맵리듀스 시스템 제공방법으로서,(a) 상기 잡 트래커 서버가, 상기 동영상 파일을 키 프레임을 기준으로 하여 단위 스플릿으로 분할하는 단계;(b) 상기 잡 트래커 서버가, 분할된 각각의 단위 스플릿을 상기 복수의 태스크 트래커 서버 중 해당 단위 스플릿을 포함하는 분할 파일 블록을 저장하고 있는 태스크 트래커 서버에서 실행되는 맵 태스크에 할당하는 단계; 및(c) 상기 분할된 단위 스플릿을 할당받은 상기 태스크 트래커 서버 각각이, 자신에게 할당된 단위 스플릿에 포함된 데이터에 대한 맵 태스크를 수행하는 단계를 포함하는 동영상 맵리듀스 시스템 제공방법
|