[BigData] 분산 파일 시스템

분산 파일 시스템

: 네트워크를 통해 공유하는 여러 호스트 컴퓨터의 파일에 접근할 수 있게하는 파일 시스템

• 대용량의 데이터가 물리적으로 한 곳에 저장되는 것이 아니라, 여러 시스템에 나누어져 분산 저장됨
• 데이터는 일반적으로 용량 단위로 일정하게 나누어짐
• 저장해야하는 데이터의 양이 많아져도 저장 장치를 수평적으로 확장하여 저장 능력을 키워나갈 수 있음

 

분산 파일 시스템의 특징

• Scalability : 저장 공간을 확장할 수 있음
• Fault tolerance : 시스템의 고장을 허용할 수 있어야 함
• Data consistency : 시간이 지나도 데이터의 일관성이 유지되어야함

 

1. GFS(Google File System)

• 구글에 의해 자기 회사 사용 목적으로 개발된 분산 파일 시스템
• 일반 사용 하드웨어를 이용하여 대량의 서버를 연결, 데이터에 대한 접근이 효율적이고 안정적이도록 설계
• 64MB의 고정된 Chunk로 파일을 쪼갬

 

2. HDFS(Hadoop File System)

• 구글 파일 시스템을 모델로 한 chunk 기반의 대용량 파일 시스템
• Master 역할을 하는 NameNode와 파일을 저장하는 기능을 하는  DataNode로 구성
• 분산 파일 시스템 부문에서 가장 많이 사용하는 사실상의 표준

 

3. AFS(Andrew File System)

• 미국의 카네기 멜론대가 대학에서 연구 교육 시스템을 통합할 목적으로 개발한 분산 파일 시스템
• 자원을 공유하여 시스템을 효율적으로 관리하기 용이함
• 동일한 하나의 파일 공유 공간을 제공하고, 캐시를 사용하여 파일 사용 성능을 향상시킴

 

4. GlusterFS(Gluster File System)

• Client/Server 구조로 대용량 분산 파일 시스템을 구성
• 여러 개의 스토리지 서버를 네트워크를 통해 하나의 디스크 풀로 묶어 Brick이라는 논리적 공간에 파일을 저장