🌱 𝐣𝐣𝐢𝐧𝐠𝐥𝐞 𝐝𝐞𝐕𝐥𝐨𝐠

HDFS (Hadoop File System) GFS를 모델로 설계 물리적 시스템의 실패를 소프트웨어 레벨에서 해결하여, 시스템의 가용성을 높이는 분산 파일 시스템 HDFS의 특징 컴퓨터 네트워크를 사용해 다수의 노드에 걸쳐 많은 양의 데이터를 저장 데이터의 장애 허용을 위해 중복 허용 기본적으로 데이터를 3개 복제해 복사본을 둠 3개의 블록은 서로 다른 노드에 복제 페타바이트 이상의 대용량 데이터 세트를 다룰 수 있음 -> 수평적 확장 구조로 설계 데이터를 기본 128MB의 블록으로 나눔 HDFS의 아키텍쳐 네임노드 (파일 시스템 관리) 파일 시스템에 속하는 파일 계층 구조나, 각 파일의 블록 위치를 메타데이터로 유지 데이터 파일에 대한 사용자 접속 관리 블록 데이터를 클러스터의 데이터노드에 맵핑 데이..

분산 파일 시스템 : 네트워크를 통해 공유하는 여러 호스트 컴퓨터의 파일에 접근할 수 있게하는 파일 시스템 대용량의 데이터가 물리적으로 한 곳에 저장되는 것이 아니라, 여러 시스템에 나누어져 분산 저장됨 데이터는 일반적으로 용량 단위로 일정하게 나누어짐 저장해야하는 데이터의 양이 많아져도 저장 장치를 수평적으로 확장하여 저장 능력을 키워나갈 수 있음 분산 파일 시스템의 특징 Scalability : 저장 공간을 확장할 수 있음 Fault tolerance : 시스템의 고장을 허용할 수 있어야 함 Data consistency : 시간이 지나도 데이터의 일관성이 유지되어야함 1. GFS(Google File System) 구글에 의해 자기 회사 사용 목적으로 개발된 분산 파일 시스템 일반 사용 하드웨어를 ..