🌱 𝐣𝐣𝐢𝐧𝐠𝐥𝐞 𝐝𝐞𝐕𝐥𝐨𝐠

Hadoop ? 대용량 데이터를 분산 처리할 수 있는 JAVA 기반의 오픈소스 프레임워크 분산파일(HDFS)와 분산 처리 프로그래밍 모델(MapReduce)을 제공 데이터를 미리 HDFS 형태로 잘게 쪼개어 저장시켜 놓은 뒤, MapReduce를 이용해 분산 처리 Hadoop을 이용하면 다수의 컴퓨팅 노드를 마치 하나의 컴퓨터에서 사용하는 것처럼 분산시스템을 사용 가능 배치 처리에 최적화되어 설계됨 Hadoop 의 설계 철학 Fault tolerance (결함 허용성) 시스템 수행 중 결함이 발생하더라도, 결함을 극복하고 계속적으로 데이터를 처리할 수 있도록 설계 데이터를 여러 곳에 복제해놓아 특정 노드에 손상이 발생하더라도 작업을 계속적으로 이어나갈 수 있음 Scalability (확장성) 노드를 확장..

HDFS (Hadoop File System) GFS를 모델로 설계 물리적 시스템의 실패를 소프트웨어 레벨에서 해결하여, 시스템의 가용성을 높이는 분산 파일 시스템 HDFS의 특징 컴퓨터 네트워크를 사용해 다수의 노드에 걸쳐 많은 양의 데이터를 저장 데이터의 장애 허용을 위해 중복 허용 기본적으로 데이터를 3개 복제해 복사본을 둠 3개의 블록은 서로 다른 노드에 복제 페타바이트 이상의 대용량 데이터 세트를 다룰 수 있음 -> 수평적 확장 구조로 설계 데이터를 기본 128MB의 블록으로 나눔 HDFS의 아키텍쳐 네임노드 (파일 시스템 관리) 파일 시스템에 속하는 파일 계층 구조나, 각 파일의 블록 위치를 메타데이터로 유지 데이터 파일에 대한 사용자 접속 관리 블록 데이터를 클러스터의 데이터노드에 맵핑 데이..