🌱 𝐣𝐣𝐢𝐧𝐠𝐥𝐞 𝐝𝐞𝐕𝐥𝐨𝐠

Hadoop ? 대용량 데이터를 분산 처리할 수 있는 JAVA 기반의 오픈소스 프레임워크 분산파일(HDFS)와 분산 처리 프로그래밍 모델(MapReduce)을 제공 데이터를 미리 HDFS 형태로 잘게 쪼개어 저장시켜 놓은 뒤, MapReduce를 이용해 분산 처리 Hadoop을 이용하면 다수의 컴퓨팅 노드를 마치 하나의 컴퓨터에서 사용하는 것처럼 분산시스템을 사용 가능 배치 처리에 최적화되어 설계됨 Hadoop 의 설계 철학 Fault tolerance (결함 허용성) 시스템 수행 중 결함이 발생하더라도, 결함을 극복하고 계속적으로 데이터를 처리할 수 있도록 설계 데이터를 여러 곳에 복제해놓아 특정 노드에 손상이 발생하더라도 작업을 계속적으로 이어나갈 수 있음 Scalability (확장성) 노드를 확장..

HDFS (Hadoop File System) GFS를 모델로 설계 물리적 시스템의 실패를 소프트웨어 레벨에서 해결하여, 시스템의 가용성을 높이는 분산 파일 시스템 HDFS의 특징 컴퓨터 네트워크를 사용해 다수의 노드에 걸쳐 많은 양의 데이터를 저장 데이터의 장애 허용을 위해 중복 허용 기본적으로 데이터를 3개 복제해 복사본을 둠 3개의 블록은 서로 다른 노드에 복제 페타바이트 이상의 대용량 데이터 세트를 다룰 수 있음 -> 수평적 확장 구조로 설계 데이터를 기본 128MB의 블록으로 나눔 HDFS의 아키텍쳐 네임노드 (파일 시스템 관리) 파일 시스템에 속하는 파일 계층 구조나, 각 파일의 블록 위치를 메타데이터로 유지 데이터 파일에 대한 사용자 접속 관리 블록 데이터를 클러스터의 데이터노드에 맵핑 데이..

분산 파일 시스템 : 네트워크를 통해 공유하는 여러 호스트 컴퓨터의 파일에 접근할 수 있게하는 파일 시스템 대용량의 데이터가 물리적으로 한 곳에 저장되는 것이 아니라, 여러 시스템에 나누어져 분산 저장됨 데이터는 일반적으로 용량 단위로 일정하게 나누어짐 저장해야하는 데이터의 양이 많아져도 저장 장치를 수평적으로 확장하여 저장 능력을 키워나갈 수 있음 분산 파일 시스템의 특징 Scalability : 저장 공간을 확장할 수 있음 Fault tolerance : 시스템의 고장을 허용할 수 있어야 함 Data consistency : 시간이 지나도 데이터의 일관성이 유지되어야함 1. GFS(Google File System) 구글에 의해 자기 회사 사용 목적으로 개발된 분산 파일 시스템 일반 사용 하드웨어를 ..

01. 분산시스템 기본구조 - 어플리케이션이 네트워크로 연결된 여러 노드에서 수행 - 컴퓨팅 자원 관리자와 실제 데이터를 처리하는 워커 노드로 존재 - RPC(Remote Procedure Call) 을 통한 노드 간 통ㅇ신 - Server/Client간 원격 함수 호출 02. 리눅스 운영체제 - 다중 사용자, 다중 프로세스 : 여러 사용자가 동시에 사용 가능 - 쉘 명령 기반 동작 - 우수한 네트워킹 : 리눅스에서부터 네트워킹 시작 / FTP, Telnet, WWW 등 가상화 기술 - 애플리케이션, 서버, 스토리지 및 네트워크 등의 컴퓨팅 기술을 추상화하여 요청한 만큼의 리소스를 서비스 형태로 제공해주는 기술 자원 가상화 운영 체제 가상화 03. 자원 가상화 - 데이터 스토리지, 연산 장치, 네트워크 ..