[BigData] Hadoop 하둡

Hadoop ?

대용량 데이터를 분산 처리할 수 있는 JAVA 기반의 오픈소스 프레임워크

• 분산파일(HDFS)와 분산 처리 프로그래밍 모델(MapReduce)을 제공
• 데이터를 미리 HDFS 형태로 잘게 쪼개어 저장시켜 놓은 뒤, MapReduce를 이용해 분산 처리
• Hadoop을 이용하면 다수의 컴퓨팅 노드를 마치 하나의 컴퓨터에서 사용하는 것처럼 분산시스템을 사용 가능
• 배치 처리에 최적화되어 설계됨

 

Hadoop 의 설계 철학

1. Fault tolerance (결함 허용성)
   • 시스템 수행 중 결함이 발생하더라도, 결함을 극복하고 계속적으로 데이터를 처리할 수 있도록 설계
   • 데이터를 여러 곳에 복제해놓아 특정 노드에 손상이 발생하더라도 작업을 계속적으로 이어나갈 수 있음
2. Scalability (확장성)
   • 노드를 확장하더라도 시스템의 성능이 선형적으로 증가
3. Data Locality (데이터 지역성)
   • 데이터 연산을 하기 위해 데이터 연산 로직이 있는 곳으로 데이터를 이동시키지 않고, 데이터가 있는 곳에서 연산함

 

Hadoop의 구조

1.  Yarn(Yet Another Resource Negotiator) 을 활용한 하둡 클러스터 관리
   • Yarn 의 구성요소
     • Resource Manager(RM) : Master에서 구동되며, 클러스터의 자원 할당을 관리
     • Node Manager(NM) : Worker에서 구동되며, 각 단일 노드의 Task 실행을 담당
     • Application Master(AM) : 하나의 애플리케이션을 관리
     • Container : CPU, 메모리, 디스크, 네트워크 같은 시스템 자원을 컨테이너 단위로 패키징