[BigData] MapReduce(맵리듀스) 프로그래밍 모델

MapReduce ?

Hadoop 시스템에서 분산 처리 수행하기 위한 프로그래밍 모델

• Map, Reduce의 2개의 phase로 구성
• key, value 형태의 자료구조를 기반으로 데이터를 처리하는 메커니즘
• Map 단계에서 데이터를 key, value 쌍으로 변환
• Reduce 단계에서 key, value로 변환된 데이터를 집계하고 최종 데이터를 결정

 

MapReduce 동작 순서

1. Input : 원본 데이터를 준비하는 단계
2. Split : 원본 데이터를 HDFS로 변환하는 단계
3. Map : 데이터를 key, value 기반으로 연산하는 단계
4. Shuffle : key를 기반으로 임의로 흩어졌던 데이터를 hashing하는 단계
5. Reduce : Map에서 연산된 결과를 key를 기반으로 연산하는 단계
6. Merge : 최종 결과를 취합하고 출력하는 단계

 

Map, Shuffle, Reduce 단계에서의 데이터 이동 과정

1. Map 단계에서 용량 단위로 분할된 데이터를 임의의 노드에서 연산을 수행
2. Shuffle을 통해 key 값을 기준으로 같은 key의 값은 같은 Reducer로 데이터가 이동
3. 같은 key값의 데이터는 같은 Reducer로 이동하게 됨

 

워커 노드 상에서 MapReduce 동작 방법

1. 각 노드의 Split 만큼 Map의 개수가 결정됨
2. Reduce는 사용자가 설정한 개수만큼 설정함
3. 각 노드에 여러 Map과 Reduce가 존재할 수 있음
4. Map과 Reduce는 유휴 Container를 만나 구동됨