mapreduce 1
[BigData] MapReduce(๋งต๋ฆฌ๋“€์Šค) ํ”„๋กœ๊ทธ๋ž˜๋ฐ ๋ชจ๋ธ

MapReduce ? Hadoop ์‹œ์Šคํ…œ์—์„œ ๋ถ„์‚ฐ ์ฒ˜๋ฆฌ ์ˆ˜ํ–‰ํ•˜๊ธฐ ์œ„ํ•œ ํ”„๋กœ๊ทธ๋ž˜๋ฐ ๋ชจ๋ธ Map, Reduce์˜ 2๊ฐœ์˜ phase๋กœ ๊ตฌ์„ฑ key, value ํ˜•ํƒœ์˜ ์ž๋ฃŒ๊ตฌ์กฐ๋ฅผ ๊ธฐ๋ฐ˜์œผ๋กœ ๋ฐ์ดํ„ฐ๋ฅผ ์ฒ˜๋ฆฌํ•˜๋Š” ๋ฉ”์ปค๋‹ˆ์ฆ˜ Map ๋‹จ๊ณ„์—์„œ ๋ฐ์ดํ„ฐ๋ฅผ key, value ์Œ์œผ๋กœ ๋ณ€ํ™˜ Reduce ๋‹จ๊ณ„์—์„œ key, value๋กœ ๋ณ€ํ™˜๋œ ๋ฐ์ดํ„ฐ๋ฅผ ์ง‘๊ณ„ํ•˜๊ณ  ์ตœ์ข… ๋ฐ์ดํ„ฐ๋ฅผ ๊ฒฐ์ • MapReduce ๋™์ž‘ ์ˆœ์„œ Input : ์›๋ณธ ๋ฐ์ดํ„ฐ๋ฅผ ์ค€๋น„ํ•˜๋Š” ๋‹จ๊ณ„ Split : ์›๋ณธ ๋ฐ์ดํ„ฐ๋ฅผ HDFS๋กœ ๋ณ€ํ™˜ํ•˜๋Š” ๋‹จ๊ณ„ Map : ๋ฐ์ดํ„ฐ๋ฅผ key, value ๊ธฐ๋ฐ˜์œผ๋กœ ์—ฐ์‚ฐํ•˜๋Š” ๋‹จ๊ณ„ Shuffle : key๋ฅผ ๊ธฐ๋ฐ˜์œผ๋กœ ์ž„์˜๋กœ ํฉ์–ด์กŒ๋˜ ๋ฐ์ดํ„ฐ๋ฅผ hashingํ•˜๋Š” ๋‹จ๊ณ„ Reduce : Map์—์„œ ์—ฐ์‚ฐ๋œ ๊ฒฐ๊ณผ๋ฅผ key๋ฅผ ๊ธฐ๋ฐ˜์œผ๋กœ ์—ฐ์‚ฐํ•˜๋Š” ๋‹จ๊ณ„ Merge : ..
software engineering/๋น…๋ฐ์ดํ„ฐ ์ฒ˜๋ฆฌ 2024.01.05
1
๋”๋ณด๊ธฐ

ํ‹ฐ์Šคํ† ๋ฆฌํˆด๋ฐ”