[BigData] 빅데이터 분석을 위한 알고리즘 변형

01. 분산 처리 기법 활용

• 기존의 분석 알고리즘을 분산 처리 기법을 활용하여 빅데이터를 고속처리해야함
• 기존의 알고리즘을 분산 처리 기법에 맞게 변형하여 데이터 분석
• MapReduce 방식의 분산처리 기법을 적용한 알고리즘 변형을 할 수 있음

 

02. 대용량 데이터를 대상으로 한 분석

• 소셜 네트워크 통계 방안 -> 맵리듀스
  • 맵 함수(Mapper)와 리듀스(Reducer) 함수의 입력과 출력은 모두 <키, 값> 순서쌍으로 정의함
  • employee.txt. 데이터 파일에서 FIRST별로 빈도수가 얼마인지 측정하는 맵리듀스를 프로그래밍 하고자 함
• 소셜 네트워크 통계 방안
  1. 원 데이터를 에지로만 표현
  2. 각 맵 함수에서는 나누어진 에지의 <키, 값> 순서쌍에서 얻은 값인 목적 노드 ID로 그룹핑함
  3. 출력 정보를 다시 <키, 값> 순서쌍으로 표현 -> 맵 함수에서는 노드 전입 차수 과정을 그대로 반복함
  4. <키, 값> 순서쌍에서 얻은 갓인 '해당 노드 전입 차수'로 그룹핑 함
• 네트워크 분석 기법 -> 군집화 상수(Clustering Coefficient)
  • 네트워크에서 노드들(컴퓨터들)이 뭉치려는 정도가 얼마나 강한지 측정하는 방법으로, 사람이나 컴퓨터의 관계 응집도를 평가하는 척도로 활용됨