[BigData] 빅데이터 분석 기술

빅데이터 분석 기술 ?

기존의 데이터 분석에 더 나아가, 대규모의 데이터를 처리하여 보다 높은 정확성을 확보하는 기술

• 분산 시스템상에서는 분석 기술을 적용하여, 빅데이터를 분석하는 절차를 거침
• 기존의 분석 알고리즘을 여러 대의 분산 노드를 활용하여 분산처리하기 위해 기존 알고리즘을 변형하기도 함
• 하둡, 스파크 등의 분산 처리 시스템에서 여러 분석 알고리즘을 분산 처리해 데이터를 고속으로 처리할 수 있음
• 다양한 도메인의 데이터를 분석하여 의미 있는 결과를 도출하는 것을 목적으로 함

 

빅데이터 분석 기술의 종류

• 분류(Classfication) : 일정한 집단에서 특정한 정의를 이용하여 분류를 추론함
• 예측(Forecasting) : 방대한 양의 데이터 집합의 패턴을 기반으로 미래를 예측
• 시계열 분석(Time-Series) : 시간의 변화에 따라 일정한 간격으로 연속적인 통계 숫자를 저장한 시계열 데이터에 바탕을 둔 분석 방법
• 회귀분석(Regression) : 하나 이상의 변수 간의 영향이나 관계를 분석 및 추정하는 기술
• 요약(Summarization) : 데이터의 일반적인 특성이나 특징의 요점을 간략히 정리하는 기술
• 군집화(Clustering) : 구체적인 특성을 공유하는 군집을 찾음. / 미리 정의된 특성의 정보가 없다는 점에서 분류와 다름
• 연관 규칙(Association Rule) : 동시에 발생한 사건 간의 관계를 정의
• 연속성(Sequencing) : 시간에 따라 순차적으로 나타나는 사건의 종속성을 말함

---

01. 텍스트 데이터 분석?

비.반정형 텍스트 데이터로 구성된 빅데이터에서 자연어 처리 기술에 기반하여 의미있는 정보를 추출하는 기술

• 데이터 마이닝 분석 대상은 관계형 데이터베이스, XML 문서와 같은 구조화된 데이터들
• 텍스트 마이닝의 분석 대상은 텍스트 문서, 이메일, HTML 파일 등과 같은 비.반정형의 텍스트 데이터

 

텍스트 데이터 분석 절차

1. 정보 수집 : 비.반정형의 텍스트 데이터를 수집하는 단계
2. 정보 처리 : 대용량의 데이터에서 특정 키워드나 일부 의미있는 요소를 추출하려고 전처리를 하는 단계
3. 정보 추출
   • 수학적인 모델이나 알고리즘을 이용하여 유용한 정보를 추출해냄
   • 텍스트 마이닝을 위한 정보 추출 방법에는 다양한 목적, 조건, 환경 등이 있는데, 이 정보 추출 방법은 텍스트 마이닝에서 가장 중요한 부분 중 하나
   • 특히 정보 추출 방법에는 수많은 수학적 알고리즘과 방법이 있으며, 그 중 간단하면서 가장 강력한 방법인 TF-IDF (Term Frequency-Inverse Document Frequency) 방식을 많이 사용
4. 정보 분석 : 최종 키워드나 의미 있는 요소의 우선순위를 도출하는 단계

---

02. 오피니언 분석 기술

• 빅데이터에 포함된 어떤 사안이나 인물, 이슈, 이벤트에서 사람들의 의견이나 평가 등을 분석하는 것
• 오피니언 마이닝의 3단계
  1. 특징 추출 : 의미 있는 요소, 특징을 추출하는 단계
  2. 의견 분류 : 어떤 의미로 사용되었는지 분석하고 분류하는 단계
  3. 요약 및 전달 : 선호도가 밝혀진 오피니언 정보를 요약하고 사용자에게 전달하는 단계
• 오피니언 분석 기술 절차
  1. 긍정 및 부정을 표현하는 단어 정보 추출
  2. 세부 평가 요소와 그것이 가리키는 오피니언의 연결 관계를 포함한 문장 인식
  3. 긍정/부정 표현의 수 및 유용한 문장을 추출하여 리뷰 요약 생성

---

03. 군집화 ?

데이터 마이닝 기술의 한 방법으로, 주어진 빅데이터에서 데이터들의 특성을 고려하여 군집을 정의하고
군집을 대표할 수 있는 대표점을 찾는 것

 

 

계통도를 통한 군집들의 유사성 확인

• 흡수 과정(Agglomerative) : 아래에서 위로 처리하여 군집을 흡수, n개의 각 군집과 수열의 형태가 연속적인 흡수 군집화 과정으로 처리됨
• 분리 과정(Divisive) : 위에서 아래로 분류하는 과정으로, 하나의 군집에 n개의 샘플이 있으며 연속적인 분리 과정으로 수행

 

분할적 군집화 기술

• k개의 분할 영역을 결정하는 방법
• 유클리디안 거리(Euclidean Distance) 계산법에 기반
• K-means 알고리즘 : 사전에 정한 k개의 군집으로 주어진 데이터를 분류하는 방법

 

K-means 알고리즘 수행 과정

1. 군집의 개수인 k를 결정하고 각 군집에 초기값으로 중심 한 개씩을 할당하여 위치를 설정
2. 각 데이터를 주어진 중심점을 기준으로 가장 가까운 군집에 할당. 중심점과의 거리는 유클리디안 거리 계산 방법을 따름
3. 할당된 데이터를 중심으로 각 군집은 새로운 중심점을 계산
4. 새로운 중심점이 기존의 중심점과 차이가 없으면 2로 되돌아가 반복. 새로운 중심점이 기존의 중심점과 차이가 없으면 알고리즘은 종료

---

04. 그래프 분석 기술?

- 페이스북이나 트위터와 같은 소셜 미디어의 데이터를 표현하는 방법
- 그래프에서 분석 기술을 적용하는 기술, 그래피 분석 기술은 일정 빈도수 이상의 특정 패턴을 모두 찾아내는 방법

 

 

빈발 부분 그래프 분석 기법

• 전체 그래프에서 자주 발생하는 부분  그래프를 발견함
• 그래프 데이터베이스에서 모든 빈발 부분 그래프를 찾는 기법
• 행동 습관, 구매 패턴, 인간관계 유지 패턴 등을 유추하여 중요한 단서를 찾아낼 수 있음