[BigData] 비지도 학습(Unsupervised Learning)

비지도 학습(Unsupervised Learning) ?

정답 데이터셋이 없는 데이터를 기반으로 시스템이 스스로 학습할 수 있도록 하는 방법

• 주로 데이터들의 특징을 기반으로 군집화를 수행
• 데이터의 차원이 높을수록 데이터에 더 많은 노이즈가 발생하여 군집화에 어려움을 겪음(차원의 저주)

 

k-평균 알고리즘 (k-means)

• 사전에 정한 k개의 군집으로 주어진 데이터를 분류하는 방법
• 비지도 학습의 일종으로 레이블이 달려 있지 않은 입력 데이터에 레이블을 달아주는 역할을 수행
• 각 데이터를 주어진 중심점(Centroid)을 기준으로 가장 가까운 군집에 할당
• 군집이 형성되면 새롭게 형성된 군집의 중심점(Centroid)을 기준으로 다시 데이터와 중심점 사이의 거리를 측정하여 새로운 군집을 형성
• 한계 : 구 모양의 군집만을 분석할 수 있음

 

이분법 k-평균 (Bisecting k-means)

• 하향식 군집화 방법
• 최초에 하나의 군집을 형성한 뒤, 반복을 수행할 때마다 군집을 2개씩 나누어 점차적으로 군집을 늘려나감
• 최초의 단일 그룹 -> 상위 그룹의 개념
• 더 작은 그룹으로 나뉘어진 그룹 -> 하위 그룹의 개념
• k-means는 구 모양의 군집만을 표현할 수 있는 한계가 있는 반면, 이분법 k-평균은 비구모양의 군집화를 할 수 있음
• 사용자가 설정한 반복 횟수만큼 반복하거나, 원하는 k값을 얻을 때 까지 반복

 

가우시안 혼합 모델 (Gaussian Mixture Model)

• Gaussian 분포가 여러 개 혼합된 알고리즘
• 현실에서 존재하는 복잡한 형태의 확률 분포를 k개의 가우시안 분포로 혼합하여 표현하고자 하는 모델
• 전체 데이터의 분포에서 하위 분포가 존재한다고 가정하여 분석
• k는 사용자가 임의로 지정