[BigData] 대용량 분류

분류(Classification) ?

주어진 입력의 특징을 사용하여 클래스를 예측하는 작업

• 지도학습의 일종으로 기존의 존재하는 클래스를 기반으로 모델을 학습하여 새롭게 관측된 데이터의 클래스를 판별
• 클래스(종류)를 예측하는 작업으로써, 회귀(연속된 값)을 예측하는 것과는 차이가 있음

 

분류 활용 사례

1. 신용 리스크 예측 : 여러 변수(사용자 정보)를 고려하여 대출 제공 여부 클래스로 판별
2. 뉴스기사 분류 : 알고리즘을 학습시켜 뉴스기사의 주제를 예측
3. 사용자 행위 분류 : 센서에서 데이터를 수집하여 사용자의 활동을 예측

 

분류  유형

• 이진 분류(Binary Classification)
  • 입력 데이터를 두 개의 클래스 중 하나의 클래스로 예측
  • ex. 스팸 메일 판별(스팸 또는 정상), 대출 승인(승인 또는 거절), 고객 이탈 예측(이탈 또는 잔류)
• 다중 클래스 분류(Multi-Class Classification)
  • 입력 데이터를  세 개 이상의 클래스 중 하나의 클래스로 예측
  • ex. 날씨 예측, 동물 분류, 손 글씨 분류
• 다중 레이블 분류(Multi-Label Classification)
  • 입력 데이터를  세 개 이상의 클래스 중 여러 클래스로 예측
  • ex. 영화 장르 분류

 

분류  모델

• 의사결정트리(Decision Tree)
  • 인간이 자주 활용하는 단순한 의사결정 모형과 유사
  • 의사결정 규칙을 트리구조로 도표화하여 분류나 예측을 수행하는 분석 기법
• 랜덤 포레스트(Random Forest)
  • 의사 결정 트리의 과적합 위험을 줄이기 위한 확장 모델
  • 예측 모델들의 예측을 투표나 평균을 이용해 예측 정확성을 향상
  • 다수의 나무를 기반으로 예측하기 때문에, 하나의 나무 오류에서 발생하는 영향력을 줄여 전체 예측 정확성을 높임
  • 여러 학습 모델을 혼합하여 전체 결과를 도출하는 앙상블 학습법의 일종
• 그래디언트 부스티드 트리(Gradient Boosted Tree)
  • 랜덤 포레스트와 마찬가지로 여러 개의 의사결정트리를 사용하여 전체 결과를 도출하는 앙상블 방식의 모델
  • 그래디언트 부스팅은 오류 데이터에 가중치를 부여하면서 부스팅을 수행