[Machine Learning] SVM (Support Vector Machines)

Binary  Classification(two-class classfication)

• 직관적인 분류 방법
  • Feature space에서 공간을 둘로 나누는(separate) 평면(plane)을 찾음
• 만약 그러한 평면을 찾을 수 없다면
  • 공간을 구분(seperate)한다는 개념을 느슨하게 적용
  • 구분이 가능하도록 feature space를 확장 (추가적인 feature 생성)

 

Maximal  Margin  Classfier

• 모든 separating hyperplane 가운데 두 class간의 margin을 가장 크게 하는 separating hyperplane이 존재함
• 이 hyperplane을 이용하는 classfier를 Maximal Margin Classfier라고 함

 

Support  Vector  Classfier

• Soft margin
  • 모든 데이터를 완벽히 구분해내는 margin이 아닌 일부 training data에 대해서는 잘못된 클래스 구분을 허용하는 (soft)margin
• Support Vector Classfier(Soft margin classifier)
  • Soft margin을 이용하여 일부 training data의 잘못된 구분을 허용하는 classifier

 

 

Support  Vector  Machines

• Kernel
  • Inner product를 일반화된 형식으로 대체
  • kernel이라고 부르는 두 벡터 간의 유사성(similarity)를 정량화
• Support Vector Machines
  • Non-linear kernel을 이용하는 Support Vector Classifier