[Machine Learning] Subset selection과 최적 모델 선정

1. Subset selection (부분집합 선택)
   • p개의 predictor 중 response와 관련된 것이라고 생각되는 predictor 식별
   • 식별된 p개 보다 적은 수의 predictor만을 least squares 방법으로 적합
2. Shrinkage (수축)
   • p개의 predictor로 적합하되 coefficient 추정 값이 0으로 작아짐
   • 정규화(regularization)로도 불림
   • 모델의 variance를 줄이고 변수를 선택하는 효과를 가짐
3. Dimension Reduction (차원 축소)
   • p개의 predictor를 M차원의 subspace에 투사하는 방법(M < p)
   • M개의 linear combination을 만들어내 선형회귀의 predictor로 사용
   • 비지도 학습 방법의 하나

---

01. Stepwise selection

• Best subset은 계산량이 많아 p가 매우 클 경우 문제가 됨 -> 2 p제곱 개의 조합 존재
• p가 클 경우 통계적인 문제를 가질 수도 있음
  • Search space(검색 영역)이 넓을 경우(다양한 predictor의 조합), training data에 과적합되는 모델을 찾을 확률이 높아짐
• 계산량과 과적합 문제에 대한 대안으로 stepwise 방법을 사용
  • stepwise 방법은 best subset보다 훨씬 적은 수의 모델을 탐색

 

02. Forward stepwise selection

• predictor가 없는 모델에서 시작하여 모든 predictor가 모델에 사용될 때까지 한번에 하나씩 predictor를 추가하는 방법
• 계산량 측면에서  best subset 대비 장점이 있음 -> 그러나, best subset으로 찾은 best 모델을 forward stepwise selection으로 찾는다는 보장은 없음

 

03. Backward stepwise selection

• 모든 predictor가 포함된 모델에서 시작하여 가장 유용하지 않은 predictor를 한번에 하나씩 제거하는 방법