[Machine Learning] 트리 기반 방법 (Decision trees)

트리 기반 방법(tree-based methods)

Predictor 공간(space) -> 여러 개의 단순하고 작은 공간으로 계층화(stratify), 나누는(segment) 방법
=> Predictor 공간을 나누기 위해 사용되는 분할 규칙이, 마치 나무가 가지를 치는 것과 유사하여 decision tree 방법

 

• 장점 : 단순해서 해석하기 쉬움
• 단점 : Decision tree 방법은 보통 다른 지도학습 방법보다 성능이 좋지 못함
• => 대안으로 여러 개의 트리를 만들어 예측성능을 높이는 방식인  bagging, random forests, boosting 방법을 사용
• (단, 이 방법은 해석력이 떨어짐)

 

• Internal node(내부 노드) : 기준으로 비교하여 좌우로 나눔
• Terminal node(터미널 노드) 또는 leaf(잎)의 숫자 : 해당 공간에 포함된 response의 평균값

 

트리 생성 과정

• Predictor space를 J개의 겹치지 않는 공간으로 구분
• 각각의 데이터는 R 중 하나의 공간에 떨어지며 같은 공간에 있는 데이터들은 모두 같은 예측값을 가짐 (해당 공간의 training data의 response의 평균)
• 트리 생성 목표 : RSS를 최소화하는 box를 찾는 것
• Predictor space를 J개의 box로 구분하는 모든 경우의 수를 고려하는 것은 실행 불가능함 -> 따라서 greedy(현시점에서 가장 큰 이득을 주는 것을 선택)한 접근방식인 recursive binary splitting(반복적으로 2개의 공간으로 구분) 방법 사용
• 마치 나뭇가지처럼 위에서 아래로(top-down) 트리의 공간을 계속해서 분할하여 매번 새로운 공간 생성
• 매번 공간을 구분할 때마다 현시점에서 최적의 분할법을 선택하므로 greedy한 방법이라고 불림
• 중단 규칙을 만족할 때까지 공간 분할 반복 수행

 

트리 과적합(overfitting) 방지

• J가 클(트리가 깊은) 경우 : 과적합 될 수 있음
• J가 작을 경우 : 작으면 variance가 낮고 해석력이 좋아짐(단, bias는 커짐)
• 대안 : 트리 생성 과정에서 트리가 너무 깊어지지 않도록 조절
• 단점 : 이 대안은 근시안적인 방법으로 향후 있을 큰 RSS의 감소를 만드는 공간 분할을 사전에 차단할 수 있음

 

Pruning a tree (트리 가지치기)

• 과적합을 막기 위한 더 좋은 방법은 큰 트리를 생성하고, 트리를 pruning 하여 부분 트리(subtree)를 만드는 것

 

Classification tree

• Regression tree와 같은 방법으로 생성하되 한 공간(region)에 가장 많이 포함되어 있는 training data의 클래스(class)로 예측
• RSS 대신 classfication error rate를 사용
• 단, classfication error rate는 트리 생성에 사용될 수 있는 만큼 민감하지 않아 다른 2가지 기준이 더 많이 사용됨

 

트리의 장단점

• 장점
  • 설명하기 쉬움(분기가 단순할 경우 선형회귀보다 더 직관적임)
  • Decision tree 가 사람의 의사결정 방법과 유사하다는 믿음이 있음
  • 그림으로 설명할 수 있어 비전문가도 이해하기 쉬움
  • Dummy variable 생성 없이 질적변수를 사용할 수 있음
• 단점
  
  • 일반적으로 다른 머신러닝 방법에 비해 성능이 낮음

=> 그러나, 여러 개의 decision tree를 생성하여 합치는(aggregating) 방법을 통해서 성능을 크게 향상시킬 수 있음