[Machine Learning] 준지도학습 (Semi-supervised learning)

준지도학습 (Semi-supervised learning)

• 머신러닝의 한 종류로 지도학습과 비지도학습의 두 가지를 조합하는 방법
• 두 방법 중 하나를 이용하여 다른 하나의 성능을 향상시키는 것을 목적으로 함
  • ex) 분류 : unlabled 데이터를 활용하여 분류 성능 향상
  • ex) 클러스터링 : 클래스 정보로부터 얻은 정보를 바탕으로 클러스터링 성능 향상
• Semi-supervised learning은 분류 문제에 적용되는 경우가 많음
  • Classifier를 생성하기 위한 labeled 데이터가 충분하지 않은 경우
  • Labeled 데이터를 얻기 위한 비용이 크거나 어려운 경우

 

준지도학습 가정사항

1. 1. Smoothness  가정
      • 두 값 x, x1 이 input space에서 가깝게 있으면 해당하는 y,y1는 같은 label을 가짐
   2. Low-density 가정
      • Decision boundary는 데이터의 밀도가 낮은(low-density) 지역을 지남
      • 만약 밀도가 높은 지역에 decision boundary가 존재한다면 서로 가까이 있는 데이터들이 서로 다른 label로 예측될 수 있기 때문에 smoothness  가정을 위반
   3. Manifold 가정
      • 머신러닝 문제에서 고차원의 데이터는 보통 저차원의 substructure에 집중되어 있음
      • 이 substruncture를 manifold 라고 칭함
      • 준지도학습에서 input space는 수개의 manifold로 구성되어 있고, 같은 manifold에 있는 데이터는 같은 label을 가진다고 가정함

 

준지도학습의 종류

• Inductive(귀납적) 방법
  • 지도학습처럼 모델을 만들고 예측하는 방법
  • Unlabeled 데이터는 모델을 만드는 과정에서 성능을 높이는데 쓰임
• Transductive(변환적) 방법
  • 모델을 만들고 예측하는 것이 아닌 데이터의 연결성에 기반한 방법
  • ex) 데이터의 관계성을 그래프로 정의하면 비슷한 데이터가 근접하여 연결됨

 

준지도학습의 예제

• Wrapper method
  
  • Labeled 데이터를 이용하여 여러 개의 지도학습 모델을 만들고 이 모델을 이용하여 unlabeled  데이터의 label을 예측(pseudo-labeled 데이터)
  • Pseudo-labeled 데이터까지 포함하여 새로운 지도학습 모델을 만드는 과정을 반복
• Unsupervised pre-processing
  • Unlabeled 데이터로부터 새로운 feature를 만들어내는 방법
  • PCA나 autoencoder를 이용하여 unlabeled 데이터로부터 새로운 feature를 만들고 이를 지도학습 모델 만드는데 활용