🌱 𝐣𝐣𝐢𝐧𝐠𝐥𝐞 𝐝𝐞𝐕𝐥𝐨𝐠

준지도학습 (Semi-supervised learning) 머신러닝의 한 종류로 지도학습과 비지도학습의 두 가지를 조합하는 방법 두 방법 중 하나를 이용하여 다른 하나의 성능을 향상시키는 것을 목적으로 함 ex) 분류 : unlabled 데이터를 활용하여 분류 성능 향상 ex) 클러스터링 : 클래스 정보로부터 얻은 정보를 바탕으로 클러스터링 성능 향상 Semi-supervised learning은 분류 문제에 적용되는 경우가 많음 Classifier를 생성하기 위한 labeled 데이터가 충분하지 않은 경우 Labeled 데이터를 얻기 위한 비용이 크거나 어려운 경우 준지도학습 가정사항 Smoothness 가정 두 값 x, x1 이 input space에서 가깝게 있으면 해당하는 y,y1는 같은 labe..

Autoencoder 의 구조 Input과 output의 값이 같아지도록 학습하는 뉴럴네트워크 Autoencoder 의 유용성과 학습방법 output을 input과 완전히 동일하게 복원하는 뉴럴네트워크는 유용하지 않음 => 오히려 완전히 동일하게 복원되지 않도록 학습시키는 것이 중요함 Autoencoder에 제한조건을 두어 input에 근사하게 복원되도록 학습시킴 이를통해, autoencoder가 데이터의 중요한 속성(property)만 학습하도록 함 전통적으로는 autoencoder를 dimension reduction을 위해 사용 압축된 code는 데이터를 저차원에서 표현한 벡터 PCA의 차원 축소와 유사하나 비선형성을 반영할 수 있어 더 유용할 수 있음 Multilayer Neural Network..

클러스터링 (Clustering) 서브그룹(subgroup)이나 클러스터(cluster)로 불리는 비슷한 특성을 가진 그룹을 찾는 일반적인 방법 서로 비슷한(가까운) 데이터들이 같은 그룹(클러스터)에 포함되도록 학습 데이터가 비슷하다 또는 다르다 라는 기준과 개념을 명확히 해야함 이 기준은 애플리케이션과 데이터에 따라 달라짐 Market segmetation 예제 데이터 : 많은 사람에 대한 가계소득, 직업, 최근거리 도시 등의 정보 목표 : 특정한 광고형태 또는 특정상품의 구매에 더 민감한 고객 그룹을 식별해내는 것 클러스터링 방법 K-means clustering : 클러스터의 중심(centroid)을 기준으로 계산하여, 데이터에서 미리 정해진 수만큼의 클러스터를 찾는 방법 Hierarchical c..

지도 학습 Y(output)가 존재 : dependent variable, response, target, label X(input)가 존재 : independent variable, predictor, feature Regression(회귀) 문제에서는 Y는 연속 값 : 제품 판매량, 야구선수의 연봉 등 Classification(분류) 문제에서는 Y는 단속적인 값 : spam/email, 붓꽃 종류 등 N개의 training data로 학습 기본사항 본적이 없는(학습에 사용하지 않았던) test data의 output을 정확히 예측(prediction) 어떤 input이 output에 어떻게 영향을 미쳤는지 이해하고 분석(inference) 모델을 평가해보고 반복과정을 거쳐 성능을 향상시킴 비지도 학..

비지도 학습(Unsupervised Learning) ? 정답 데이터셋이 없는 데이터를 기반으로 시스템이 스스로 학습할 수 있도록 하는 방법 주로 데이터들의 특징을 기반으로 군집화를 수행 데이터의 차원이 높을수록 데이터에 더 많은 노이즈가 발생하여 군집화에 어려움을 겪음(차원의 저주) k-평균 알고리즘 (k-means) 사전에 정한 k개의 군집으로 주어진 데이터를 분류하는 방법 비지도 학습의 일종으로 레이블이 달려 있지 않은 입력 데이터에 레이블을 달아주는 역할을 수행 각 데이터를 주어진 중심점(Centroid)을 기준으로 가장 가까운 군집에 할당 군집이 형성되면 새롭게 형성된 군집의 중심점(Centroid)을 기준으로 다시 데이터와 중심점 사이의 거리를 측정하여 새로운 군집을 형성 한계 : 구 모양의 ..

회귀(regression) ? 주어진 입력의 특징으로부터 실수(연속형 변수)를 예측하는 행위 데이터 변수들 간에 함수관계를 파악하여 통계적 추론을 하는 기술 입력과 출력을 기반으로 함수를 추정하여, 예측 값과 실제값의 오차를 최소화하는 것이 회귀의 목표 회귀의 유형 단순 선형 회귀(Simple linear regression) : 가장 기본적인 단변량 모델로서, 독립변수가 하나인 회귀 모델 다중 선형 회귀(Multiple linear regression) : 다변량 모델로서, 독립변수가 둘 이상인 회귀 모델 MILib 의 회귀 모델 선형 회귀(Linear Regression) 일반화 선형 회귀(Generalized linear Regression) 선형회귀분석에서 결과변수는 연속적이면서 정규분포를 따르지..

Binary Classification(two-class classfication) 직관적인 분류 방법 Feature space에서 공간을 둘로 나누는(separate) 평면(plane)을 찾음 만약 그러한 평면을 찾을 수 없다면 공간을 구분(seperate)한다는 개념을 느슨하게 적용 구분이 가능하도록 feature space를 확장 (추가적인 feature 생성) Maximal Margin Classfier 모든 separating hyperplane 가운데 두 class간의 margin을 가장 크게 하는 separating hyperplane이 존재함 이 hyperplane을 이용하는 classfier를 Maximal Margin Classfier라고 함 Support Vector Classfier..

Bagging(Bootstrap aggregation) 머신러닝 방법의 변동성(variance)을 줄이기 위한 일반적인 방법으로 decision tree 방법에 특히 유용하여 많이 적용됨 -> 여러 개의 독립적인 데이터셋을 확보하는 것이 어려워 bootstrap 방법 사용 OOB(Out-of-Bag Error Estimation) Bagging 방법에서는 아주 직관적인 test error 추정 방법이 존재 Bootstrap은 중복을 허용하므로 하나의 bootstrap training data에서 평균적으로 본래(original) 데이터의 2/3가 샘플링됨 나머지 적합에 사용되지 않은 1/3의 데이터를 OOB(out-of-bag)으로 명명 i번째 데이터가 OOB인 경우의 decision tree에서 i번째..

트리 기반 방법(tree-based methods) Predictor 공간(space) -> 여러 개의 단순하고 작은 공간으로 계층화(stratify), 나누는(segment) 방법 => Predictor 공간을 나누기 위해 사용되는 분할 규칙이, 마치 나무가 가지를 치는 것과 유사하여 decision tree 방법 장점 : 단순해서 해석하기 쉬움 단점 : Decision tree 방법은 보통 다른 지도학습 방법보다 성능이 좋지 못함 => 대안으로 여러 개의 트리를 만들어 예측성능을 높이는 방식인 bagging, random forests, boosting 방법을 사용 (단, 이 방법은 해석력이 떨어짐) Internal node(내부 노드) : 기준으로 비교하여 좌우로 나눔 Terminal node(터미..

Subset selection (부분집합 선택) p개의 predictor 중 response와 관련된 것이라고 생각되는 predictor 식별 식별된 p개 보다 적은 수의 predictor만을 least squares 방법으로 적합 Shrinkage (수축) p개의 predictor로 적합하되 coefficient 추정 값이 0으로 작아짐 정규화(regularization)로도 불림 모델의 variance를 줄이고 변수를 선택하는 효과를 가짐 Dimension Reduction (차원 축소) p개의 predictor를 M차원의 subspace에 투사하는 방법(M < p) M개의 linear combination을 만들어내 선형회귀의 predictor로 사용 비지도 학습 방법의 하나 01. Stepwise..