🌱 𝐣𝐣𝐢𝐧𝐠𝐥𝐞 𝐝𝐞𝐕𝐥𝐨𝐠

비지도 학습(Unsupervised Learning) ? 정답 데이터셋이 없는 데이터를 기반으로 시스템이 스스로 학습할 수 있도록 하는 방법 주로 데이터들의 특징을 기반으로 군집화를 수행 데이터의 차원이 높을수록 데이터에 더 많은 노이즈가 발생하여 군집화에 어려움을 겪음(차원의 저주) k-평균 알고리즘 (k-means) 사전에 정한 k개의 군집으로 주어진 데이터를 분류하는 방법 비지도 학습의 일종으로 레이블이 달려 있지 않은 입력 데이터에 레이블을 달아주는 역할을 수행 각 데이터를 주어진 중심점(Centroid)을 기준으로 가장 가까운 군집에 할당 군집이 형성되면 새롭게 형성된 군집의 중심점(Centroid)을 기준으로 다시 데이터와 중심점 사이의 거리를 측정하여 새로운 군집을 형성 한계 : 구 모양의 ..

회귀(regression) ? 주어진 입력의 특징으로부터 실수(연속형 변수)를 예측하는 행위 데이터 변수들 간에 함수관계를 파악하여 통계적 추론을 하는 기술 입력과 출력을 기반으로 함수를 추정하여, 예측 값과 실제값의 오차를 최소화하는 것이 회귀의 목표 회귀의 유형 단순 선형 회귀(Simple linear regression) : 가장 기본적인 단변량 모델로서, 독립변수가 하나인 회귀 모델 다중 선형 회귀(Multiple linear regression) : 다변량 모델로서, 독립변수가 둘 이상인 회귀 모델 MILib 의 회귀 모델 선형 회귀(Linear Regression) 일반화 선형 회귀(Generalized linear Regression) 선형회귀분석에서 결과변수는 연속적이면서 정규분포를 따르지..

분류(Classification) ? 주어진 입력의 특징을 사용하여 클래스를 예측하는 작업 지도학습의 일종으로 기존의 존재하는 클래스를 기반으로 모델을 학습하여 새롭게 관측된 데이터의 클래스를 판별 클래스(종류)를 예측하는 작업으로써, 회귀(연속된 값)을 예측하는 것과는 차이가 있음 분류 활용 사례 신용 리스크 예측 : 여러 변수(사용자 정보)를 고려하여 대출 제공 여부 클래스로 판별 뉴스기사 분류 : 알고리즘을 학습시켜 뉴스기사의 주제를 예측 사용자 행위 분류 : 센서에서 데이터를 수집하여 사용자의 활동을 예측 분류 유형 이진 분류(Binary Classification) 입력 데이터를 두 개의 클래스 중 하나의 클래스로 예측 ex. 스팸 메일 판별(스팸 또는 정상), 대출 승인(승인 또는 거절), 고..

Spark 데이터 처리 원리 고수준 API를 사용하여 사용자가 API를 사용하기만 하면 분산 환경에서 자동으로 고속처리하도록 설계됨 Spark의 고수준 API 활용한 전처리 결측치 처리 특정 열의 결측치 세기 : df.filter(df.col_name.isNull()).count() 결측치가 있는 행 제거 : df.na.drop(how="any").show(truncate=False) 중복데이터 처리 중복데이터 확인 : df.show() 중복데이터 처리 : df.dropDuplicates(['id', 'name']).show() 데이터 정규화 feature가 평균0, 표준편차가 1인 분포를 갖도록 데이터를 정규화 sScaler = StandardScaler().setInputCol("features") ..

데이터 전처리 ? 데이터를 분석 및 처리하기에 알맞은 형태로 만드는 과정 데이터 전처리의 품질이 높으면 분석 결과의 정확도도 향상 비교적 시간이 많이 걸리고, 번거로운 작업 데이터 분석 전, 데이터 준비 EDA(Exploratory Data Analysis) 전체적인 데이터 패턴 파악 데이터의 Feature 이해 데이터 전처리(Data Preprocessing) 이상치 발견 이상치 수정 Feature Engineering Feature 선택 Feature 추출 데이터 전처리 과정 -> 데이터 정제(Data Cleansing) 결측치(missing value) 처리 : 비어있는 데이터 제거, 대체 이상치 (outlier) 처리 : 이상치 제거 및 대체 중복(duplicate data) 처리 : 중복 데이터..

01. 분산 처리 기법 활용 기존의 분석 알고리즘을 분산 처리 기법을 활용하여 빅데이터를 고속처리해야함 기존의 알고리즘을 분산 처리 기법에 맞게 변형하여 데이터 분석 MapReduce 방식의 분산처리 기법을 적용한 알고리즘 변형을 할 수 있음 02. 대용량 데이터를 대상으로 한 분석 소셜 네트워크 통계 방안 -> 맵리듀스 맵 함수(Mapper)와 리듀스(Reducer) 함수의 입력과 출력은 모두 순서쌍으로 정의함 employee.txt. 데이터 파일에서 FIRST별로 빈도수가 얼마인지 측정하는 맵리듀스를 프로그래밍 하고자 함 소셜 네트워크 통계 방안 원 데이터를 에지로만 표현 각 맵 함수에서는 나누어진 에지의 순서쌍에서 얻은 값인 목적 노드 ID로 그룹핑함 출력 정보를 다시 순서쌍으로 표현 -> 맵 함수..

빅데이터 분석 기술 ? 기존의 데이터 분석에 더 나아가, 대규모의 데이터를 처리하여 보다 높은 정확성을 확보하는 기술 분산 시스템상에서는 분석 기술을 적용하여, 빅데이터를 분석하는 절차를 거침 기존의 분석 알고리즘을 여러 대의 분산 노드를 활용하여 분산처리하기 위해 기존 알고리즘을 변형하기도 함 하둡, 스파크 등의 분산 처리 시스템에서 여러 분석 알고리즘을 분산 처리해 데이터를 고속으로 처리할 수 있음 다양한 도메인의 데이터를 분석하여 의미 있는 결과를 도출하는 것을 목적으로 함 빅데이터 분석 기술의 종류 분류(Classfication) : 일정한 집단에서 특정한 정의를 이용하여 분류를 추론함 예측(Forecasting) : 방대한 양의 데이터 집합의 패턴을 기반으로 미래를 예측 시계열 분석(Time-S..

RDD(Resilient Distributed Dataset) ? 인메모리 기반 데이터 처리 방식을 하기 위한 데이터 모델 최초에 Disk에서 데이터를 읽어온 뒤, 데이터에 대한 여러 번의 메모리에서 연산(operation)을 수행하도록 연산 함수 제공 RDD 특성 In-memory Computation RDD에서 제공하는 operation은 연산의 중간 결과를 디스크에 저장하지 않고, 메모리상에 상주시킴 Transformations : RDD에서 다른 RDD를 만드는 변형 연산 Actions : RDD의 최종 연산으로 RDD에서 RDD가 아닌 data로 저장 Immutable RDD는 한 번 만들어지면 내용 변형이 허용되지 않음 Lineage RDD의 transformation으로 발생하는 모든 RDD..

Spark ? UC Berkely AMPLab에서 개발한 오픈소스 프로젝트 Disk 기반의 Hadoop 처리 방식을 개선하여 처리 속도를 높임 인메모리 기반의 대용량 데이터를 분산 처리할 수 있는 대용량 고속 처리 엔진 RDD 방식의 인메모리형 자료 구조 제공 배치 처리 및 실시간 처리 모두 지원 SQL 방식의 정형 데이터뿐 아니라 비정형 데이터 처리 모두 지원 Spark 설계 철학 고속처리 Hadoop에서의 디스크 I/O로 발생할 수 있는 성능 지연의 문제점을 개선해 처리 속도를 대폭 높임 통합 데이터 처리 엔진 SQL 데이터, 스트림, 머신러닝, 그래프 등의 데이터를 하나의 통합된 프레임워크에서 처리할 수 있도록 설계 기존 복잡한 프레임워크 연동 문제 개선 결함 허용성 메모리 기반의 데이터 처리를 수..

MapReduce ? Hadoop 시스템에서 분산 처리 수행하기 위한 프로그래밍 모델 Map, Reduce의 2개의 phase로 구성 key, value 형태의 자료구조를 기반으로 데이터를 처리하는 메커니즘 Map 단계에서 데이터를 key, value 쌍으로 변환 Reduce 단계에서 key, value로 변환된 데이터를 집계하고 최종 데이터를 결정 MapReduce 동작 순서 Input : 원본 데이터를 준비하는 단계 Split : 원본 데이터를 HDFS로 변환하는 단계 Map : 데이터를 key, value 기반으로 연산하는 단계 Shuffle : key를 기반으로 임의로 흩어졌던 데이터를 hashing하는 단계 Reduce : Map에서 연산된 결과를 key를 기반으로 연산하는 단계 Merge : ..