🌱 𝐣𝐣𝐢𝐧𝐠𝐥𝐞 𝐝𝐞𝐕𝐥𝐨𝐠

분류(Classification) ? 주어진 입력의 특징을 사용하여 클래스를 예측하는 작업 지도학습의 일종으로 기존의 존재하는 클래스를 기반으로 모델을 학습하여 새롭게 관측된 데이터의 클래스를 판별 클래스(종류)를 예측하는 작업으로써, 회귀(연속된 값)을 예측하는 것과는 차이가 있음 분류 활용 사례 신용 리스크 예측 : 여러 변수(사용자 정보)를 고려하여 대출 제공 여부 클래스로 판별 뉴스기사 분류 : 알고리즘을 학습시켜 뉴스기사의 주제를 예측 사용자 행위 분류 : 센서에서 데이터를 수집하여 사용자의 활동을 예측 분류 유형 이진 분류(Binary Classification) 입력 데이터를 두 개의 클래스 중 하나의 클래스로 예측 ex. 스팸 메일 판별(스팸 또는 정상), 대출 승인(승인 또는 거절), 고..

Spark 데이터 처리 원리 고수준 API를 사용하여 사용자가 API를 사용하기만 하면 분산 환경에서 자동으로 고속처리하도록 설계됨 Spark의 고수준 API 활용한 전처리 결측치 처리 특정 열의 결측치 세기 : df.filter(df.col_name.isNull()).count() 결측치가 있는 행 제거 : df.na.drop(how="any").show(truncate=False) 중복데이터 처리 중복데이터 확인 : df.show() 중복데이터 처리 : df.dropDuplicates(['id', 'name']).show() 데이터 정규화 feature가 평균0, 표준편차가 1인 분포를 갖도록 데이터를 정규화 sScaler = StandardScaler().setInputCol("features") ..

데이터 전처리 ? 데이터를 분석 및 처리하기에 알맞은 형태로 만드는 과정 데이터 전처리의 품질이 높으면 분석 결과의 정확도도 향상 비교적 시간이 많이 걸리고, 번거로운 작업 데이터 분석 전, 데이터 준비 EDA(Exploratory Data Analysis) 전체적인 데이터 패턴 파악 데이터의 Feature 이해 데이터 전처리(Data Preprocessing) 이상치 발견 이상치 수정 Feature Engineering Feature 선택 Feature 추출 데이터 전처리 과정 -> 데이터 정제(Data Cleansing) 결측치(missing value) 처리 : 비어있는 데이터 제거, 대체 이상치 (outlier) 처리 : 이상치 제거 및 대체 중복(duplicate data) 처리 : 중복 데이터..

01. 분산 처리 기법 활용 기존의 분석 알고리즘을 분산 처리 기법을 활용하여 빅데이터를 고속처리해야함 기존의 알고리즘을 분산 처리 기법에 맞게 변형하여 데이터 분석 MapReduce 방식의 분산처리 기법을 적용한 알고리즘 변형을 할 수 있음 02. 대용량 데이터를 대상으로 한 분석 소셜 네트워크 통계 방안 -> 맵리듀스 맵 함수(Mapper)와 리듀스(Reducer) 함수의 입력과 출력은 모두 순서쌍으로 정의함 employee.txt. 데이터 파일에서 FIRST별로 빈도수가 얼마인지 측정하는 맵리듀스를 프로그래밍 하고자 함 소셜 네트워크 통계 방안 원 데이터를 에지로만 표현 각 맵 함수에서는 나누어진 에지의 순서쌍에서 얻은 값인 목적 노드 ID로 그룹핑함 출력 정보를 다시 순서쌍으로 표현 -> 맵 함수..

빅데이터 분석 기술 ? 기존의 데이터 분석에 더 나아가, 대규모의 데이터를 처리하여 보다 높은 정확성을 확보하는 기술 분산 시스템상에서는 분석 기술을 적용하여, 빅데이터를 분석하는 절차를 거침 기존의 분석 알고리즘을 여러 대의 분산 노드를 활용하여 분산처리하기 위해 기존 알고리즘을 변형하기도 함 하둡, 스파크 등의 분산 처리 시스템에서 여러 분석 알고리즘을 분산 처리해 데이터를 고속으로 처리할 수 있음 다양한 도메인의 데이터를 분석하여 의미 있는 결과를 도출하는 것을 목적으로 함 빅데이터 분석 기술의 종류 분류(Classfication) : 일정한 집단에서 특정한 정의를 이용하여 분류를 추론함 예측(Forecasting) : 방대한 양의 데이터 집합의 패턴을 기반으로 미래를 예측 시계열 분석(Time-S..

RDD(Resilient Distributed Dataset) ? 인메모리 기반 데이터 처리 방식을 하기 위한 데이터 모델 최초에 Disk에서 데이터를 읽어온 뒤, 데이터에 대한 여러 번의 메모리에서 연산(operation)을 수행하도록 연산 함수 제공 RDD 특성 In-memory Computation RDD에서 제공하는 operation은 연산의 중간 결과를 디스크에 저장하지 않고, 메모리상에 상주시킴 Transformations : RDD에서 다른 RDD를 만드는 변형 연산 Actions : RDD의 최종 연산으로 RDD에서 RDD가 아닌 data로 저장 Immutable RDD는 한 번 만들어지면 내용 변형이 허용되지 않음 Lineage RDD의 transformation으로 발생하는 모든 RDD..

Spark ? UC Berkely AMPLab에서 개발한 오픈소스 프로젝트 Disk 기반의 Hadoop 처리 방식을 개선하여 처리 속도를 높임 인메모리 기반의 대용량 데이터를 분산 처리할 수 있는 대용량 고속 처리 엔진 RDD 방식의 인메모리형 자료 구조 제공 배치 처리 및 실시간 처리 모두 지원 SQL 방식의 정형 데이터뿐 아니라 비정형 데이터 처리 모두 지원 Spark 설계 철학 고속처리 Hadoop에서의 디스크 I/O로 발생할 수 있는 성능 지연의 문제점을 개선해 처리 속도를 대폭 높임 통합 데이터 처리 엔진 SQL 데이터, 스트림, 머신러닝, 그래프 등의 데이터를 하나의 통합된 프레임워크에서 처리할 수 있도록 설계 기존 복잡한 프레임워크 연동 문제 개선 결함 허용성 메모리 기반의 데이터 처리를 수..

MapReduce ? Hadoop 시스템에서 분산 처리 수행하기 위한 프로그래밍 모델 Map, Reduce의 2개의 phase로 구성 key, value 형태의 자료구조를 기반으로 데이터를 처리하는 메커니즘 Map 단계에서 데이터를 key, value 쌍으로 변환 Reduce 단계에서 key, value로 변환된 데이터를 집계하고 최종 데이터를 결정 MapReduce 동작 순서 Input : 원본 데이터를 준비하는 단계 Split : 원본 데이터를 HDFS로 변환하는 단계 Map : 데이터를 key, value 기반으로 연산하는 단계 Shuffle : key를 기반으로 임의로 흩어졌던 데이터를 hashing하는 단계 Reduce : Map에서 연산된 결과를 key를 기반으로 연산하는 단계 Merge : ..

Hadoop ? 대용량 데이터를 분산 처리할 수 있는 JAVA 기반의 오픈소스 프레임워크 분산파일(HDFS)와 분산 처리 프로그래밍 모델(MapReduce)을 제공 데이터를 미리 HDFS 형태로 잘게 쪼개어 저장시켜 놓은 뒤, MapReduce를 이용해 분산 처리 Hadoop을 이용하면 다수의 컴퓨팅 노드를 마치 하나의 컴퓨터에서 사용하는 것처럼 분산시스템을 사용 가능 배치 처리에 최적화되어 설계됨 Hadoop 의 설계 철학 Fault tolerance (결함 허용성) 시스템 수행 중 결함이 발생하더라도, 결함을 극복하고 계속적으로 데이터를 처리할 수 있도록 설계 데이터를 여러 곳에 복제해놓아 특정 노드에 손상이 발생하더라도 작업을 계속적으로 이어나갈 수 있음 Scalability (확장성) 노드를 확장..

HDFS (Hadoop File System) GFS를 모델로 설계 물리적 시스템의 실패를 소프트웨어 레벨에서 해결하여, 시스템의 가용성을 높이는 분산 파일 시스템 HDFS의 특징 컴퓨터 네트워크를 사용해 다수의 노드에 걸쳐 많은 양의 데이터를 저장 데이터의 장애 허용을 위해 중복 허용 기본적으로 데이터를 3개 복제해 복사본을 둠 3개의 블록은 서로 다른 노드에 복제 페타바이트 이상의 대용량 데이터 세트를 다룰 수 있음 -> 수평적 확장 구조로 설계 데이터를 기본 128MB의 블록으로 나눔 HDFS의 아키텍쳐 네임노드 (파일 시스템 관리) 파일 시스템에 속하는 파일 계층 구조나, 각 파일의 블록 위치를 메타데이터로 유지 데이터 파일에 대한 사용자 접속 관리 블록 데이터를 클러스터의 데이터노드에 맵핑 데이..