🌱 𝐣𝐣𝐢𝐧𝐠𝐥𝐞 𝐝𝐞𝐕𝐥𝐨𝐠

Spark 데이터 처리 원리 고수준 API를 사용하여 사용자가 API를 사용하기만 하면 분산 환경에서 자동으로 고속처리하도록 설계됨 Spark의 고수준 API 활용한 전처리 결측치 처리 특정 열의 결측치 세기 : df.filter(df.col_name.isNull()).count() 결측치가 있는 행 제거 : df.na.drop(how="any").show(truncate=False) 중복데이터 처리 중복데이터 확인 : df.show() 중복데이터 처리 : df.dropDuplicates(['id', 'name']).show() 데이터 정규화 feature가 평균0, 표준편차가 1인 분포를 갖도록 데이터를 정규화 sScaler = StandardScaler().setInputCol("features") ..

RDD(Resilient Distributed Dataset) ? 인메모리 기반 데이터 처리 방식을 하기 위한 데이터 모델 최초에 Disk에서 데이터를 읽어온 뒤, 데이터에 대한 여러 번의 메모리에서 연산(operation)을 수행하도록 연산 함수 제공 RDD 특성 In-memory Computation RDD에서 제공하는 operation은 연산의 중간 결과를 디스크에 저장하지 않고, 메모리상에 상주시킴 Transformations : RDD에서 다른 RDD를 만드는 변형 연산 Actions : RDD의 최종 연산으로 RDD에서 RDD가 아닌 data로 저장 Immutable RDD는 한 번 만들어지면 내용 변형이 허용되지 않음 Lineage RDD의 transformation으로 발생하는 모든 RDD..

Spark ? UC Berkely AMPLab에서 개발한 오픈소스 프로젝트 Disk 기반의 Hadoop 처리 방식을 개선하여 처리 속도를 높임 인메모리 기반의 대용량 데이터를 분산 처리할 수 있는 대용량 고속 처리 엔진 RDD 방식의 인메모리형 자료 구조 제공 배치 처리 및 실시간 처리 모두 지원 SQL 방식의 정형 데이터뿐 아니라 비정형 데이터 처리 모두 지원 Spark 설계 철학 고속처리 Hadoop에서의 디스크 I/O로 발생할 수 있는 성능 지연의 문제점을 개선해 처리 속도를 대폭 높임 통합 데이터 처리 엔진 SQL 데이터, 스트림, 머신러닝, 그래프 등의 데이터를 하나의 통합된 프레임워크에서 처리할 수 있도록 설계 기존 복잡한 프레임워크 연동 문제 개선 결함 허용성 메모리 기반의 데이터 처리를 수..