[BigData] Spark 활용한 데이터 전 처리

Spark  데이터 처리 원리

• 고수준 API를 사용하여 사용자가 API를 사용하기만 하면 분산 환경에서 자동으로 고속처리하도록 설계됨

 

 

Spark의 고수준 API 활용한 전처리

1. 결측치 처리
   • 특정 열의 결측치 세기 : df.filter(df.col_name.isNull()).count()
   • 결측치가 있는 행 제거 : df.na.drop(how="any").show(truncate=False)
2. 중복데이터 처리
   • 중복데이터 확인 : df.show()
   • 중복데이터 처리 : df.dropDuplicates(['id', 'name']).show()
3. 데이터 정규화
   
   • feature가 평균0, 표준편차가 1인 분포를 갖도록 데이터를 정규화
     • sScaler = StandardScaler().setInputCol("features")
     • sScaler.fit(scaleDF).transform(scaleDF).show()
4. Feature Engineering
   • 주성분 분석(PCA)를 통한 Feature의 차원 축소
     • pca = PCA().setInputCol("features").setK(2)
     • pca.fit(scaleDF).transform(scaleDF).show(20, False)