[BigData] 데이터 전처리

데이터 전처리 ?

데이터를 분석 및 처리하기에 알맞은 형태로 만드는 과정

• 데이터 전처리의 품질이 높으면 분석 결과의 정확도도 향상
• 비교적 시간이 많이 걸리고, 번거로운 작업

 

데이터 분석 전, 데이터 준비 

1. EDA(Exploratory Data Analysis)
   • 전체적인 데이터 패턴 파악
   • 데이터의 Feature 이해
2. 데이터 전처리(Data Preprocessing)
   • 이상치 발견
   • 이상치 수정
3. Feature Engineering
   • Feature 선택
   • Feature 추출

 

데이터 전처리 과정 -> 데이터 정제(Data Cleansing)

• 결측치(missing value) 처리 : 비어있는 데이터 제거, 대체
• 이상치 (outlier) 처리 : 이상치 제거 및 대체
• 중복(duplicate data) 처리 : 중복 데이터 제거
• 모순, 불일치(inconsistent value) 처리 : 불일치 데이터를 하나의 형식으로 일치
• Feature Engineering 
  • 분석 알고리즘을 작동하기 위해 데이터에 대한 도메인 지식을 활용하여 특징(Feature)을 만들어내는 과정
  • 분석 모델을 위한 데이터 테이블의 컬럼(특징)을 생성하거나 선택하는 작업을 의미함
  • = > 특징 선택 + 특징 추출