🌱 𝐣𝐣𝐢𝐧𝐠𝐥𝐞 𝐝𝐞𝐕𝐥𝐨𝐠

Subset selection (부분집합 선택) p개의 predictor 중 response와 관련된 것이라고 생각되는 predictor 식별 식별된 p개 보다 적은 수의 predictor만을 least squares 방법으로 적합 Shrinkage (수축) p개의 predictor로 적합하되 coefficient 추정 값이 0으로 작아짐 정규화(regularization)로도 불림 모델의 variance를 줄이고 변수를 선택하는 효과를 가짐 Dimension Reduction (차원 축소) p개의 predictor를 M차원의 subspace에 투사하는 방법(M < p) M개의 linear combination을 만들어내 선형회귀의 predictor로 사용 비지도 학습 방법의 하나 01. Stepwise..

분류(Classification) ? 주어진 입력의 특징을 사용하여 클래스를 예측하는 작업 지도학습의 일종으로 기존의 존재하는 클래스를 기반으로 모델을 학습하여 새롭게 관측된 데이터의 클래스를 판별 클래스(종류)를 예측하는 작업으로써, 회귀(연속된 값)을 예측하는 것과는 차이가 있음 분류 활용 사례 신용 리스크 예측 : 여러 변수(사용자 정보)를 고려하여 대출 제공 여부 클래스로 판별 뉴스기사 분류 : 알고리즘을 학습시켜 뉴스기사의 주제를 예측 사용자 행위 분류 : 센서에서 데이터를 수집하여 사용자의 활동을 예측 분류 유형 이진 분류(Binary Classification) 입력 데이터를 두 개의 클래스 중 하나의 클래스로 예측 ex. 스팸 메일 판별(스팸 또는 정상), 대출 승인(승인 또는 거절), 고..

Spark 데이터 처리 원리 고수준 API를 사용하여 사용자가 API를 사용하기만 하면 분산 환경에서 자동으로 고속처리하도록 설계됨 Spark의 고수준 API 활용한 전처리 결측치 처리 특정 열의 결측치 세기 : df.filter(df.col_name.isNull()).count() 결측치가 있는 행 제거 : df.na.drop(how="any").show(truncate=False) 중복데이터 처리 중복데이터 확인 : df.show() 중복데이터 처리 : df.dropDuplicates(['id', 'name']).show() 데이터 정규화 feature가 평균0, 표준편차가 1인 분포를 갖도록 데이터를 정규화 sScaler = StandardScaler().setInputCol("features") ..

데이터 전처리 ? 데이터를 분석 및 처리하기에 알맞은 형태로 만드는 과정 데이터 전처리의 품질이 높으면 분석 결과의 정확도도 향상 비교적 시간이 많이 걸리고, 번거로운 작업 데이터 분석 전, 데이터 준비 EDA(Exploratory Data Analysis) 전체적인 데이터 패턴 파악 데이터의 Feature 이해 데이터 전처리(Data Preprocessing) 이상치 발견 이상치 수정 Feature Engineering Feature 선택 Feature 추출 데이터 전처리 과정 -> 데이터 정제(Data Cleansing) 결측치(missing value) 처리 : 비어있는 데이터 제거, 대체 이상치 (outlier) 처리 : 이상치 제거 및 대체 중복(duplicate data) 처리 : 중복 데이터..

01. 분산 처리 기법 활용 기존의 분석 알고리즘을 분산 처리 기법을 활용하여 빅데이터를 고속처리해야함 기존의 알고리즘을 분산 처리 기법에 맞게 변형하여 데이터 분석 MapReduce 방식의 분산처리 기법을 적용한 알고리즘 변형을 할 수 있음 02. 대용량 데이터를 대상으로 한 분석 소셜 네트워크 통계 방안 -> 맵리듀스 맵 함수(Mapper)와 리듀스(Reducer) 함수의 입력과 출력은 모두 순서쌍으로 정의함 employee.txt. 데이터 파일에서 FIRST별로 빈도수가 얼마인지 측정하는 맵리듀스를 프로그래밍 하고자 함 소셜 네트워크 통계 방안 원 데이터를 에지로만 표현 각 맵 함수에서는 나누어진 에지의 순서쌍에서 얻은 값인 목적 노드 ID로 그룹핑함 출력 정보를 다시 순서쌍으로 표현 -> 맵 함수..

빅데이터 분석 기술 ? 기존의 데이터 분석에 더 나아가, 대규모의 데이터를 처리하여 보다 높은 정확성을 확보하는 기술 분산 시스템상에서는 분석 기술을 적용하여, 빅데이터를 분석하는 절차를 거침 기존의 분석 알고리즘을 여러 대의 분산 노드를 활용하여 분산처리하기 위해 기존 알고리즘을 변형하기도 함 하둡, 스파크 등의 분산 처리 시스템에서 여러 분석 알고리즘을 분산 처리해 데이터를 고속으로 처리할 수 있음 다양한 도메인의 데이터를 분석하여 의미 있는 결과를 도출하는 것을 목적으로 함 빅데이터 분석 기술의 종류 분류(Classfication) : 일정한 집단에서 특정한 정의를 이용하여 분류를 추론함 예측(Forecasting) : 방대한 양의 데이터 집합의 패턴을 기반으로 미래를 예측 시계열 분석(Time-S..

파일처리 ? - 파일에 대해 읽기, 쓰기, 편집 등 다양한 기능을 수행하는 것을 의미 - 파일 처리를 위한 클래스는 java.io 패키지에 있으므로, 해당 패키지를 포함해야 함 - 파일 처리를 위해 스트림(Stream)이 필요 파일 처리의 필요성 데이터 관리 : 프로그램 실행 동안 데이터(텍스트, 이미지 등)를 보존하고 유지하는 방법을 제공 로그 관리 : 로그 데이터를 파일에 기록함으로써 모니터링 및 디버깅 하는데 유용하게 활용 리소스 관리 : 서버 등으로부터 원격 데이터를 읽거나 쓰기 위한 방법을 제공하고, 데이터베이스 백업 등에 유용 입출력 스트림 데이터를 읽고 쓰는 데 사용되는 개념으로 스트림이란 데이터의 흐름을 의미함 데이터 전달 방식에 따라 바이트 스트림(byte stream)과 문자 스트림(c..

패키지 (package) ? 기능 별로 관련된 클래스, 인터페이스, 하위 패키지 등을 묶어주는 단위로 폴더(디렉토리)와 유사한 개념이며 이를 통해 캡슐화를 지원함 패키지의 필요성 재사용성 향상 : 기능에 따라 클래스 등을 조직화하기 때문에 원하는 클래스를 찾기 쉽고 재사용성을 높일 수 있음 접근 제어 : 접근 제한자와 패키지를 함께 사용하여 캡슐화를 지원하고 클래스 등의 접근 정도를 제어할 수 있음 충돌 방지 : 패키지는 네임스페이스를 제공하여 클래스 이름의 접두사로 사용되므로 클래스 이름의 충돌 방지 패키지의 유형 사용자 정의 패키지 : 프로그래머가 기능에 따라 클래스와 인터페이스를 분류하기 위해 필요에 따라 생성하는 패키지 내장 패키지 : Java언어에서 사전에 정의하여 프로그래머를 위해 제공하는 패키지

Interface (인터페이스) ? - 하나 이상의 인터페이스 메서드를 포함하고 interface 키워드를 사용하여 선언하며 일반 메서드를 포함할 수 없음 - 인터페이스 메서드는 메서드의 선언만 있고 abstract 키워드를 명시적으로 선언하지 않아도 되며, 실제 구현은 상속 받은 자식 클래스에서 이루어짐 interface Car { public void drive(); } public class ElectricCar implements Car { public void drive() { System.out.println("전기차 주행"); } } 인터페이스의 필요성 인터페이스에서 인터페이스 메서드를 선언하고 자식 클래스에서 용도에 맞게 재정의함으로써 다형성의 기반이 되며 코드 재사용에 도움을 줌 클래스 ..

추상화(abstraction) ? 사용자에게 불필요한 정보를 숨기고 중요한 정보만을 나타냄으로써 핵심에 집중하게 하는 개념 추상화의 필요성 복잡성 개선 : 불필요한 정보를 숨기고 중요한 정보만을 표현함으로써 객체 간의 복잡성을 줄일 수 있음 중복 방지 : 공통적인 코드를 별로도 구현함으로써 코드의 중복을 줄이고 재사용성을 높일 수 있음 보안향상 : 프로그램의 세부 정보를 숨김으로써 코드 보안에 도움이 됨 추상화의 유형 과정 추상화 : 상세 수행 단계 고려 전에 상위 수준에서 수행 흐름만 먼저 설계하는 원리 데이터 추상화 : 데이터 구조를 대표할 수 있는 표현으로 대체하는 설계 원리 제어 추상화 : 제어 흐름을 대표할 수 있는 표현으로 대체하는 설계 원리 추상화 구현 방법 추상 클래스 하나 이상의 추상 메..