[BigData] Spark(스파크)

Spark ?

UC Berkely AMPLab에서 개발한 오픈소스 프로젝트

• Disk 기반의 Hadoop 처리 방식을 개선하여 처리 속도를 높임
• 인메모리 기반의 대용량 데이터를 분산 처리할 수 있는 대용량 고속 처리 엔진
• RDD 방식의 인메모리형 자료 구조 제공
• 배치 처리 및 실시간 처리 모두 지원
• SQL 방식의 정형 데이터뿐 아니라 비정형 데이터 처리 모두 지원

 

Spark 설계 철학

고속처리 : 인메모리형 자료구조

1. 고속처리
   • Hadoop에서의 디스크 I/O로 발생할 수 있는 성능 지연의 문제점을 개선해 처리 속도를 대폭 높임
2. 통합 데이터 처리 엔진
   • SQL 데이터, 스트림, 머신러닝, 그래프 등의 데이터를 하나의 통합된 프레임워크에서 처리할 수 있도록 설계
   • 기존 복잡한 프레임워크 연동 문제 개선
3. 결함 허용성
   • 메모리 기반의 데이터 처리를 수행하더라도 결함 발생 시 데이터가 복구 가능하도록 설계
   • 데이터의 변환 이력이 추적 되도록 설계함으로써, 처리 데이터의 복구가 가능

 

Spark 구조

Master/Worker 구조의 분산 시스템

• Spark application  (스파크에서 수행할 전체 작업으로 Job이라고 부름)
  • Driver 
    • 애플리케이션의 라이프사이클을 관리하기 위해  Spark Context를 생성
    • Job을 Task로 변환하여 Task 를 하위 노드에 할당
  • Executor
    • 각 노드에서 할당 받은 작업을  Task 단위로 수행하고 결과를  Driver에 전송
  • Task
    • 나누어진 작업 단위
    • 실제로 작업을 수행

 

• Cluster Manager
  • YARN : 하둡 클러스터 매니저
  • MESOS : 동적 리소스 공유 및 격리를 사용하여 여러 소스의 워크로드를 처리
  • StandardAlone : Spark 자체적으로 제공하는 클러스터 매니저

 

Spark Application 수행 과정

1. 사용자가 Spark Application을 제출(spark-submit)
2. Spark Driver가 main()을 실행하며, Spark Context를 생성
3. Spark Context가 Cluster Manager와 연결
4. Spark Driver가 유저가 요청한 리소스를 Cluster Manager로 요청