[BigData] Spark 데이터 처리, RDD

RDD(Resilient Distributed Dataset) ?

인메모리 기반 데이터 처리 방식을 하기 위한 데이터 모델
최초에 Disk에서 데이터를 읽어온 뒤, 데이터에 대한 여러 번의 메모리에서 연산(operation)을 수행하도록 연산 함수 제공

 

 

RDD 특성

1. In-memory Computation
   • RDD에서 제공하는 operation은 연산의 중간 결과를 디스크에 저장하지 않고, 메모리상에 상주시킴
   • Transformations : RDD에서 다른 RDD를 만드는 변형 연산
   • Actions : RDD의 최종 연산으로 RDD에서 RDD가 아닌 data로 저장
2. Immutable
   
   • RDD는 한 번 만들어지면 내용 변형이 허용되지 않음
3. Lineage
   • RDD의 transformation으로 발생하는 모든 RDD는 lineage에 기록되어 RDD 이력이 저장됨
   • 메모리 연산의 특성상 연산 과정 중 발생하는 fault로 인해 연산 결과가 유실되는 것을 방지함
   • 연산 중 fault가 발생하면 저장해놓은 lineage를 복구하여 연산을 계속적으로 이어나감
   • lineage는 spark driver에 저장함
4. Lazy-Execution
   • RDD는 action이 수행되기 전까지 실제로 연산을 수행하지 않다가 action operation을 만나면 실제 연산을 수행
   • RDD lineage를 확인하여 전체 연산을 미리 고려한 후 최적화된 작업 분산이 가능