SPARK 이론

Apache Spark

• Spark MapReduce 형태의 클러스터 컴퓨팅 패러다임의 한계를 극복하고자 등장
• MapReduce
  • Disk로부터 데이터를 읽은 후 Map을 통해 흩어져 있는 데이터를 Key-Value 형태로 연관성 있는 데이터끼리 묶은 후에, Reduce를 하여 중복된 데이터를 제거하고, 원하는 데이터로 가공하여 다시 Disk에 저장
• 하지만 파일 기반의 Disk I/O는 성능이 좋지 못했고, In-memory의 연산을 통해 처리 성능 향상을 위해 Spark가 등장하였음.
• Apache Spark는 오픈소스이며, 범용적인 목적을 지닌 분산 클러스터 컴퓨팅 프레임워크
  • Fault Tolerance & Data Parallelism을 가지고 클러스터들을 프로그래밍
• RDD, Data Frame, Set의 3가지 API를 제공
  • 이러한 데이터를 바탕으로 In-memory 연산이 가능하며, 디스크 기반의 Hadoop에 비해 성능을 약 100배 정도 증가

 

• 우리가 실습을 하면, 실제로는 빠르지 않음. 우리가 현재 사용하고 있는 환경은 가상환경, 노드당 메모리가 2GB 되질 않음, CPU, RAM, 등등 모든 것이 다 가상환경에서 이루어지기 때문에 우리 실습은 느리다(실제로 Spark는 빠르다고 함)
• Spark는 Cluster들을 관리하는 Cluster Manager와 데이터를 분산 저장하는 Distributed Storage System이 필요
• Cluster Manager
  • Spark Standalone, Hadoop의 YARN, Apache Mesos
• Distributed Storage System
  • HDFS, MapR-FS, Cassandra, OpenStack Swift, Amazon S3, Kudu, custom solution 등
• 가장 많이 사용되는 Storage System는 Hadoop
  • zlib and Bzip2와 같은 압축 알고리즘을 지원하며, Spark와 같은 머신에서 구동가능하기 때문

 

Cluster Manager

• Standalone
  • Spark에 포함된 기본 리소스 매니저
• Yarn (Hadoop)
  • Hadoop에 포함된 리소스 매니저
• Mesos
  • Hadoop Mapreduce에 동작하는 매니저
  • 현재 지원이 중단되어 사용하지 않는 것을 추천
• Kubernetes
  • 가상화된 분산 컨테이너로 동작하는 매니저

PYSPARK는 SPARK 보다 성능은 떨어지지만 병렬처리가 가능하며 python 코드로 짤 수 있기에 더 많이 쓰인다.

• scala 프로그래밍 언어 기반의 Spark가 기능적으로 더 우수하다. 내부적으로 JVM 객체를 생성하기 때문에 호환성 측면에서 Scala가 좀 더 접근이 용이하다.
• 다만 활용성 측면에서 PYSPARK는 python에서 제공하는 Numpy, Pandas, SciKit Learn 등의 라이브러리가 사용 가능 하다는 장점이 있다.

Spark 데이터 구조

• Spark에서 데이터 구조는 RDD(Resilent Distributed Dataset), DataFrame, Dataset으로 구분

Spark RDD

• RDD는 Resilient Distribted Data의 약어로 탄력 있는 분산된 데이터를 뜻함
• RDD는 내결함성(Fault Tolerance) 기능을 가진 변경할 수 없는 객체의 분산된 컬렉션
• 좌측과 같이 Python에서 List 형태로 데이터가 있다면, Spark에서는 RDD라는 분할된 Dataset으로 나누고, 나눈 Dataset을 파티션이라 부름.

Spark Dataframe

• 현재는 RDD보다 Dataframe이 많이 사용된다.
• RDD는 스키마(데이터 구조)가 없기 때문에 구조화된 데이터를 처리 및 가공하기 위해선 테이블 형태로 표현하여 "행"과 "열"로 조작하는 게 편리함
• Dataframe으로 데이터를 구조화하고, 데이터의 타입을 정의하면, Spark SQL과 같은 기능을 통해 쉽게 데이터를 처리하고, 조작할 수 있음
• csv, txt, json 등 다양한 데이터를 읽어 올 수 있기 때문에 Spark에서 가장 많이 사용하는 자료구조 형태이다.

Spark Dataset

• DataFrame과 Dataset을 합쳐서 Dataset이라고 부르게 되었다.
• DataFrame은 Dataset [Row]로 표현이 되어 유형이 지정되지 않는 RDD의 모음으로 untyped API로 표현됨
• Spark Dataset는 DataFrame에서 확장된 형태로 typed API를 활용하여 컴파일 에러에 대응할 수 있음
  • 프로그램에 오류가 있을 때(잘못된 필드명을 사용, int 타입에 String 연산 등) 프로그램을 실행하기 이전에 컴파일을 할 때 오류가 발생
• Dataset은 JVM 객체를 통해 동작하기 땜누에 Scala Spark에서만 지원하고, PySpark에서는 지원하지 않음.