Інтерактивний посібник

Apache Spark: одна програма, сотні комп’ютерів

Apache Spark — відкритий рушій для обробки великих обсягів даних. Ви пишете звичайний код на Python або SQL, а Spark сам ділить дані на шматки, роздає їх багатьом машинам, рахує паралельно і збирає результат. Для вас це виглядає як робота з однією таблицею.

Apache License 2.0 Python · SQL · Scala · Java від ноутбука до тисяч вузлів батч + стрімінг + ML

Найпростіше уявити Spark як велику кухню, яка готує банкет на тисячу гостей. Один кухар не встигне, тож роботу ділять.

DriverШеф-кухар

Читає замовлення (ваш код), складає план і роздає завдання. Сам не нарізає овочі.

ExecutorsКухарі на станціях

Кожен працює зі своєю порцією продуктів одночасно з іншими.

PartitionsПорції продуктів

Великий мішок картоплі ділять на ящики, щоб кожен кухар мав свій.

ShuffleПередача між станціями

Коли соуси треба зібрати в одного кухаря, продукти носять кухнею. Це найдорожча операція.

Проблема

Дані більші за один комп’ютер

Ноутбук має 16–32 ГБ оперативної пам’яті. Журнал подій великого сайту за рік займає десятки терабайт. Такий файл не вміститься ні в пам’ять, ні часто на диск однієї машини, а читати його послідовно довелося б днями.

Рішення — розподілена обробка: розкласти дані по багатьох машинах і рахувати всюди одночасно. До Spark стандартом був Hadoop MapReduce. Він працював, але після кожного кроку записував проміжний результат на диск. Spark тримає проміжні дані в пам’яті й склеює кілька кроків в один прохід.

Алгоритм із трьох кроківітеративні задачі, як-от навчання моделі, повторюють кроки десятки разів
Hadoop MapReduce
HDFS→крок 1→диск→крок 2→диск→крок 3→HDFS
I/O × 4
Apache Spark
S3 / HDFS→крок 1→RAM→крок 2→RAM→крок 3→S3 / HDFS
I/O × 2

На ітеративних задачах різниця сягає десятків разів. На простому «прочитав-порахував-записав» виграш скромніший: там вузьке місце — читання з диска і мережа.

2009

Народження

Дослідницький проєкт AMPLab в UC Berkeley, автор — Матей Захарія.

2014

Apache top-level

Spark став проєктом верхнього рівня Apache і швидко витіснив MapReduce.

2016 → 2020

DataFrame і AQE

2.0 приніс SparkSession і Structured Streaming, 3.0 — адаптивне виконання запитів.

2025

Spark 4.0

ANSI SQL за замовчуванням, Spark Connect як клієнт-серверний режим, тип VARIANT для JSON.

Як влаштовано

Driver, cluster manager і executors

Будь-який Spark-застосунок складається з одного координатора і багатьох робочих процесів. Між ними стоїть менеджер кластера, який видає ресурси.

Driverваша програма, точка входу SparkSession
будує план (DAG)Catalyst-оптимізаторDAG Scheduler → стадіїTask Scheduler → таски
запит ресурсів
Cluster managerвиділяє CPU і пам’ять
KubernetesYARNStandalonelocal[*] на ноутбуці
запускає executors · driver роздає їм таски
Executor 1вузол A
tasktasktasktask
4 ядра = 4 таски одночасно · кеш у пам’яті
Executor 2вузол B
tasktasktasktask
читає свої партиції з S3 / HDFS
Executor Nвузол …
tasktasktasktask
обмінюється даними під час shuffle

Driver думає, executors рахують

Driver не обробляє дані сам. Якщо викликати df.collect() на мільярді рядків, усе поїде в пам’ять driver-а, і він упаде з OutOfMemoryError. Для перегляду беріть show() або take(20).

Executor — окремий процес JVM

Живе весь час роботи застосунку, тримає кеш і виконує таски. Одне ядро executor-а = одна таска одночасно. 10 executors × 4 ядра = 40 паралельних тасок.

Покроково

Що відбувається з вашим запитом

Інтернет-магазин хоче знати суму оплачених замовлень по містах. Дані лежать у трьох партиціях на трьох executors. Пройдіть кроки й подивіться, як рухаються рядки.

orders = spark.read.parquet("s3://shop/orders/")paid = orders.filter(col("status") == "paid")by_city = paid.groupBy("city").agg(sum("amount"))by_city.show()   # дія (action)
планStage 0shuffleStage 1результат

Driver
мережа між вузлами
КиївЛьвівОдесасуми в гривнях
Ключові ідеї

Трансформації, дії та стадії

Трансформації ліниві

filter, select, groupBy, join нічого не рахують. Вони лише дописують крок у план. Тому Spark бачить запит цілком і може його оптимізувати: викинути зайві колонки, перенести фільтр до читання файлу.

Дії запускають роботу

show, count, collect, write — дії. Кожна дія створює job. Якщо результат потрібен кілька разів, зробіть df.cache(), інакше план виконається заново.

Application

Ваша програма з одним SparkSession. Живе, доки працює driver.

Job

З’являється на кожну дію. show() у прикладі вище — один job.

Stage

Частина job-а, яку можна виконати без обміну даними між вузлами. Межа стадій — shuffle.

Task

Одна стадія над однією партицією на одному ядрі. 200 партицій = 200 тасок.

ТипЩо відбуваєтьсяПрикладиВартість
Вузька (narrow)Кожна партиція обробляється на місці, без мережі. Кілька таких кроків склеюються в один прохід.filter select withColumn unionдешево
Широка (wide)Рядки з однаковим ключем треба звести разом, тож дані пишуться на диск і йдуть мережею (shuffle).groupBy join distinct orderBy repartitionдорого
Модулі

Один рушій, кілька способів ним користуватися

Усі модулі працюють на одному ядрі та одних DataFrame, тож стрімінг, SQL і ML можна змішувати в одній програмі.

Spark SQL і DataFrame

Основа сучасного Spark. Таблиці з колонками, SQL-запити, оптимізатор Catalyst. Читає Parquet, ORC, JSON, CSV, JDBC, Delta Lake, Iceberg.

Structured Streaming

Потік подій як нескінченна таблиця. Ті самі DataFrame-операції, обробка мікробатчами із затримкою від долі секунди до секунд. Джерела: Kafka, Kinesis, файли.

MLlib

Розподілені алгоритми й пайплайни: підготовка ознак, регресія, класифікація, кластеризація, рекомендації.

pandas API on Spark

import pyspark.pandas as ps — знайомий синтаксис pandas, що працює на кластері.

Spark Connect

Тонкий клієнт підключається до віддаленого кластера через gRPC. Зручно з IDE, ноутбуків і власних сервісів.

GraphX

Старий графовий модуль на RDD, нових функцій майже не отримує. Для графів частіше беруть GraphFrames або окрему графову БД.

Юзкейси

Де Spark справді на своєму місці

Спільне в усіх сценаріях — даних забагато для однієї машини, а обробка має бути надійною й повторюваною.

ETL та Data Lakehouse

батч

Задача: щоночі забрати сирі логи, CDC з баз і вивантаження партнерів, почистити, дедуплікувати та скласти в таблиці для аналітиків.

Чому Spark: терабайти за ніч, паралельне читання з об’єктного сховища, перезапуск упалих тасок без перезапуску всього.

S3 raw JSON→Spark job→Bronze→Silver→Gold

Антифрод у реальному часі

стрімінг

Задача: помітити, що з однієї картки за 5 хвилин пройшло 10 платежів у різних країнах.

Чому Spark: віконні агрегації з watermark, стан між мікробатчами, exactly-once запис завдяки чекпоінтам.

Kafka→Structured Streaming→вікно 5 хв→алерти

Ознаки для машинного навчання

ML

Задача: для кожного з 50 млн клієнтів порахувати 300 ознак поведінки за пів року для моделі скорингу чи рекомендацій.

Чому Spark: віконні функції та join-и на всьому масиві. Саму модель потім часто навчають у XGBoost або PyTorch.

Lakehouse→Spark features→Feature Store→навчання

Аналіз логів і розслідування

SQL

Задача: знайти сліди атаки серед мільярдів записів веб-серверів за три місяці.

Чому Spark: SQL по сирих файлах без попереднього завантаження в базу, інтерактивно в ноутбуці.

access logs→Spark SQL→ноутбук / дашборд

Міграції та перерахунки

батч

Задача: змінилась формула метрики — перерахувати історію за 5 років або перенести сховище в новий формат.

Чому Spark: задача разова, але велика. Кластер піднімається на годину й вимикається.

старе сховище→Spark backfill→Iceberg / Delta

Наука і геодані

батч

Задача: обробити геномні послідовності, супутникові знімки чи телеметрію мільйонів пристроїв.

Чому Spark: обчислення легко ділиться на незалежні шматки, а бібліотеки на кшталт Apache Sedona додають гео-функції.

сирі файли→Spark + бібліотеки→агрегати

Коли Spark — поганий вибір

Даних кілька гігабайт

pandas, Polars або DuckDB на ноутбуці зроблять те саме швидше. Spark додасть секунди на запуск і складність кластера.

Транзакції застосунку

Spark не база даних: він не оновлює окремий рядок за мілісекунди. Для цього PostgreSQL чи MySQL.

Відповідь потрібна за мілісекунди

Мікробатчі дають секунди. Для мілісекунд беруть Apache Flink, Kafka Streams або кеш.

Дашборд із сотнями дрібних запитів

Сховища на кшталт ClickHouse, BigQuery, Snowflake чи Trino відповідають швидше. Spark готує для них дані.

Де запускають

pip install pyspark (локально)DatabricksAWS EMR · GlueGoogle DataprocAzure Databricks · FabricKubernetes (spark-submit / оператор)
Перевірка

Чи потрібен Spark саме вам?

Оберіть параметри задачі. Це грубе правило, а не закон: межі залежать від заліза та команди.

Обсяг даних
Тип задачі
Як швидко потрібен результат
Спробувати

Перша програма за 5 хвилин

Spark працює й на ноутбуці: режим local[*] використовує всі ядра процесора як executors. Потрібні Python і Java 17+.

# pip install pyspark
from pyspark.sql import SparkSession
from pyspark.sql import functions as F

spark = SparkSession.builder.master("local[*]").appName("hello").getOrCreate()

orders = spark.createDataFrame(
    [("Київ", 120, "paid"), ("Львів", 80, "paid"), ("Київ", 50, "cancelled")],
    ["city", "amount", "status"],
)

result = (orders
    .filter(F.col("status") == "paid")          # трансформація: нічого не рахує
    .groupBy("city")
    .agg(F.sum("amount").alias("total")))

result.explain()   # показати фізичний план
result.show()      # дія: тут Spark нарешті рахує

# Те саме на SQL
orders.createOrReplaceTempView("orders")
spark.sql("SELECT city, SUM(amount) AS total FROM orders WHERE status = 'paid' GROUP BY city").show()

Поки програма працює, відкрийте http://localhost:4040 — це Spark UI з job-ами, стадіями, тасками й часом кожної.

Для інженерів

Під капотом: оптимізатор, пам’ять, перекіс даних

Цей розділ для тих, хто вже пише Spark-джоби і хоче розуміти, чому вони повільні або падають.

Catalyst перетворює SQL або DataFrame-код на фізичний план за чотири етапи. Подивіться, як змінюється план для запиту нижче. Його ж показує df.explain(True).

SELECT user_id, SUM(amount) AS total
FROM transactions
WHERE status = 'COMPLETED'
GROUP BY user_id


        
Тест

Перевір себе

Вісім питань від базових до інженерних. Відповідь і пояснення з’являються одразу.

Терміни

Короткий словник

Partition
Шматок даних, який обробляє одна таска. Від кількості партицій залежить паралелізм.
DataFrame
Розподілена таблиця з іменованими колонками і схемою. Основний API.
RDD
Низькорівнева розподілена колекція об’єктів. Основа Spark, але оптимізатор її не бачить.
Transformation
Лінива операція, що описує новий DataFrame: filter, select, join.
Action
Операція, яка запускає обчислення і повертає або записує результат.
DAG
Граф кроків обчислення без циклів. Driver ділить його на стадії.
Shuffle
Перерозподіл даних між вузлами за ключем. Межа між стадіями.
Catalyst
Оптимізатор запитів: переписує логічний план і обирає фізичний.
Tungsten
Рушій виконання: компактний бінарний формат рядків і генерація байткоду для цілої стадії.
Lakehouse
Таблиці у форматі Delta Lake або Iceberg поверх файлів у S3: транзакції й версії як у базі.
Watermark
У стрімінгу — скільки чекати запізнілі події, перш ніж закрити вікно.
Checkpoint
Збережені офсети і стан стрімінгу, щоб після падіння продовжити з того самого місця.