ETL та Data Lakehouse
батч
Задача: щоночі забрати сирі логи, CDC з баз і вивантаження партнерів, почистити, дедуплікувати та скласти в таблиці для аналітиків.
Чому Spark: терабайти за ніч, паралельне читання з об’єктного сховища, перезапуск упалих тасок без перезапуску всього.
S3 raw JSON→Spark job→Bronze→Silver→Gold
Антифрод у реальному часі
стрімінг
Задача: помітити, що з однієї картки за 5 хвилин пройшло 10 платежів у різних країнах.
Чому Spark: віконні агрегації з watermark, стан між мікробатчами, exactly-once запис завдяки чекпоінтам.
Kafka→Structured Streaming→вікно 5 хв→алерти
Ознаки для машинного навчання
ML
Задача: для кожного з 50 млн клієнтів порахувати 300 ознак поведінки за пів року для моделі скорингу чи рекомендацій.
Чому Spark: віконні функції та join-и на всьому масиві. Саму модель потім часто навчають у XGBoost або PyTorch.
Lakehouse→Spark features→Feature Store→навчання
Аналіз логів і розслідування
SQL
Задача: знайти сліди атаки серед мільярдів записів веб-серверів за три місяці.
Чому Spark: SQL по сирих файлах без попереднього завантаження в базу, інтерактивно в ноутбуці.
access logs→Spark SQL→ноутбук / дашборд
Міграції та перерахунки
батч
Задача: змінилась формула метрики — перерахувати історію за 5 років або перенести сховище в новий формат.
Чому Spark: задача разова, але велика. Кластер піднімається на годину й вимикається.
старе сховище→Spark backfill→Iceberg / Delta
Наука і геодані
батч
Задача: обробити геномні послідовності, супутникові знімки чи телеметрію мільйонів пристроїв.
Чому Spark: обчислення легко ділиться на незалежні шматки, а бібліотеки на кшталт Apache Sedona додають гео-функції.
сирі файли→Spark + бібліотеки→агрегати
Даних кілька гігабайтpandas, Polars або DuckDB на ноутбуці зроблять те саме швидше. Spark додасть секунди на запуск і складність кластера.
Транзакції застосункуSpark не база даних: він не оновлює окремий рядок за мілісекунди. Для цього PostgreSQL чи MySQL.
Відповідь потрібна за мілісекундиМікробатчі дають секунди. Для мілісекунд беруть Apache Flink, Kafka Streams або кеш.
Дашборд із сотнями дрібних запитівСховища на кшталт ClickHouse, BigQuery, Snowflake чи Trino відповідають швидше. Spark готує для них дані.