Інтерактивний посібник

Apache Flink: кожна подія — щойно вона сталася

Apache Flink — відкритий рушій для обробки потоків даних. Він не чекає, поки дані накопичаться: кожен платіж, клік чи показ датчика обробляється за мілісекунди після появи. Flink пам’ятає стан між подіями, наприклад «скільки платежів було з цієї картки за хвилину», і не губить його навіть тоді, коли падає сервер.

Apache License 2.0 Java · SQL · Python затримка в мілісекундах стан до терабайтів exactly-once

Уявіть сортувальний центр пошти, де посилки їдуть стрічкою без зупинки, вдень і вночі.

JobManagerДиспетчер

Розставляє станції, стежить, щоб усі працювали, і подає сигнал «фотографуємо журнали».

TaskManagersСортувальні станції

Кожна обробляє свої посилки одразу, як вони під’їхали. Ніхто не чекає кінця дня.

StateЖурнал на станції

Скільки посилок уже пройшло для кожної адреси. Без журналу неможливо помітити, що адресі прийшло підозріло багато.

CheckpointФото всіх журналів

За сигналом кожна станція фотографує свій журнал. Якщо станція згорить, роботу продовжать із фото.

Проблема

Деякі відповіді марні вже за хвилину

Звіт про шахрайський платіж, отриманий наступного ранку, грошей не поверне. Попередження про перегрів турбіни потрібне зараз, а не після нічного батча. Багато даних за природою є потоком: події йдуть безперервно і не мають «кінця файлу».

Flink будує все навколо потоку. Пакетна обробка для нього — окремий випадок: потік, який колись закінчується (bounded stream). Тому той самий код може працювати і над Kafka в реальному часі, і над архівом у S3.

Скільки чекати на результатзадача: помітити підозрілу серію платежів
Нічний батч
платіж→лежить до 02:00→job→звіт
до 24 год
Мікробатчі
платіж→чекає пачку→пачка→алерт
секунди
Apache Flink
платіж→оновити стан→алерт
мілісекунди

Мікробатчі використовує, зокрема, Spark Structured Streaming. Для багатьох задач секунд достатньо, і тоді обидва рушії підходять.

2010

Stratosphere

Дослідницький проєкт берлінських університетів TU Berlin, HU Berlin та інституту HPI.

2014

Apache Flink

Проєкт переходить до Apache і невдовзі стає проєктом верхнього рівня. Flink німецькою — «спритний».

2016 → 2019

1.0 і Blink

1.0 закріпив стан і event time. 2019 року Alibaba купила компанію засновників і влила свій форк Blink: новий SQL-планувальник.

2025

Flink 2.0

Стан у віддаленому сховищі (ForSt), Materialized Tables, прибрано застарілі DataSet API і Scala API.

Як влаштовано

JobManager, TaskManagers і сховище чекпоінтів

Ви описуєте граф обробки: джерела, оператори, приймачі. Flink розкладає його на паралельні копії й запускає на робочих процесах. Джоб працює безперервно, тижнями й місяцями.

Клієнтваш код або SQL
DataStream APIFlink SQL / Table APIPyFlink
надсилає граф джоба (JobGraph)
JobManagerкоординатор
планує оператори по слотахResourceManagerкоординатор чекпоінтівперезапуск після збою
розгортає паралельні копії операторів
TaskManager 1JVM-процес
Source
[0]
Detector
[0]
Detector
[1]
локальний стан: RocksDB / пам’ять
TaskManager 2JVM-процес
Source
[1]
Detector
[2]
Sink
[0]
локальний стан: RocksDB / пам’ять
періодично зберігають знімки стану
Сховище чекпоінтівS3 · HDFS · GCS
checkpoint #41checkpoint #42savepoint перед оновленням

Слот — місце для ланцюжка операторів

TaskManager ділиться на слоти. У слоті працює по одній паралельній копії кожного оператора, тож parallelism = 3 означає три копії детектора. Сусідні оператори без перерозподілу склеюються в один ланцюжок і передають записи без мережі.

Стан живе поруч з обчисленням

Кожна копія оператора тримає стан тільки своїх ключів: у пам’яті або в локальному RocksDB. Звернення до стану не йде мережею, тому воно швидке навіть на терабайтах.

Покроково

Антифрод: потік, стан, збій і відновлення

Банк хоче бачити, коли з однієї картки пройшло 3 платежі за хвилину. Пройдіть кроки: побачите, як події розходяться за ключем, як знімається чекпоінт і чому після падіння сервера алерт не задвоюється.

env.enableCheckpointing(10_000);   // кожні 10 сenv.fromSource(kafka, watermarks, "payments")   .keyBy(p -> p.cardId)   .process(new FraudDetector())  // стан: лічильник   .sinkTo(alertsSink);  // exactly-once
обробкачекпоінтзбійвідновлення

JobManager
keyBy(cardId)
картка Aкартка Bкартка Cправило: 3 платежі за хвилину
Ключова ідея

Час події, watermark і вікна

Телефон без зв’язку надсилає події із запізненням, мережа міняє їх місцями. Якщо рахувати за годинником сервера, платіж о 12:00:05 може потрапити не в ту хвилину. Flink уміє рахувати за часом самої події.

Event time

Час, коли подія сталася: записаний у самій події. Результат не залежить від затримок мережі, і повторна обробка архіву дає ті самі цифри.

Processing time

Час на годиннику сервера в момент обробки. Найменша затримка, але результат залежить від того, коли подія доїхала.

Watermark — це позначка в потоці, яка каже: «подій із часом раніше T уже не буде». Flink рахує її як найбільший побачений час мінус допустиму затримку. Коли watermark переходить кінець вікна, вікно закривається і видає результат.

Лабораторія watermarkвікно [12:00:00 – 12:00:10), у ньому 7 подій

Компроміс: мала затримка дає швидкий результат, але губить запізнілі події. Велика затримка рахує все, але відповідь приходить пізніше. Запізнілі події можна не губити, а прийняти через allowedLateness або відправити в side output.

Три типи віконодні й ті самі 10 подій за хвилину
Надійність

Стан, чекпоінти й exactly-once

Головна сила Flink у тому, що стан — частина рушія. Його не треба тримати в окремій базі, і він переживає збої.

Keyed state

Стан окремо для кожного ключа: ValueState, ListState, MapState. Після keyBy ви працюєте зі станом поточного ключа, як зі звичайною змінною.

Таймери

Оператор може попросити «розбуди мене о 12:15 для цього ключа». Так будують правила на кшталт «оплати не було 15 хвилин — скасувати замовлення».

State TTL

Стан неактивних ключів можна автоматично видаляти. Без TTL стан ростиме з кожним новим користувачем.

CheckpointSavepoint
Хто створюєFlink автоматично, кожні N секундЛюдина або CI вручну: flink savepoint, stop --savepointPath
НавіщоВідновлення після збоюОновлення коду, зміна паралелізму, міграція кластера, версії Flink
ФорматОптимізований, може бути інкрементнимКанонічний, переносний між версіями
Скільки живеСтарі видаляються автоматичноДоки ви не видалите

Exactly-once від джерела до приймача потребує трьох умов: джерело вміє перечитати дані з офсету (Kafka, Kinesis, файли), стан відновлюється з чекпоінта, а приймач або транзакційний (Kafka з двофазним комітом, Iceberg, Paimon), або ідемпотентний (upsert за ключем у базу). Тоді навіть після збою кожна подія вплине на результат рівно один раз.

Модулі

Від низькорівневого API до SQL

Flink SQL і Table API

Стрімінговий SQL: віконні агрегації, join-и потоків, дедуплікація, Top-N. Запити працюють безперервно й оновлюють результат. Найпростіший вхід у Flink.

DataStream API

Java API з повним контролем: стан, таймери, власні вікна, side outputs. Для складної бізнес-логіки.

PyFlink

Table API і DataStream API на Python. Можна викликати Python-функції всередині SQL.

Flink CDC

Читає журнал змін MySQL, PostgreSQL, Oracle, MongoDB і реплікує зміни в Kafka, Paimon, Iceberg чи іншу базу, разом зі змінами схеми.

Конектори

Kafka, Kinesis, Pulsar, файли й S3, JDBC, Elasticsearch, Iceberg, Apache Paimon, ClickHouse та інші.

CEP

Бібліотека пошуку шаблонів у потоці: «вхід з нової країни, потім зміна пароля, потім великий переказ протягом 10 хвилин».

Юзкейси

Де Flink справді на своєму місці

Спільне в усіх сценаріях — події йдуть безперервно, реагувати треба швидко, а для рішення потрібна історія: лічильники, вікна, попередні події.

Антифрод і аномалії

стан

Задача: заблокувати платіж, якщо картка за хвилину використана в трьох країнах.

Чому Flink: стан на кожну картку, рішення за мілісекунди, шаблони через CEP.

Kafka→keyBy(card) + стан→блокування / алерт

CDC і real-time ETL

інтеграція

Задача: щоб сховище аналітиків відставало від продакшн-бази на хвилини, а не на добу.

Чому Flink: Flink CDC читає binlog без навантаження на базу, перетворює дані на льоту і пише з exactly-once.

MySQL binlog→Flink CDC→Paimon / Iceberg

Аналітика в реальному часі

SQL

Задача: дашборд продажів і конверсії з оновленням щосекунди під час розпродажу.

Чому Flink: віконні агрегації в SQL, результат одразу йде в швидке сховище для дашбордів.

clickstream→Flink SQL вікна→ClickHouse / Druid→дашборд

Подієві застосунки

таймери

Задача: вести замовлення як автомат станів: створено, оплачено, відправлено. Скасувати, якщо оплати немає 15 хвилин.

Чому Flink: стан і таймери на кожне замовлення, відновлення після збою без втрат.

події замовлень→стан + таймер→команди сервісам

Ознаки для ML онлайн

ML

Задача: «скільки товарів користувач переглянув за 10 хвилин» має бути свіжим у момент запиту рекомендацій.

Чому Flink: ковзні вікна оновлюють ознаки з кожною подією, а не раз на годину.

події→ковзні вікна→Redis / feature store→модель

Моніторинг IoT і логів

вікна

Задача: телеметрія з 100 тисяч датчиків, тривога, якщо середня температура за 30 секунд вийшла за межу.

Чому Flink: event time коректно рахує дані з пристроїв, які надсилають із затримкою.

MQTT → Kafka→вікна за event time→тривоги

Коли Flink — поганий вибір

Звіт раз на добу

Якщо результат потрібен завтра, звичайний батч на Spark, dbt чи SQL у сховищі простіший в експлуатації.

Просте перекладання повідомлень

Перетворити JSON і покласти в інший топік без стану? Вистачить Kafka Connect, Kafka Streams або звичайного консюмера.

Ad-hoc аналітика по історії

Довільні запити по архіву зручніше робити в Spark, Trino або сховищі даних.

Немає ресурсу на експлуатацію

Стрімінгові джоби працюють 24/7 і потребують моніторингу. Без команди беріть керований сервіс.

Де запускають

локально: bin/start-cluster.shKubernetes + Flink Kubernetes OperatorYARNAmazon Managed Service for Apache FlinkConfluent Cloud for Apache FlinkVervericaAlibaba Cloud Realtime Compute
Вибір

Flink, Spark чи щось простіше?

Оберіть параметри задачі. Це грубе правило: межі залежать від команди і вже наявної інфраструктури.

Тип задачі
Як швидко потрібен результат
Потік подій
Apache FlinkSpark Structured StreamingKafka Streams
Модельподія за подієюмікробатчіподія за подією
Типова затримкамілісекундивід ~100 мс до секундмілісекунди
Станвбудований, RocksDB / ForSt, терабайтиstate store на RocksDBлокальний RocksDB + changelog-топік
Розгортанняокремий кластерокремий кластербібліотека у вашому сервісі
Джерелабудь-якібудь-якілише Kafka
Батчтак, режим BATCHсильна сторонані
SQLFlink SQLSpark SQLні (є окремий ksqlDB)

Про Spark є окремий посібник: Apache Spark простими словами.

Спробувати

Перший потоковий джоб на Python

PyFlink запускає локальний міні-кластер прямо в процесі Python. Потрібні Python і Java 11 або 17. Генератор datagen створює випадкові платежі, тож Kafka для старту не потрібна.

# pip install apache-flink
from pyflink.table import EnvironmentSettings, TableEnvironment

t_env = TableEnvironment.create(EnvironmentSettings.in_streaming_mode())

# Нескінченний потік випадкових платежів: 5 на секунду
t_env.execute_sql("""
CREATE TABLE payments (
    card_id STRING,
    amount  DOUBLE,
    ts      AS LOCALTIMESTAMP,
    WATERMARK FOR ts AS ts - INTERVAL '2' SECOND
) WITH (
    'connector' = 'datagen',
    'rows-per-second' = '5',
    'fields.card_id.length' = '1',
    'fields.amount.min' = '1',
    'fields.amount.max' = '500'
)
""")

# Картки з 3+ платежами за хвилину. Запит не завершується:
# щохвилини, коли закривається вікно, з’являються нові рядки
t_env.execute_sql("""
SELECT window_start, card_id, COUNT(*) AS cnt, ROUND(SUM(amount), 2) AS total
FROM TABLE(TUMBLE(TABLE payments, DESCRIPTOR(ts), INTERVAL '1' MINUTE))
GROUP BY window_start, window_end, card_id
HAVING COUNT(*) >= 3
""").print()

На повноцінному кластері те саме можна виконати в SQL-клієнті bin/sql-client.sh, а за роботою стежити у веб-інтерфейсі на http://localhost:8081: граф джоба, backpressure, чекпоінти.

Для інженерів

Під капотом: backpressure, бар’єри, бекенди стану

Для тих, хто вже запускає джоби і хоче розуміти, чому вони відстають, а чекпоінти не встигають.

Якщо приймач не встигає, Flink не губить дані і не падає з переповненням пам’яті. Буфери між операторами заповнюються, і повільний оператор перестає видавати «кредити» попередньому (credit-based flow control). Тиск іде назад до джерела, а те просто читає Kafka повільніше.

Backpressure — симптом, а не хвороба. Знайдіть у Web UI перший оператор, який позначено як busy, а не backpressured: саме він вузьке місце. Далі збільшуйте його паралелізм, прибирайте синхронні виклики зовнішніх сервісів (для них є Async I/O) або перевіряйте перекіс ключів.

Тест

Перевір себе

Вісім питань від базових до інженерних. Відповідь і пояснення з’являються одразу.

Терміни

Короткий словник

Unbounded / bounded stream
Нескінченний потік (Kafka) і скінченний (файл, архів). Батч для Flink — скінченний потік.
Operator
Крок обробки: map, filter, window, process. Має паралельні копії.
Parallelism
Скільки паралельних копій оператора працює одночасно.
keyBy
Перерозподіл потоку за ключем: усі події ключа йдуть до однієї копії оператора.
Keyed state
Стан, прив’язаний до ключа: лічильник, список, мапа для кожної картки чи користувача.
State backend
Де і як зберігається стан: HashMap, RocksDB, ForSt.
Checkpoint
Автоматичний узгоджений знімок стану всіх операторів і офсетів джерел.
Savepoint
Ручний знімок для оновлень і міграцій.
Barrier
Маркер у потоці, що ділить події на «до» і «після» чекпоінта.
Event time
Час, коли подія сталася, а не коли її обробили.
Watermark
Позначка «подій, старших за T, більше не буде». Закриває вікна.
Window
Скінченний відрізок потоку для агрегації: tumbling, sliding, session.
Backpressure
Сповільнення джерела, коли оператор далі по потоку не встигає.
Task slot
Частка ресурсів TaskManager-а для одного ланцюжка операторів.