Антифрод і аномалії
станЗадача: заблокувати платіж, якщо картка за хвилину використана в трьох країнах.
Чому Flink: стан на кожну картку, рішення за мілісекунди, шаблони через CEP.
Apache Flink — відкритий рушій для обробки потоків даних. Він не чекає, поки дані накопичаться: кожен платіж, клік чи показ датчика обробляється за мілісекунди після появи. Flink пам’ятає стан між подіями, наприклад «скільки платежів було з цієї картки за хвилину», і не губить його навіть тоді, коли падає сервер.
Уявіть сортувальний центр пошти, де посилки їдуть стрічкою без зупинки, вдень і вночі.
Розставляє станції, стежить, щоб усі працювали, і подає сигнал «фотографуємо журнали».
Кожна обробляє свої посилки одразу, як вони під’їхали. Ніхто не чекає кінця дня.
Скільки посилок уже пройшло для кожної адреси. Без журналу неможливо помітити, що адресі прийшло підозріло багато.
За сигналом кожна станція фотографує свій журнал. Якщо станція згорить, роботу продовжать із фото.
Звіт про шахрайський платіж, отриманий наступного ранку, грошей не поверне. Попередження про перегрів турбіни потрібне зараз, а не після нічного батча. Багато даних за природою є потоком: події йдуть безперервно і не мають «кінця файлу».
Flink будує все навколо потоку. Пакетна обробка для нього — окремий випадок: потік, який колись закінчується (bounded stream). Тому той самий код може працювати і над Kafka в реальному часі, і над архівом у S3.
Мікробатчі використовує, зокрема, Spark Structured Streaming. Для багатьох задач секунд достатньо, і тоді обидва рушії підходять.
Дослідницький проєкт берлінських університетів TU Berlin, HU Berlin та інституту HPI.
Проєкт переходить до Apache і невдовзі стає проєктом верхнього рівня. Flink німецькою — «спритний».
1.0 закріпив стан і event time. 2019 року Alibaba купила компанію засновників і влила свій форк Blink: новий SQL-планувальник.
Стан у віддаленому сховищі (ForSt), Materialized Tables, прибрано застарілі DataSet API і Scala API.
Ви описуєте граф обробки: джерела, оператори, приймачі. Flink розкладає його на паралельні копії й запускає на робочих процесах. Джоб працює безперервно, тижнями й місяцями.
TaskManager ділиться на слоти. У слоті працює по одній паралельній копії кожного оператора, тож parallelism = 3 означає три копії детектора. Сусідні оператори без перерозподілу склеюються в один ланцюжок і передають записи без мережі.
Кожна копія оператора тримає стан тільки своїх ключів: у пам’яті або в локальному RocksDB. Звернення до стану не йде мережею, тому воно швидке навіть на терабайтах.
Банк хоче бачити, коли з однієї картки пройшло 3 платежі за хвилину. Пройдіть кроки: побачите, як події розходяться за ключем, як знімається чекпоінт і чому після падіння сервера алерт не задвоюється.
env.enableCheckpointing(10_000); // кожні 10 сenv.fromSource(kafka, watermarks, "payments") .keyBy(p -> p.cardId) .process(new FraudDetector()) // стан: лічильник .sinkTo(alertsSink); // exactly-once
Телефон без зв’язку надсилає події із запізненням, мережа міняє їх місцями. Якщо рахувати за годинником сервера, платіж о 12:00:05 може потрапити не в ту хвилину. Flink уміє рахувати за часом самої події.
Час, коли подія сталася: записаний у самій події. Результат не залежить від затримок мережі, і повторна обробка архіву дає ті самі цифри.
Час на годиннику сервера в момент обробки. Найменша затримка, але результат залежить від того, коли подія доїхала.
Watermark — це позначка в потоці, яка каже: «подій із часом раніше T уже не буде». Flink рахує її як найбільший побачений час мінус допустиму затримку. Коли watermark переходить кінець вікна, вікно закривається і видає результат.
Компроміс: мала затримка дає швидкий результат, але губить запізнілі події. Велика затримка рахує все, але відповідь приходить пізніше. Запізнілі події можна не губити, а прийняти через allowedLateness або відправити в side output.
Головна сила Flink у тому, що стан — частина рушія. Його не треба тримати в окремій базі, і він переживає збої.
Стан окремо для кожного ключа: ValueState, ListState, MapState. Після keyBy ви працюєте зі станом поточного ключа, як зі звичайною змінною.
Оператор може попросити «розбуди мене о 12:15 для цього ключа». Так будують правила на кшталт «оплати не було 15 хвилин — скасувати замовлення».
Стан неактивних ключів можна автоматично видаляти. Без TTL стан ростиме з кожним новим користувачем.
| Checkpoint | Savepoint | |
|---|---|---|
| Хто створює | Flink автоматично, кожні N секунд | Людина або CI вручну: flink savepoint, stop --savepointPath |
| Навіщо | Відновлення після збою | Оновлення коду, зміна паралелізму, міграція кластера, версії Flink |
| Формат | Оптимізований, може бути інкрементним | Канонічний, переносний між версіями |
| Скільки живе | Старі видаляються автоматично | Доки ви не видалите |
Exactly-once від джерела до приймача потребує трьох умов: джерело вміє перечитати дані з офсету (Kafka, Kinesis, файли), стан відновлюється з чекпоінта, а приймач або транзакційний (Kafka з двофазним комітом, Iceberg, Paimon), або ідемпотентний (upsert за ключем у базу). Тоді навіть після збою кожна подія вплине на результат рівно один раз.
Стрімінговий SQL: віконні агрегації, join-и потоків, дедуплікація, Top-N. Запити працюють безперервно й оновлюють результат. Найпростіший вхід у Flink.
Java API з повним контролем: стан, таймери, власні вікна, side outputs. Для складної бізнес-логіки.
Table API і DataStream API на Python. Можна викликати Python-функції всередині SQL.
Читає журнал змін MySQL, PostgreSQL, Oracle, MongoDB і реплікує зміни в Kafka, Paimon, Iceberg чи іншу базу, разом зі змінами схеми.
Kafka, Kinesis, Pulsar, файли й S3, JDBC, Elasticsearch, Iceberg, Apache Paimon, ClickHouse та інші.
Бібліотека пошуку шаблонів у потоці: «вхід з нової країни, потім зміна пароля, потім великий переказ протягом 10 хвилин».
Спільне в усіх сценаріях — події йдуть безперервно, реагувати треба швидко, а для рішення потрібна історія: лічильники, вікна, попередні події.
Задача: заблокувати платіж, якщо картка за хвилину використана в трьох країнах.
Чому Flink: стан на кожну картку, рішення за мілісекунди, шаблони через CEP.
Задача: щоб сховище аналітиків відставало від продакшн-бази на хвилини, а не на добу.
Чому Flink: Flink CDC читає binlog без навантаження на базу, перетворює дані на льоту і пише з exactly-once.
Задача: дашборд продажів і конверсії з оновленням щосекунди під час розпродажу.
Чому Flink: віконні агрегації в SQL, результат одразу йде в швидке сховище для дашбордів.
Задача: вести замовлення як автомат станів: створено, оплачено, відправлено. Скасувати, якщо оплати немає 15 хвилин.
Чому Flink: стан і таймери на кожне замовлення, відновлення після збою без втрат.
Задача: «скільки товарів користувач переглянув за 10 хвилин» має бути свіжим у момент запиту рекомендацій.
Чому Flink: ковзні вікна оновлюють ознаки з кожною подією, а не раз на годину.
Задача: телеметрія з 100 тисяч датчиків, тривога, якщо середня температура за 30 секунд вийшла за межу.
Чому Flink: event time коректно рахує дані з пристроїв, які надсилають із затримкою.
Якщо результат потрібен завтра, звичайний батч на Spark, dbt чи SQL у сховищі простіший в експлуатації.
Перетворити JSON і покласти в інший топік без стану? Вистачить Kafka Connect, Kafka Streams або звичайного консюмера.
Довільні запити по архіву зручніше робити в Spark, Trino або сховищі даних.
Стрімінгові джоби працюють 24/7 і потребують моніторингу. Без команди беріть керований сервіс.
Оберіть параметри задачі. Це грубе правило: межі залежать від команди і вже наявної інфраструктури.
| Apache Flink | Spark Structured Streaming | Kafka Streams | |
|---|---|---|---|
| Модель | подія за подією | мікробатчі | подія за подією |
| Типова затримка | мілісекунди | від ~100 мс до секунд | мілісекунди |
| Стан | вбудований, RocksDB / ForSt, терабайти | state store на RocksDB | локальний RocksDB + changelog-топік |
| Розгортання | окремий кластер | окремий кластер | бібліотека у вашому сервісі |
| Джерела | будь-які | будь-які | лише Kafka |
| Батч | так, режим BATCH | сильна сторона | ні |
| SQL | Flink SQL | Spark SQL | ні (є окремий ksqlDB) |
Про Spark є окремий посібник: Apache Spark простими словами.
PyFlink запускає локальний міні-кластер прямо в процесі Python. Потрібні Python і Java 11 або 17. Генератор datagen створює випадкові платежі, тож Kafka для старту не потрібна.
# pip install apache-flink from pyflink.table import EnvironmentSettings, TableEnvironment t_env = TableEnvironment.create(EnvironmentSettings.in_streaming_mode()) # Нескінченний потік випадкових платежів: 5 на секунду t_env.execute_sql(""" CREATE TABLE payments ( card_id STRING, amount DOUBLE, ts AS LOCALTIMESTAMP, WATERMARK FOR ts AS ts - INTERVAL '2' SECOND ) WITH ( 'connector' = 'datagen', 'rows-per-second' = '5', 'fields.card_id.length' = '1', 'fields.amount.min' = '1', 'fields.amount.max' = '500' ) """) # Картки з 3+ платежами за хвилину. Запит не завершується: # щохвилини, коли закривається вікно, з’являються нові рядки t_env.execute_sql(""" SELECT window_start, card_id, COUNT(*) AS cnt, ROUND(SUM(amount), 2) AS total FROM TABLE(TUMBLE(TABLE payments, DESCRIPTOR(ts), INTERVAL '1' MINUTE)) GROUP BY window_start, window_end, card_id HAVING COUNT(*) >= 3 """).print()
На повноцінному кластері те саме можна виконати в SQL-клієнті bin/sql-client.sh, а за роботою стежити у веб-інтерфейсі на http://localhost:8081: граф джоба, backpressure, чекпоінти.
Для тих, хто вже запускає джоби і хоче розуміти, чому вони відстають, а чекпоінти не встигають.
Якщо приймач не встигає, Flink не губить дані і не падає з переповненням пам’яті. Буфери між операторами заповнюються, і повільний оператор перестає видавати «кредити» попередньому (credit-based flow control). Тиск іде назад до джерела, а те просто читає Kafka повільніше.
Backpressure — симптом, а не хвороба. Знайдіть у Web UI перший оператор, який позначено як busy, а не backpressured: саме він вузьке місце. Далі збільшуйте його паралелізм, прибирайте синхронні виклики зовнішніх сервісів (для них є Async I/O) або перевіряйте перекіс ключів.
JobManager просить джерела вставити в потік бар’єр #N і запам’ятати свої офсети. Бар’єр рухається разом із подіями. Оператор, що отримав бар’єр з усіх входів, асинхронно зберігає стан і передає бар’єр далі. Коли всі приймачі підтвердили, чекпоінт завершено. Це варіант алгоритму Чанді-Лампорта.
У звичайному (aligned) режимі оператор із кількома входами чекає, поки бар’єр прийде з усіх. Під backpressure це затягує чекпоінт на хвилини. Режим unaligned дозволяє бар’єру обганяти буфери, а самі буфери записуються в чекпоінт. Чекпоінт швидший, але більший.
З RocksDB або ForSt зберігаються лише нові файли стану з минулого разу. Для стану на сотні гігабайтів це різниця між секундами і десятками хвилин.
execution.checkpointing.interval, …timeout, …min-pause, …unaligned.enabled, state.backend.incremental. Інтервал — компроміс між часом відновлення і навантаженням.
| Бекенд | Де лежить стан | Плюси | Мінуси |
|---|---|---|---|
| HashMap | Java-об’єкти в heap TaskManager-а | Найшвидший доступ | Обмежений пам’яттю, паузи GC на великому стані, повні чекпоінти |
| RocksDB | Вбудована база на локальному диску | Стан набагато більший за пам’ять, інкрементні чекпоінти | Серіалізація на кожен доступ, потрібні швидкі локальні диски |
| ForSt 2.0 | Основна копія у віддаленому сховищі (S3), локально лише кеш | Швидке масштабування і відновлення: стан не треба копіювати на нові вузли | Новий бекенд, затримка доступу залежить від кешу |
Ключі розкладаються не прямо на копії оператора, а на фіксовану кількість груп ключів, рівну maxParallelism. Під час масштабування між копіями переїжджають цілі групи. Тому maxParallelism визначає верхню межу паралелізму і після запуску його змінювати не можна без втрати стану.
Класичний шлях: зупинити джоб із savepoint і запустити з новим паралелізмом. Adaptive Scheduler і автоскейлер у Flink Kubernetes Operator роблять це автоматично за метриками навантаження.
Якщо один ключ дає половину потоку, його копія оператора стане вузьким місцем, скільки б вузлів не було. Допомагає попередня агрегація у два етапи або додавання випадкового суфікса до ключа.
Оператори з однаковим паралелізмом без перерозподілу між ними об’єднуються в одну таску й передають записи викликом функції. keyBy і зміна паралелізму розривають ланцюжок.
Причина: одна партиція Kafka без подій, і watermark, який береться як мінімум по всіх входах, стоїть на місці.
Що робити: WatermarkStrategy…withIdleness(Duration.ofMinutes(1)).
Причина: ключі з необмеженою кількістю значень (session id, user id) без очищення, join потоків без часових меж.
Що робити: State TTL, інтервальні join-и, table.exec.state.ttl у SQL.
Причина: backpressure затримує бар’єри, повільний запис у S3, величезний повний стан.
Що робити: усунути вузьке місце, unaligned checkpoints, інкрементні чекпоінти.
Причина: класи, які Flink не розпізнав як POJO, серіалізуються через загальний Kryo.
Що робити: POJO з публічним конструктором без аргументів, Avro або явні серіалізатори. pipeline.generic-types: false покаже проблемні типи.
Вісім питань від базових до інженерних. Відповідь і пояснення з’являються одразу.