Інтерактивний посібник

Apache Pinot: аналітика за мілісекунди, навіть коли питають мільйони

Apache Pinot — відкрита розподілена аналітична база даних реального часу. Вона забирає події з Kafka за секунди після появи і відповідає на запити на кшталт «скільки замовлень у мого ресторану сьогодні по годинах» за десятки мілісекунд. І таких запитів можуть бути тисячі за секунду, від усіх користувачів застосунку одночасно.

Apache License 2.0 SQL свіжість: секунди затримка: десятки мс тисячі запитів/с

Уявіть величезний склад, куди безперервно привозять коробки, а сотні покупців водночас питають довідку.

BrokerДовідкове віконце

Приймає питання, знає, на яких полицях що лежить, і розсилає помічників тільки туди, де є відповідь.

ServersВідділи складу

Кожен відділ шукає у своїх коробках паралельно з іншими і повертає короткий підсумок.

SegmentsКоробки з даними

Дані запаковано по днях і по колонках. На кожній коробці наклейка «що всередині», тож зайві коробки навіть не відкривають.

IndexesПокажчики й готові підсумки

Картотека «ресторан 42 → рядки 3, 17, 58» і таблички з уже порахованими сумами. Замість перебору мільйона рядків читають кілька.

Проблема

Аналітика не для аналітиків, а для всіх користувачів

Класичне сховище даних (Snowflake, BigQuery, Redshift) чудово відповідає на питання десятка аналітиків: запит за кілька секунд, кілька запитів одночасно. Але коли той самий дашборд вбудовано в застосунок, його відкривають тисячі власників ресторанів, продавців чи рекламодавців одночасно. Кожен чекає відповіді миттєво, і всі хочуть бачити дані за останню хвилину, а не за вчора.

Pinot створили в LinkedIn саме для цього: функція «Хто переглядав ваш профіль» мала щосекунди відповідати мільйонам користувачів, кожному про його власні дані.

Той самий запит у різних системах«замовлення мого ресторану за сьогодні»
Продакшн-база (OLTP)
агрегація→сканує таблицю замовлень→гальмує застосунок
ризиковано
Сховище даних
нічний ETL→запит→черга з тисяч запитів
секунди, дані вчорашні
Apache Pinot
Kafka за секунди→запит→індекс + готові підсумки
~10–100 мс, дані свіжі
2014

LinkedIn

Pinot створюють для аналітики, яку бачать користувачі: перегляди профілю, статистика публікацій, реклама.

2015 → 2018

Відкритий код

Код відкрито в 2015 році, у 2018-му проєкт переходить до Apache Incubator. Його підхоплює Uber та інші компанії.

2021

Apache top-level

Pinot стає проєктом верхнього рівня Apache. Автори засновують компанію StarTree з керованим Pinot.

2023

Pinot 1.0

Багатоетапний рушій запитів з join-ами, покращені upsert-и і стабільний формат сегментів.

Як влаштовано

Controller, broker, servers і minion

Ролі розділено, і кожну можна масштабувати окремо: більше запитів — більше broker-ів, більше даних — більше server-ів.

Ваш застосунокдашборд, API, сервіс
SQL через HTTPJDBCклієнти Python / Java / Go
SQL-запит
Brokerприймає запити, розсилає і збирає
таблиця маршрутизаціївідсікання сегментівscatter-gatherзлиття результатів
підзапити лише до потрібних сегментів
Server · real-timeспоживає Kafka
orders__live ●orders__15жовт_0
кожен server сам читає свої партиції топіка
Server · offlineісторичні сегменти
orders__13жовтorders__14жовтorders__вер
сегменти з батч-завантаження або від minion
метадані, призначення сегментів · копії сегментів
Controllerкерує кластером
схеми й таблицірозподіл сегментівApache Helix + ZooKeeper
Minionфонові задачі
злиття дрібних сегментівreal-time → offlineвидалення даних
Deep storeS3 · GCS · HDFS
резервні копії сегментіввідновлення server-ів

Сегмент — одиниця всього

Таблиця розрізана на сегменти по сотні мегабайт. Усередині дані зберігаються по колонках, стиснуті словником, разом з індексами і метаданими: мінімальний і максимальний час, діапазони значень. Готовий сегмент незмінний, тому його легко копіювати й кешувати.

Real-time без проміжного ETL

Server напряму читає партиції Kafka і складає події у сегмент, що споживається. Запити бачать його вже через секунди. Коли сегмент досягає ліміту, його запечатують, копіюють у deep store і починають новий.

Покроково

Дашборд ресторану: шлях одного запиту

Власник ресторану №42 відкриває застосунок доставки і бачить статистику замовлень за сьогодні. Такий запит Pinot отримує тисячі разів за секунду від різних ресторанів. Пройдіть кроки.

SELECT status, COUNT(*) AS ordersFROM ordersWHERE restaurant_id = 42  AND order_date = '2026-10-15'GROUP BY status
маршрутизаціяscatterна server-ахgatherсвіжість

Застосунок ресторану №42
Broker
мережа
Головний секрет швидкості

Індекси: прочитати якомога менше

Швидкість Pinot береться не з потужного заліза, а з того, що більшість даних не читається взагалі. Для кожної колонки можна обрати індекс під тип запиту.

Inverted

Для кожного значення — бітова мапа рядків, де воно трапляється. restaurant_id = 42 одразу дає список рядків.

Sorted

Сегмент відсортовано за однією колонкою, і потрібні рядки лежать суцільним шматком. Найкомпактніший варіант, але така колонка в таблиці лише одна.

Range

Для умов «більше-менше»: amount BETWEEN 100 AND 500, діапазони часу.

Star-tree

Заздалегідь пораховані агрегати для комбінацій вимірів. Фірмова фішка Pinot. Детальніше в розділі «Поглиблено».

Text і JSON

Повнотекстовий пошук на Lucene і пошук усередині JSON-полів без їх розбору під час запиту.

Bloom filter і geo

Bloom-фільтр швидко відкидає сегменти без потрібного значення, гео-індекс H3 шукає точки поруч.

Лабораторія індексівсегмент на 10 млн рядків · оцінки орієнтовні

Модель даних

Real-time, offline і hybrid таблиці

REALTIME

Дані йдуть потоком з Kafka, Kinesis чи Pulsar. Доступні для запитів за секунди.

OFFLINE

Сегменти будуються з файлів у S3 чи HDFS батч-джобом (Spark, minion) і завантажуються в кластер.

HYBRID

Обидві частини під одним ім’ям. Broker сам ділить запит за часовою межею: старі дні з offline, останні години з real-time.

Схема: виміри, метрики, час

Колонки поділено на виміри (місто, статус, платформа), метрики (сума, кількість) і колонку часу. Від цього залежать індекси, зберігання і відсікання сегментів за датою.

Upsert і дедуплікація

Real-time таблиця може тримати лише останню версію запису за первинним ключем: статус замовлення змінюється з «готується» на «доставлено», а в запитах видно тільки поточний стан. Так у Pinot приходять CDC-потоки з баз даних.

Юзкейси

Де Pinot справді на своєму місці

Спільна формула: багато запитів одночасно, кожен — агрегація з фільтрами, дані мають бути свіжими, відповідь потрібна за мілісекунди.

Аналітика всередині продукту

user-facing

Задача: кожен продавець маркетплейсу бачить продажі, перегляди й конверсію своїх товарів за останню годину.

Чому Pinot: сотні тисяч користувачів, кожен фільтрує за своїм id, а inverted і star-tree індекси роблять такі запити дешевими.

Kafka→Pinot real-time→API→кабінет продавця

Операційні дашборди

реальний час

Задача: служба доставки бачить замовлення, час очікування і нестачу кур’єрів по районах міста щохвилини.

Чому Pinot: свіжість у секунди і стабільна затримка навіть у пікові години.

події замовлень→Pinot→Grafana / Superset

Рекламна статистика

висока конкурентність

Задача: рекламодавець бачить покази, кліки й витрати кампанії в режимі реального часу і зупиняє невдалу кампанію вчасно.

Чому Pinot: мільярди подій на добу, тисячі рекламодавців одночасно, агрегації за кампанією та датою.

покази і кліки→star-tree агрегати→кабінет рекламодавця

Метрики й аномалії

моніторинг

Задача: помітити, що конверсія оплати в одному банку впала на 30% за останні 10 хвилин.

Чому Pinot: швидкі агрегації за часом і вимірами, які детектор аномалій опитує постійно.

бізнес-події→Pinot→детектор аномалій→алерт

Ризики і фрод-моніторинг

upsert

Задача: аналітик ризиків у реальному часі бачить поточний стан транзакцій і підозрілі патерни по мерчантах.

Чому Pinot: upsert тримає останній стан кожної транзакції з CDC-потоку, а запити йдуть одразу по свіжих даних.

CDC з бази→Kafka→upsert-таблиця→дашборд ризиків

Ознаки для персоналізації

serving

Задача: сервіс рекомендацій питає «що популярне в цьому місті за останні 30 хвилин» на кожен запит користувача.

Чому Pinot: агрегат рахується в момент запиту за мілісекунди, і його не треба заздалегідь класти в кеш.

кліки→Pinot→сервіс рекомендацій

Коли Pinot — поганий вибір

Основна база застосунку

Pinot не замінює PostgreSQL: немає транзакцій, а оновлення окремих рядків працюють лише через upsert у real-time таблицях.

Важкі join-и великих таблиць

Багатоетапний рушій уміє join-и, але для складних звітів по десятку таблиць зручніше сховище даних або Trino.

Кілька аналітиків і мало запитів

Якщо дашборд дивляться 20 людей раз на день, Pinot-кластер — зайва складність. Вистачить сховища або навіть PostgreSQL.

Довільне дослідження сирих даних

Pinot швидкий, коли запити передбачувані і індекси під них налаштовано. Для вільного дослідження озера даних беріть Spark або Trino.

Де запускають

Docker QuickStart локальноKubernetes + Helm chartStarTree Cloud (керований Pinot)власні VM
Вибір

Pinot, ClickHouse, Druid чи сховище?

Оберіть параметри задачі. Це грубе правило: на практиці вирішує ще й досвід команди.

Хто робить запити
Наскільки свіжі мають бути дані
Які запити
Apache PinotApache DruidClickHouseSnowflake / BigQuery
Головна силабагато одночасних запитів з низькою затримкоючасові ряди, агрегація при завантаженнідуже швидке сканування, багатий SQLгнучкий SQL для аналітиків
Типова затримкадесятки мсдесятки–сотні мсдесятки мс – секундисекунди
Запитів одночаснотисячі і більшетисячісотні, залежить від запитівдесятки
Потік з Kafkaвбудовано, по партиціяхвбудованоKafka engine або коннекторичерез окремі сервіси
Оновлення записівupsert за ключемобмеженочерез злиття (ReplacingMergeTree)повний SQL UPDATE
Join-ибагатоетапний рушій, обмеженообмеженотакповністю
Експлуатаціякілька ролей, ZooKeeperкілька ролей, ZooKeeperодин бінарник, кластер складнішийкерований сервіс

Pinot часто стоїть у парі з потоковим рушієм: Flink збагачує і чистить події, Pinot їх зберігає й відповідає на запити. Історію перераховує Spark.

Спробувати

Pinot на ноутбуці за одну команду

QuickStart піднімає весь кластер в одному контейнері: ZooKeeper, controller, broker, server, Kafka з потоком демо-подій і готові таблиці.

# Hybrid-демо: offline-таблиця + real-time потік із Kafka
docker run -it -p 9000:9000 -p 8099:8099 apachepinot/pinot:latest QuickStart -type hybrid

# Query Console:  http://localhost:9000
# Broker API:     http://localhost:8099/query/sql
# pip install pinotdb
from pinotdb import connect

conn = connect(host="localhost", port=8099, path="/query/sql", scheme="http")
cur = conn.cursor()
cur.execute("SELECT COUNT(*) FROM airlineStats")   # таблиця з демо
print(cur.fetchone())

Real-time таблиця з Kafka описується JSON-конфігом. Ключове в ньому — звідки читати і які індекси будувати (фрагмент):

{
  "tableName": "orders",
  "tableType": "REALTIME",
  "segmentsConfig": { "timeColumnName": "ts", "replication": "2" },
  "tableIndexConfig": {
    "invertedIndexColumns": ["restaurant_id", "status"],
    "rangeIndexColumns": ["amount"]
  },
  "ingestionConfig": {
    "streamIngestionConfig": {
      "streamConfigMaps": [{
        "streamType": "kafka",
        "stream.kafka.topic.name": "orders",
        "stream.kafka.broker.list": "kafka:9092",
        "stream.kafka.consumer.factory.class.name": "org.apache.pinot.plugin.stream.kafka20.KafkaConsumerFactory",
        "stream.kafka.decoder.class.name": "org.apache.pinot.plugin.stream.kafka.KafkaJSONMessageDecoder",
        "realtime.segment.flush.threshold.rows": "0",
        "realtime.segment.flush.threshold.segment.size": "200M"
      }]
    }
  }
}
Для інженерів

Під капотом: star-tree, сегменти, upsert

Для тих, хто проєктує таблиці й хоче розуміти, чому один запит відповідає за 5 мс, а інший за 2 секунди.

Star-tree заздалегідь агрегує метрики по дереву вимірів у заданому порядку (тут місто → платформа). Вузол «*» означає «усі значення цього виміру». Оберіть запит і подивіться, який вузол дає відповідь.

На 8 рядках виграш невеликий. На мільярді рядків це різниця між скануванням і читанням одного числа. Ціна — додаткове місце на диску й час на побудову, а maxLeafRecords обмежує, скільки сирих рядків можна дочитати у листі.

Тест

Перевір себе

Вісім питань від базових до інженерних. Відповідь і пояснення з’являються одразу.

Терміни

Короткий словник

OLAP
Аналітичні запити: агрегації по багатьох рядках. На противагу OLTP — читанню й запису окремих рядків застосунком.
User-facing analytics
Аналітика, яку бачать кінцеві користувачі продукту, а не лише внутрішня команда.
Segment
Колонковий шматок таблиці з індексами й метаданими. Одиниця зберігання, реплікації й запиту.
Broker
Приймає SQL, обирає сегменти, розсилає підзапити і зливає результати.
Server
Тримає сегменти і виконує над ними запити. Real-time server ще й читає Kafka.
Controller
Керує кластером: таблиці, схеми, розподіл сегментів між server-ами.
Minion
Виконує фонові задачі: злиття, перенесення, очищення сегментів.
Consuming segment
Сегмент, у який зараз пишуться події з потоку. Вже доступний для запитів.
Deep store
Об’єктне сховище з копіями всіх запечатаних сегментів.
Inverted index
Мапа «значення → список рядків» для швидких фільтрів за рівністю.
Star-tree index
Дерево заздалегідь агрегованих метрик за комбінаціями вимірів.
Hybrid table
Real-time і offline частини однієї таблиці, які broker поєднує за часовою межею.
Upsert
Зберігання лише останньої версії запису за первинним ключем.
Scatter-gather
Розіслати частини запиту по вузлах і зібрати часткові результати.