Разработка D2Tech · в продакшене

Аналитика интернет-магазина в реальном времени

События магазина идут потоком, воронка обновляется сразу. Отклонения ловятся с оценкой значимости: не «продажи упали», а «упали сильнее, чем этот товар обычно колеблется». Плюс прогноз спроса на ближайшие недели.

Задача

Владелец интернет-магазина видит агрегированные отчёты с задержкой в сутки. Аномальный обвал продаж по конкретному товару или региону замечают поздно, а решения о закупке и ценообразовании принимаются на устаревших данных.

Что сделали

Воронка сейчас, а не завтра утром

От просмотра карточки до оплаты, с разбивкой по каналу трафика и категории.

Аномалии со значимостью

На исторических рядах по SKU и региону считается доверительный интервал. Алерт приходит, когда продажи вышли за него, с оценкой, насколько это значимо на фоне обычных колебаний.

Прогноз спроса

Модель временных рядов по ключевым SKU: сколько закупать на ближайшие недели.

Когорты и LTV

Удержание и ценность клиентов по когортам первой покупки.

Почему этому можно верить

Порог врёт: «Упало на 20%» у одних товаров норма, у других катастрофа. Поэтому интервал свой у каждого ряда.
Скорость: Kafka в ClickHouse. Агрегации для дашборда считаются за секунды, ночного батча нет.
Расчёты: Все трансформации описаны в dbt. Любую цифру на дашборде можно проследить до SQL, который её посчитал, и до версии этого SQL.
Две наблюдаемости: Grafana следит за пайплайном, не за продажами. Бизнес-дашборд и здоровье платформы — разные экраны, чтобы не путать одно с другим.

Где это ломается

Прогноз и детекция начинаются с базовых моделей, scikit-learn и Prophet. Тяжёлые имеет смысл включать, когда накопятся данные, раньше они ничего не добавят.

Как устроено

События: Apache Kafka как шина событий магазина.
Хранилище: ClickHouse — колоночная база под большой объём событий и быстрые агрегации для дашбордов.
Трансформации: Apache Airflow для оркестрации пайплайнов, dbt для версионируемых SQL-трансформаций поверх ClickHouse.
Модели: scikit-learn и Prophet для прогноза спроса и базовой детекции аномалий — расширяемо по мере роста данных.
API и интерфейс: FastAPI как слой API для дашборда и алертов; React с ECharts. Docker и Kubernetes для деплоя, Grafana для метрик самой платформы.

Похожая задача?

Опишите её — пришлём скоуп и смету за 24 часа: