Телеграм канал «Клуб CDO»

Коллеги, у каждой компании есть BI-система. У большинства — боль от этой BI-системы.

Компания Getmatch проводит интресное исследование: какие BI-инструменты люди реально используют, какие задачи ими закрывают и что бесит в ежедневной работе. Не маркетинговый рейтинг — а срез практики от тех, кто с этим живёт.

Опрос на 10 минут. Результаты пришлют участникам.

Если работаете с данными — пройдите, пожалуйста опрос и добавьте свой опыт:
https://do.survey-studio.com/s/w4c12b0d589a64503bfc0d7c871d40725zuecnjnf?p=2

📰 Как мы обслуживаем 5 млрд карточек в сутки с задержкой меньше 1 мс
🔗 https://habr.com/ru/articles/942274/
💡 Вывод: ВсеИнструменты.ру вынесли формирование карточек товаров из PHP-монолита в сервис на Go с двухуровневым кешем (hot/cold). Горячее хранилище — in-memory с 2Q-вытеснением, холодное — БД. Инвалидация через Redis Streams, прогрев после деплоя — по статистике частоты обращений. Медиана ответа: 348 мкс. Честный рассказ про нерешённые проблемы (консистентность между слоями) — полезно для архитекторов high-load e-commerce.

Дайджест статей
Сори за задержку, разобрал немного архивы

📰 От каталога данных к платформе управления метаданными
🔗 https://habr.com/ru/companies/lemana_tech/articles/976350/
💡 Вывод: Лемана Тех за 2 года заменила Collibra собственной платформой. Ключевое решение — гибкая метамодель, где любой тип актива создаётся без разработчиков. 650 MAU, 25 типов активов, 26 автоматических экстракторов метаданных. Вывод для CDO: зрелый data governance требует не покупки вендора, а правильной культурной базы и гибкой ролевой модели, которую проприетарные решения обычно не дают.

📰 А что на входе? Разбираем структуру данных для AI-агента
🔗 https://habr.com/ru/articles/1007056/
💡 Вывод: При использовании LLM для анализа документации ключевой шаг — не промпт, а структура входных данных. Автор показывает пайплайн: ТЗ → атомарные требования → JSON-паспорт с числовыми признаками → дерево решений для классификации ошибок. LLM используется как feature extractor (не как чёрный ящик), а основная классификация — на дешёвом дереве решений. Accuracy ~82%, главное ограничение — субъективность разметки одним человеком.

📰 Do you know architecture of Recommendation System at Netflix?
🔗 https://shilpathota.medium.com/do-you-know-architecture-of-recommendation-system-at-netflix-f49786ca083b
💡 Вывод: Эволюция рекомендаций Netflix за 20 лет — от матричной факторизации до RL с бюджетным ограничением на время просмотра рекомендаций. Ключевая архитектурная идея — три слоя вычислений (offline/nearline/online) с разными trade-offs по latency и свежести данных. Свежий фронтир — CRAG (Collaborative Retrieval Augmented Generation), объединяющий LLM с коллаборативной фильтрацией для диалоговых рекомендаций.

📰 Data Warehouse, Data Lake, Data Lakehouse, Data Mesh: What They Are and How They Differ
🔗 https://luminousmen.substack.com/p/data-warehouse-data-lake-data-lakehouse
💡 Вывод: Системный обзор четырёх архитектур без фанатизма. Warehouse — для известных вопросов к известным данным. Lake — для гибкости и ML. Lakehouse — попытка убрать дублирование (одно хранилище + ACID через Iceberg/Delta). Mesh — ответ на организационную, а не техническую боль. Выбор определяется масштабом, зрелостью команд и типом данных, а не модным словом.

📰 Blazing Fast OLAP on Uber's Inventory and Catalog Data with Apache Pinot
🔗 https://www.uber.com/en-IN/blog/blazing-fast-olap-on-ubers-inventory-and-catalog-data-with-apache-pinot/
💡 Вывод: Uber использует Apache Pinot для OLAP на 10+ млрд записей каталога с latency 1-3 секунды и обновлением данных за 5-10 минут. Ключевые оптимизации: UUID hash-функция для первичных ключей (экономия 35% heap), Small Segment Merger (снижение p99 latency на 75%), переход с Java 11 на 17 (10-кратное улучшение tail latency). Если нужен real-time OLAP на больших объёмах — Pinot с upsert заслуживает внимания как альтернатива Hive/batch-подходам.

📰 Data Mesh Theology. Dead or Alive?
🔗 https://dataengineeringcentral.substack.com/p/data-mesh-theology-dead-or-alive
💡 Вывод: Data Mesh — идея, а не технология, и она работает только в крупных организациях с сильными техническими командами (Netflix, Wayfair, PayPal). Для 90% компаний децентрализация ownership создаёт больше проблем с governance, чем решает. Создатель концепции (Zhamak Dehghani) фактически ребрендирует идею в NextData, убирая акцент на «Mesh». Консенсус сообщества: хорошо в теории, но без серьёзных ресурсов — головная боль.

📰 Data Mesh is Dead (And That's Actually Good News)
🔗 https://medium.com/@aminsiddique95/data-mesh-is-dead-and-thats-actually-good-news
💡 Вывод Автор утверждает, что смерть Data Mesh как бренда — позитивный сигнал: полезные принципы (domain ownership, data-as-a-product) выживут и интегрируются в централизованные платформы без хаоса полной децентрализации.

Интересная новость. Более 80% объёма валютных торгов сегодня — это алгоритмы, а не люди. И вот что интересно: до недавнего времени вся эта алгоритмическая торговля работала поверх инфраструктуры, спроектированной для людей. API бирж по-прежнему подразумевали, что на другом конце сидит разработчик, который напишет обвязку, разберётся с подписью запросов, обработает ошибки.

Kraken на днях выкатил общение, которое показывает, куда движется индустрия. Kraken CLI — open-source утилита на Rust, которая спроектирована так, чтобы AI-агент мог напрямую работать с биржей.

Но главное тут не сам инструмент. Главное — сигнал. Крупная биржа строит интерфейс не для трейдера с монитором, а для языковой модели с контекстным окном.

Экономика будущего — это автоматические транзакции между агентами. И инфраструктура начинает «заворачиваться» в интерфейсы, предназначенные не для человеческих глаз, а для машинного потребления.

https://blog.kraken.com/news/industry-news/announcing-the-kraken-cli

Коллеги, спешу поделиться анонсом очень хорошего мероприятия и обратить ваше внимание, что оно совсем скоро.

19-22 марта в Красной Поляне пройдет Snow BASE — зимний кэмп от сообщества South HUB, заточенный под лидеров в AI, ML и Data Science. Если вы знаете основной летний South HUB (500+ C-level в IT каждый год) — это его зимний спин-офф, но с фокусом именно на данные и искусственный интеллект.

Что по содержанию. Пять треков: от практики принятия решений в AI (когда эффект неочевиден, а бюджеты растут) до честного разговора про Gen AI без маркетингового глянца — что реально работает в LLM и агентных системах, как строить инфраструктуру, которая масштабируется, и как выстраивать AI-функцию в компании так, чтобы она не превратилась в отдельное государство.

Программный комитет и спикеры — люди из Avito, Сбера, Т-Банка, X5 Tech, Яндекса, Positive Technologies, Cloud.ru, Magnit Tech. То есть те, кто реально строит и эксплуатирует AI-системы в продакшене, а не рассказывает о них на слайдах.

Формат — Chatham House Rule, без записи. Это важно: когда люди знают, что их не цитируют, разговор получается совсем другой. Плюс горы, ски-пасс, бобслей и après-ski — для тех, кому нужна перезагрузка не только головы.

Место: станция канатных дорог «Альпика», Эстосадок, Сочи.

Подробности и регистрация: https://lk.southhub.ru/events/camp/snow-base/

Andreessen Horowitz в своем блоге пишет, что географически рынок ИИ раскалывается на три отдельные экосистемы, и разрыв между ними растет.

Западные ИИ-сервисы имеют почти одинаковую аудиторию. ChatGPT, Claude, Gemini и Perplexity получают больше всего пользователей из одних и тех же стран: США, Индии, Бразилии, Великобритании и Индонезии. При этом у них почти нет использования в Китае и России.

Китай. Совершенно другие игроки. Doubao (чат-бот от ByteDance), Kimi, DeepSeek, Baidu AI Search, Qwen. Эти продукты почти не представлены на западных рынках. В Китае около 50% рынка чат-ботов с ИИ контролируют местные игроки, о которых большинство западных пользователей никогда не слышали.

Россия, которая раньше не выделялась как отдельный рынок, теперь стала третьим полюсом. Yandex Browser с ИИ-ассистентом Alice достиг 71 млн MAU, войдя в топ-10 мобильных ИИ-продуктов мира. В веб-рейтинге также появился GigaChat от Sber.

**

👉 Не забывайте подписываться на FST

👉 Отзывы о нас

Сам еще не смотрел, но в закладки положил. Вроде выглядит интересно

https://youtu.be/onIFwG-5tuE?si=uRirv8tDZxdwJyDS