Телеграм канал «Клуб CDO»

Самая большая проблема удалёнки — не дисциплина. Дисциплину можно натренировать.

Проблема — одиночество.

В офисе люди спорят, шутят, заражают друг друга идеями. Энергия передаётся физически — через интонацию, через случайный разговор у кофемашины, через чужой азарт, который вдруг становится твоим.

В Zoom этого почти нет. Есть повестка, есть mute/unmute, есть “у кого-то ещё вопросы?”. Но нет того случайного столкновения, из которого рождается что-то новое.

Редакция вчера побывала на лекции/интервью «A Journey into Consciousness» в Royal Institution - беседе Майкла Поллана и Анила Сета. Для меня Сет - один из самых интересных ученых на стыке нейронауки и философии сознания, давно слежу за его работами и рекомендовал ранее тут его книгу «Быть собой» о природе субъективного опыта.

Разговор шёл о природе сознания, границе между чувствительностью и субъективным переживанием, и о том, почему наука до сих пор не может ответить на, казалось бы, простые вопросы о собственном разуме.

Про ИИ - оба спикера на редкость единодушны. Ключевой аргумент Сета: мозг - не компьютер. В нём нет разделения на hardware и software, каждое воспоминание - физический паттерн нейронов, и идея «переноса» сознания на другой субстрат - это метафора, которую приняли за буквальное описание.

Поллан добавляет: если сознание завязано на телесность, на уязвимость, на способность страдать - то языковая модель, обученная на текстах о сознании, не становится сознательной оттого, что умеет убедительно об этом говорить. Мы просто психологически запрограммированы верить всему, что разговаривает с нами на нашем языке от первого лица.

Пятница — время немного выдохнуть и посмотреть на наш любимый ИИ с улыбкой 😁

Собрали для вас порцию мемов, чтобы разбавить серьезные разговоры о технологиях, агентах и восстании машин. Листайте и ставьте 🔥

AI Inside #ИИшница

Коллеги, у каждой компании есть BI-система. У большинства — боль от этой BI-системы.

Компания Getmatch проводит интресное исследование: какие BI-инструменты люди реально используют, какие задачи ими закрывают и что бесит в ежедневной работе. Не маркетинговый рейтинг — а срез практики от тех, кто с этим живёт.

Опрос на 10 минут. Результаты пришлют участникам.

Если работаете с данными — пройдите, пожалуйста опрос и добавьте свой опыт:
https://do.survey-studio.com/s/w4c12b0d589a64503bfc0d7c871d40725zuecnjnf?p=2

📰 Как мы обслуживаем 5 млрд карточек в сутки с задержкой меньше 1 мс
🔗 https://habr.com/ru/articles/942274/
💡 Вывод: ВсеИнструменты.ру вынесли формирование карточек товаров из PHP-монолита в сервис на Go с двухуровневым кешем (hot/cold). Горячее хранилище — in-memory с 2Q-вытеснением, холодное — БД. Инвалидация через Redis Streams, прогрев после деплоя — по статистике частоты обращений. Медиана ответа: 348 мкс. Честный рассказ про нерешённые проблемы (консистентность между слоями) — полезно для архитекторов high-load e-commerce.

Дайджест статей
Сори за задержку, разобрал немного архивы

📰 От каталога данных к платформе управления метаданными
🔗 https://habr.com/ru/companies/lemana_tech/articles/976350/
💡 Вывод: Лемана Тех за 2 года заменила Collibra собственной платформой. Ключевое решение — гибкая метамодель, где любой тип актива создаётся без разработчиков. 650 MAU, 25 типов активов, 26 автоматических экстракторов метаданных. Вывод для CDO: зрелый data governance требует не покупки вендора, а правильной культурной базы и гибкой ролевой модели, которую проприетарные решения обычно не дают.

📰 А что на входе? Разбираем структуру данных для AI-агента
🔗 https://habr.com/ru/articles/1007056/
💡 Вывод: При использовании LLM для анализа документации ключевой шаг — не промпт, а структура входных данных. Автор показывает пайплайн: ТЗ → атомарные требования → JSON-паспорт с числовыми признаками → дерево решений для классификации ошибок. LLM используется как feature extractor (не как чёрный ящик), а основная классификация — на дешёвом дереве решений. Accuracy ~82%, главное ограничение — субъективность разметки одним человеком.

📰 Do you know architecture of Recommendation System at Netflix?
🔗 https://shilpathota.medium.com/do-you-know-architecture-of-recommendation-system-at-netflix-f49786ca083b
💡 Вывод: Эволюция рекомендаций Netflix за 20 лет — от матричной факторизации до RL с бюджетным ограничением на время просмотра рекомендаций. Ключевая архитектурная идея — три слоя вычислений (offline/nearline/online) с разными trade-offs по latency и свежести данных. Свежий фронтир — CRAG (Collaborative Retrieval Augmented Generation), объединяющий LLM с коллаборативной фильтрацией для диалоговых рекомендаций.

📰 Data Warehouse, Data Lake, Data Lakehouse, Data Mesh: What They Are and How They Differ
🔗 https://luminousmen.substack.com/p/data-warehouse-data-lake-data-lakehouse
💡 Вывод: Системный обзор четырёх архитектур без фанатизма. Warehouse — для известных вопросов к известным данным. Lake — для гибкости и ML. Lakehouse — попытка убрать дублирование (одно хранилище + ACID через Iceberg/Delta). Mesh — ответ на организационную, а не техническую боль. Выбор определяется масштабом, зрелостью команд и типом данных, а не модным словом.

📰 Blazing Fast OLAP on Uber's Inventory and Catalog Data with Apache Pinot
🔗 https://www.uber.com/en-IN/blog/blazing-fast-olap-on-ubers-inventory-and-catalog-data-with-apache-pinot/
💡 Вывод: Uber использует Apache Pinot для OLAP на 10+ млрд записей каталога с latency 1-3 секунды и обновлением данных за 5-10 минут. Ключевые оптимизации: UUID hash-функция для первичных ключей (экономия 35% heap), Small Segment Merger (снижение p99 latency на 75%), переход с Java 11 на 17 (10-кратное улучшение tail latency). Если нужен real-time OLAP на больших объёмах — Pinot с upsert заслуживает внимания как альтернатива Hive/batch-подходам.

📰 Data Mesh Theology. Dead or Alive?
🔗 https://dataengineeringcentral.substack.com/p/data-mesh-theology-dead-or-alive
💡 Вывод: Data Mesh — идея, а не технология, и она работает только в крупных организациях с сильными техническими командами (Netflix, Wayfair, PayPal). Для 90% компаний децентрализация ownership создаёт больше проблем с governance, чем решает. Создатель концепции (Zhamak Dehghani) фактически ребрендирует идею в NextData, убирая акцент на «Mesh». Консенсус сообщества: хорошо в теории, но без серьёзных ресурсов — головная боль.

📰 Data Mesh is Dead (And That's Actually Good News)
🔗 https://medium.com/@aminsiddique95/data-mesh-is-dead-and-thats-actually-good-news
💡 Вывод Автор утверждает, что смерть Data Mesh как бренда — позитивный сигнал: полезные принципы (domain ownership, data-as-a-product) выживут и интегрируются в централизованные платформы без хаоса полной децентрализации.

Интересная новость. Более 80% объёма валютных торгов сегодня — это алгоритмы, а не люди. И вот что интересно: до недавнего времени вся эта алгоритмическая торговля работала поверх инфраструктуры, спроектированной для людей. API бирж по-прежнему подразумевали, что на другом конце сидит разработчик, который напишет обвязку, разберётся с подписью запросов, обработает ошибки.

Kraken на днях выкатил общение, которое показывает, куда движется индустрия. Kraken CLI — open-source утилита на Rust, которая спроектирована так, чтобы AI-агент мог напрямую работать с биржей.

Но главное тут не сам инструмент. Главное — сигнал. Крупная биржа строит интерфейс не для трейдера с монитором, а для языковой модели с контекстным окном.

Экономика будущего — это автоматические транзакции между агентами. И инфраструктура начинает «заворачиваться» в интерфейсы, предназначенные не для человеческих глаз, а для машинного потребления.

https://blog.kraken.com/news/industry-news/announcing-the-kraken-cli