Телеграм канал «Клуб CDO»

Историческая страничка. На фото — серверная стойка Google из пробкового картона, 1998 год. В 1998 году молодая компания обходилась недорогими материалами, включая серийные персональные компьютеры и тонкие листы пробкового картона для изоляции. Вот так это выглядело в самом начале 🙂

ДАЙДЖЕСТ СТАТЕЙ 📰: The 2026 Data Engineering Roadmap: Building Data Systems for the Agentic AI Era Ссылка: https://medium.com/@sanjeebmeister/the-2026-data-engineering-roadmap-building-data-systems-for-the-agentic-ai-era-8e7064c2cf55⁠ Вывод одной строкой: При разработке систем обработки данных для эпохи агентного ИИ важно учитывать эволюцию технологий, требования к масштабируемости и гибкости, а также необходимость интеграции с различными платформами и инструментами. 📰: Взгляд разметчика данных Ссылка: https://habr.com/ru/articles/983886/⁠ Вывод одной строкой: При выборе методов разметки данных важно учитывать специфику задач, качество данных и потребности команды, чтобы обеспечить высокую точность и эффективность в обучении моделей. 📰: Deloitte Tech Trends 2026: почему AI требует не автоматизации, а пересборки бизнеса Ссылка: https://habr.com/ru/companies/technokratos/articles/981972/⁠ Вывод одной строкой: При внедрении искусственного интеллекта в бизнес-процессы важно не только автоматизировать существующие задачи, но и пересмотреть и адаптировать бизнес-модели для достижения максимальной эффективности и конкурентоспособности. 📰: Очень странные дела или подключаем YDB в AWS NoSQL Workbench Ссылка: https://habr.com/ru/articles/983678/⁠ Вывод одной строкой: При использовании YDB в AWS NoSQL Workbench важно учитывать особенности интеграции и настройки, чтобы обеспечить эффективное взаимодействие и производительность базы данных. 📰: Metadata Is the Real Bottleneck in Modern Data Lakes Ссылка: https://dzone.com/articles/metadata-not-data-volume-is-the-real-bottleneck-in⁠ Вывод одной строкой: При проектировании современных дата-озер необходимо уделять особое внимание метаданным, так как именно они становятся основным узким местом, влияющим на производительность и эффективность работы с данными. 📰: How to speed up mass data inserts in PostgreSQL when using Spring Ссылка: https://habr.com/ru/companies/postgrespro/articles/981938/⁠ Вывод одной строкой: Для ускорения массовых вставок данных в PostgreSQL с использованием Spring необходимо применять оптимизированные методы, такие как пакетная вставка и использование транзакций, а также учитывать настройки базы данных и параметры подключения. 📰: Каким будет энтерпрайз-СУБД в эпоху ИИ Ссылка: https://habr.com/ru/companies/postgrespro/articles/981696/⁠ Вывод одной строкой: Энтерпрайз-СУБД в эпоху ИИ должна обеспечивать высокую производительность, масштабируемость и интеграцию с инструментами машинного обучения для эффективной обработки и анализа больших объемов данных.

Кстати, к вопросу выше, не про данные, но очень нравится вот этот подкаст/влог: https://www.youtube.com/@pragmaticengineer

Коллеги, нужна помощь зала! Есть вопрос от одного из участников нашего канала ко всем присутствующим, и, думаю, многим здесь будут интересны ответы и рекомендации 🙂 Кто может поделиться ссылками на хорошие курсы и другие материалы по теме data engineering? Задача вот такая: "Хочу углубиться в тему инжиниринга данных. Цель - лучше разбираться в бэкэнде продуктов и услуг. Последние 9 лет занимаюсь стратегическим развитием в fintech и IT со стороны партнёрств и M&A. Хочу восполнить пробелы в знаниях. Стек, который вижу: SQL / Spark Snowflake/Databricks / Kubernetes / DBT / Airflow / Monte Carlo /Datafold / Tableau/Power BI / AI/ML Data Tools Хочу почитать/посмотреть курсы, которые могут помочь комплексно, от простого к сложному, изучить стек и иметь возможность грамотно общаться с инженерами." Пиши в комментариях ваши рекомендации!

Редакция с большим удовольствием прочитала книгу Chaos Engineering и нашла там интересные концепции, которыми хочет поделиться. Chaos Engineering — это не про «ломать систему», а про осознанное получение знаний о её реальных границах устойчивости. В отличие от тестирования, которое лишь проверяет заранее известные свойства, хаос-эксперименты позволяют обнаружить неизвестные режимы отказов, возникающие из сложных и нелинейных взаимодействий компонентов распределённой системы. В сложных системах невозможно заранее перечислить все значимые комбинации состояний и входных данных, поэтому синтетические тесты принципиально не покрывают реальное поведение системы. Эксперименты становятся единственным способом эмпирически понять, где именно проходят границы допустимого функционирования . Эта логика напрямую перекликается с динамической моделью безопасности Йенса Расмуссена: аварии происходят не из-за единичных ошибок, а из-за постепенного «сползания» системы к границе риска под давлением эффективности, сроков и экономических стимулов. Ключевая проблема в том, что граница безопасности невидима — у инженеров нет интуитивного ощущения, где она проходит, и без эмпирической обратной связи система неизбежно её пересекает. Chaos Engineering как раз и служит механизмом регулярного «прощупывания» этой границы. Модель экономических факторов сложности Кента Бека дополняет эту картину, показывая, что устойчивость и адаптивность системы определяются контролем над четырьмя факторами: количеством состояний, числом и жёсткостью связей, нестабильностью окружения и обратимостью решений. Рост функциональности и данных почти всегда увеличивает число состояний, а каждый новый слой абстракции добавляет связи — тем самым повышая сложность и снижая устойчивость. Отсюда следуют два практических вывода: - во-первых, критична работа с требованиями и сознательное упрощение системы; - во-вторых, необходимо сдерживать рост абстракций и связей, потому что именно они делают систему хрупкой и плохо наблюдаемой. В итоге Chaos Engineering выступает не отдельной практикой SRE, а частью более широкой инженерной философии: мы принимаем, что ошибка — норма, сложность неизбежна, а безопасность и надёжность нельзя «спроектировать один раз». Их можно только поддерживать через постоянные эксперименты, обучение и снижение избыточной сложности системы. https://learning.oreilly.com/library/view/chaos-engineering/9781492043850/

https://youtu.be/xMCcR9Q-QyY?si=kCsmNPn_lOV9JGS4

Оказывается Джонни Айв был куплен OpenAI для работы над умной ручкой. Она будет оснащена камерами, микрофонами и всем что бы записывать все вокруг, особенно ваши заметки на бумаге. Они типа верят что она может стать третьим умным устройством после телефона и часов. Я очень хорошо помню - Сэм Альтман любитель делать записи на бумаге. Но мне, лично, показалось - бред . Сам я не помню когда брал в руки этот предмет кроме того что бы подписать что то (да и то всё реже и реже на реальной бумаге). Но чем больше об этом думаю, больше хочется опять начать думать на бумаге. Ну и конечно, что бы в гитхаб сразу уходило, ну или хотя бы в проекты внутри ChatGPT. Сергей Булаев AI 🤖 - об AI и не только