Телеграм канал «Клуб CDO»

To whom it may consern Книга посвящена эволюции роли data engineer — инженера по данным — в современных организациях. В ней рассматривается, как изменились задачи специалистов по работе с данными с появлением больших данных, облачных сервисов и новых моделей хранения. Описываются ключевые обязанности data engineer: сбор, очистка, преобразование, каталогизация, хранение и защита данных, а также автоматизация и оркестрация процессов. Особое внимание уделяется сравнению традиционных ролей (DBA, ETL-разработчик) с современными практиками, инструментам (Kafka, Spark, Presto), вопросам безопасности, масштабируемости, выбору форматов хранения (Parquet, Avro, ORC), обеспечению соответствия требованиям (GDPR, HIPAA) и внедрению лучших практик для построения надежных и эффективных пайплайнов данных. Книга предназначена для инженеров, разработчиков, аналитиков и менеджеров, которым важно понимать современные подходы к работе с данными в бизнесе.

Хочу поделиться интересной новостью — компания Meta (запрещенная и всячески поричаемая) опубликовала новую многоязыковую модель распознавания речи (ASR) с открытой лицензией Apache 2.0. Для меня эта тема особенно близка: в свое время я был глубоко вовлечен в разработку подобных систем и хорошо понимаю, насколько сложными и дорогими были такие решения. Для многих компаний и стартапов качество распознавания речи, особенно на неанглийских языках, было одним из ключевых конкурентных преимуществ. Со временем архитектуры моделей эволюционировали, потребность в больших объемах размеченных данных снижалась, и теперь мы пришли к моменту, когда модели способны из коробки обеспечивать отличное качество распознавания на более чем 1600 языках, включая достаточно редкие. Это колоссальный шаг вперед в области доступности и универсальности голосовых технологий. Но одновременно это и повод для размышлений: поле инноваций становится всё более плотным, а конкурировать с индустриальными гигантами — всё сложнее. Они растут, как быстро расширяющиеся звезды, которые своим масштабом и гравитацией “сжигают” вокруг себя стартапы-планеты, вращающиеся по орбитам их технологий и экосистем. https://ai.meta.com/blog/omnilingual-asr-advancing-automatic-speech-recognition

Историческая минутка. Читал тут одну художественную книгу, и там упоминался интересный факт: оказывается, раскладка QWERTY на клавиатуре была создана не потому, что так удобнее печатать тексты или потому что статистическое распределение букв не совпадало с алфавитом, а для того, чтобы замедлить набор текста. На печатных машинках тогда использовались механические спицы, которые ударяли по бумаге и могли застревать, если две соседние буквы нажимались слишком быстро 🙂 Решил перепроверить — и действительно! Всё началось с первых печатных машин. Изначально клавиши действительно располагались по алфавиту, но вскоре обнаружилась проблема: при быстром наборе рычаги с буквами часто застревали, особенно если нажимать рядом стоящие клавиши, например S и T. Чтобы избежать заеданий, инженеры решили «замедлить» набор и переставили буквы так, чтобы часто используемые сочетания стояли подальше друг от друга. Так появилась раскладка QWERTY — названа по первым шести буквам верхнего ряда. Её изобрёл Кристофер Шоулз в 1868 году для машинки Remington. Когда печатные машинки превратились в компьютеры, технической нужды в такой раскладке уже не было. Но люди привыкли, и менять стандарт стало слишком неудобно — миллионы печатников, секретарей и пользователей по всему миру уже умели работать на QWERTY. Так что буквы на клавиатуре не идут по алфавиту из-за… старых механических машинок. Исторический компромисс, который пережил век технологий.

Преодолевай нежно: проверенный метод обхода сопротивления при внедрении BI - https://habr.com/ru/companies/visiology/articles/962024/ - Статья описывает проверенный подход к преодолению сопротивления сотрудников при внедрении систем бизнес-аналитики (BI) через мягкую и поэтапную адаптацию к изменениям. Data Quality в масштабе Big Data: как мы построили систему контроля качества данных в Hadoop - https://habr.com/ru/companies/ozontech/articles/962174/ - Статья рассказывает о подходе и архитектуре системы контроля качества данных, реализованной в инфраструктуре Hadoop для обработки больших данных в компании Ozon.

Дайджест статей! Сори за задержку, наши нетерпеливые читатели Shopify Data Tech Stack - https://www.junaideffendi.com/p/shopify-data-tech-stack - Статья описывает технологический стек обработки и анализа данных, используемый в Shopify, включая инструменты для сбора, хранения и визуализации данных. Delta Lake 4.0 and Delta Kernel | DZone - https://dzone.com/articles/delta-lake-delta-kernel-future-of-data-lakehouses - Статья рассматривает особенности релиза Delta Lake 4.0 и архитектуру Delta Kernel, подчеркивая их значение для будущего озер данных и улучшения совместимости и масштабируемости решений хранения данных. Разведочный анализ текстовых данных (EDA for text data) - https://habr.com/ru/articles/964440/ - Статья рассматривает основные этапы и методы разведочного анализа текстовых данных для выявления скрытых закономерностей и подготовки данных к моделированию. How Autonomous AI Agents Are Redefining Enterprise Analytics - https://dzone.com/articles/how-autonomous-ai-agents-are-redefining-enterprise-analytics - Статья рассказывает о том, как автономные агенты на базе ИИ трансформируют аналитические процессы в компаниях, автоматизируя принятие решений и ускоряя получение бизнес-инсайтов. Бенчмарк бенчмарка Lakehouse-движков, в котором побеждает объективная реальность - https://habr.com/ru/companies/datasapience/articles/964052/ - Статья представляет собой подробный сравнительный анализ производительности различных Lakehouse-движков с акцентом на объективные результаты и условия тестирования. Rise of RAG: от плоских векторов к темпоральным графам в юридическом домене - https://habr.com/ru/articles/964202/ - Статья рассказывает о развитии технологий Retrieval-Augmented Generation (RAG) с переходом от использования плоских векторов к темпоральным графам в контексте юридических данных и поиска. Data Quality Is Everyone’s Problem: How I Built Bulletproof Pipelines That Actually Earned Trust - https://medium.com/art-of-data-engineering/data-quality-is-everyones-problem-how-i-built-bulletproof-pipelines-that-actually-earned-trust-2f680419fed4 - Статья рассказывает о важности качества данных и описывает, как автор построил надежные дата-пайплайны, заслужившие доверие пользователей. Как мы вырастили ML-фреймворк внутри компании: эволюция, ошибки и инсайты - https://habr.com/ru/companies/beeline_tech/articles/960796/ - Статья рассказывает о процессе разработки и эволюции внутреннего ML-фреймворка в компании Beeline, включая допущенные ошибки и полученные инсайты. BI industry death is inevitable. Your response isn't. - https://open.substack.com/pub/thdpth/p/bi-industry-death-is-inevitable-your - Статья обсуждает неизбежный упадок индустрии бизнес-аналитики (BI) и призывает читателей задуматься над тем, как адаптироваться к этим изменениям, предлагая альтернативные подходы к работе с данными. DataHub не заменил наш самописный дата-каталог — и это нормально. Оптимизируем работу с метаданными - https://habr.com/ru/companies/ostrovok/articles/961196/ - Статья рассказывает об опыте компании в интеграции DataHub с собственным дата-каталогом и объясняет, почему оба инструмента используются совместно для эффективной работы с метаданными. Как мы превратили BI в полноценный корпоративный инструмент: дизайн-система, виджеты и self-service - https://habr.com/ru/companies/gazpromcps/articles/957672/ - Статья рассказывает о трансформации системы бизнес-аналитики в полноценный корпоративный инструмент за счёт внедрения дизайн-системы, интерактивных виджетов и возможностей для самостоятельной работы пользователей (self-service). Модульная BI-платформа: как мы сделали кастомизацию визуализаций без пересборки ядра - https://habr.com/ru/companies/modusbi/articles/961628/ - Статья рассказывает о том, как команда ModusBI реализовала возможность гибкой кастомизации визуализаций в своей BI-платформе без необходимости пересобирать её ядро.

Наверное неожиданно, но все кто занимается управлением разработкой и работой сложных систем, хочу порекомендовать к прочтению: NASA Systems Engineering Handbook Это не просто книга про космос — это эталон мышления инженеров, которые строят системы, где ошибка недопустима. Что даёт эта книга: • учит системному подходу — как из идей и требований выстроить архитектуру, которая выдержит нагрузку и время; • показывает, как проектировать, верифицировать и валидировать решения на каждом этапе жизненного цикла; • помогает увидеть систему целиком — от логической структуры до операционного режима; • формирует инженерную культуру, где надёжность и прозрачность важнее скорости на короткой дистанции. В общем там очень интересный контент про управление рисками, из оценку, планирование, дизайн систем и тп.

🦾 Подборка про нейронки: 5 классных статей на Хабре Пока одни компании смотрят на ИИ с опаской, другие уже вовсю тестируют технологии в бою. Собрали для вас подборку интересных и полезных статей о том, как заставить нейросети работать на бизнес-задачи. 1️⃣ Домен-специфичные LLM: как сделать ИИ реально полезным для вашего бизнеса Статья рассказывает, как адаптировать большие языковые модели под конкретные задачи и отрасли бизнеса, чтобы повысить их практическую пользу и эффективность. 2️⃣ ИИ-проекты съедают бюджеты, но не приносят ROI. Виновата технология? Изучаем причины, почему ИИ не приносит ожидаемой прибыли, несмотря на значительные инвестиции (акцент — на управленческих и стратегических ошибках, а не на самой технологии). 3️⃣ Когда одного агента мало: практический кейс применения мультиагентной системы red_mad_robot и СберТех разработали систему, которая автоматически находит и исправляет уязвимости в коде. В статье — о том, как устроена такая архитектура и зачем вообще нужен мультиагентный подход. 4️⃣ Что такое AI-агент и из каких основных частей он состоит Автор объясняет, что такое AI-агенты: разбираемся в ключевых компонентах, включая восприятие, принятие решений и выполнение действий. 5️⃣ Сказ о том, как техпис без опыта программирования свой первый скрипт писал Как автоматизировать рутину и готовить описания для техстека за 30 минут вместо 9 часов? Автор делится опытом богатырского подвига — как ковался меч-кладенец на Python с использованием GigaCode и с какими трудностями столкнулся славный молодец на нелегком пути. Читайте, внедряйте, делитесь своим мнением в комментариях! #ИИшница