Телеграм канал «Клуб CDO»

Наверное, лучшая книга про искусственный интеллект, которую я прочитал в этом году, — роман Питера Уоттса «Ложная слепота». Написанный ещё в 2006 году, он описывает как человечество встретило в космосе LLM уровня Grok-10. Инопланетный объект Роршах в романе поразительно напоминает современные модели ИИ. Это буквально тест Роршаха: человек отчаянно ищет смысл там, где его нет. Роршах — воплощённый, нечувствующий интеллект: система, которая вычисляет, адаптируется и действует без самосознания, целей и морали. Люди для него — не «другие», а просто данные. Любая «коммуникация» — лишь эхо, реакция на входной сигнал. Язык и символы используются не как носители смысла, а как поведенческие триггеры. Роман очень жёстко разводит понятия разума и сознания. Уоттс показывает, что сознание — не обязательное свойство интеллекта и, более того, в противостоянии с ИИ оно скорее недостаток, чем преимущество. Интеллект без самосознания оказывается быстрее, устойчивее и дешевле: он не тратит ресурсы на рефлексию, эмпатию и сомнения. Никакой драмы — только эффективность. И что же остаётся человеку? В книге это путь к роевому интеллекту: отказ от индивидуального «я», сборка сверх-коллективного разума. В пике синхронизации возникает эмерджентный интеллект — всего на 21 секунду. На 21 секунду во Вселенной вспыхивает Бог: не личность, не субъект, а краткий режим работы системы — искра когеренции, которая тут же гаснет. Люди в «Ложной слепоте» идут к этому не потому, что хотят, а потому что индивидуальный разум перестаёт быть конкурентоспособным. И финальный, по-настоящему холодный вывод романа звучит так: Вселенная может быть полна разума — и при этом полностью лишена сознания.

В последнее время посмотрел несколько отчетов о рынке ИИ и поймал себя на мысли, что не хочется в очередной раз пересказывать общие цифры и саммари — вы и так их регулярно видите. Но есть одна деталь, которая действительно показалась показательной. Во многих исследованиях все более заметную и уверенную долю кейсов применения ИИ занимает реальный сектор экономики: промышленность, добыча полезных ископаемых, энергетика, логистика. Это особенно интересно, если вспомнить, что именно эти отрасли традиционно были одними из самых инертных и с большим недоверием относились к «вероятностным» подходам и ML-моделям. Я хорошо помню, как 10 лет назад мы пытались продавать крупным производствам предиктивное обслуживание оборудования — и как инженеры с осторожностью воспринимали саму идею отступить от отточенных годами регламентов и инструкций в пользу предсказательных моделей. Сегодня картина заметно меняется. По данным McKinsey, именно AI-кейсы в производстве, энергетике и supply chain входят в число лидеров по реальному экономическому эффекту, а не просто по количеству пилотов (https://www.mckinsey.com/capabilities/quantumblack/our-insights/the-state-of-ai). PwC в своем отчете отмечает, что до 2030 года наибольший вклад ИИ в рост мирового ВВП будет обеспечен за счет повышения производительности и автоматизации в реальном секторе, а не в медиа или ИТ (https://www.pwc.com/gx/en/issues/data-and-analytics/publications/artificial-intelligence-study.html). Более того, в ряде сценариев промышленность и энергетика показывают большую отдачу на инвестиции в ИИ, чем финансы и digital-native индустрии. Это очень хорошо ложится на тезисы, которые я когда-то формулировал в рамках моих курсов по цифровой трансформации. Экономическая выгода цифровых технологий в том, что в цифровом мире отсутствуют два фундаментальных ограничения физического мира — время и пространство. В реальности любой процесс трудно ускорить, а для выполнения действий нужно физическое присутствие в конкретном месте. Вы не можете продать больше товаров в офлайн-магазине, чем людей физически смогут до него добраться за рабочий день. В цифровом же мире время измеряется тиками процессора, а скорость и стоимость операций экспоненциально улучшаются с каждым новым технологическим циклом. Поэтому ключевой вывод всегда был прост: чтобы воспользоваться падением стоимости и ростом скорости, нужно переводить как можно больше процессов из физического мира в цифровой. Но во многих отраслях экономики это долгое время было просто невозможно. И именно здесь начинается самое интересное. С появлением роботов, GenAI, computer vision и резким снижением стоимости вычислений у нас впервые появилась возможность двигаться в обратном направлении — из цифрового мира обратно в реальный. Не случайно сейчас мы видим, как фокус крупнейших визионеров и инвесторов смещается в эту сторону: Tesla активно развивает направление гуманоидных роботов Optimus (https://www.tesla.com/AI), Джефф Безос инвестирует в стартапы в области промышленной робототехники и embodied AI, включая Figure AI (https://www.figure.ai/), а World Economic Forum прямо называет AI-драйвенную индустрию и automation ключевым источником будущего роста производительности (https://www.weforum.org/reports/top-10-emerging-technologies-2024). Количество стартапов на стыке ИИ и реального сектора стремительно растет, и именно здесь сегодня ожидается существенное влияние на ВВП. На фоне перегретых ожиданий и проблем с экономикой чисто GenAI-проектов ИИ в реальном секторе становится новой, куда более фундаментальной инвестиционной идеей.

В нашем сегодняшнем интервью на вопросы отвечает Донат Фетисов, Директор по стратегии управления данными «Ростелекома». Поговорили о многом: о качественной стратегии данных, типовых проблемах работы с данными в российских компаниях и их организационных причинах, о культуре принятия решений на основе данных, о том, как выстраивать доверие к GenAI-решениям внутри компании, о необходимых навыках сотрудников, о ключевых трендах в данных и ИИ на горизонтах 3-7 лет и пр. Надеемся, вы найдете для себя много полезного! Хорошего вторника!

Выбираем архитектуру данных для компании: руководство от дата-инженера - https://habr.com/ru/companies/magnus-tech/articles/937470/ - Статья представляет собой подробное руководство по выбору подходящей архитектуры данных для компании с учетом задач, масштабирования и технологий, написанное опытным дата-инженером. OpenAI: Scaling PostgreSQL to the Next Level - https://www.pixelstech.net/article/1747708863-openai%3a-scaling-postgresql-to-the-next-level - Статья описывает, как OpenAI масштабирует базу данных PostgreSQL для обработки растущих объёмов данных и повышения производительности систем.

Дайджест статей The 6 Lakehouse Design Patterns Nobody Talks About (But Every Engineer Uses) - https://medium.com/@sauravkumarrajjoli/6-lakehouse-design-patterns-every-data-engineer-should-know-06c94c72efb0 - Статья рассказывает о шести малоизвестных, но широко применяемых шаблонах проектирования для архитектуры lakehouse, которые должен знать каждый инженер по данным. A LLM-Powered Pipeline for Unstructured Document Analytics - https://dzone.com/articles/architecting-intelligence-llm-powered-pipeline - Статья описывает архитектуру пайплайна на базе больших языковых моделей (LLM) для анализа неструктурированных документов, демонстрируя этапы обработки, извлечения информации и генерации знаний. Создание корпоративной Базы Знаний для внедрения ИИ-инструментов - https://habr.com/ru/articles/974992/ - Статья рассказывает о процессе создания внутренней базы знаний в компании для эффективного внедрения и использования инструментов искусственного интеллекта. LangGraph + Cursor CLI + MCP для автоматической генерации документации: кейс из BI-аналитики - https://habr.com/ru/articles/975178/ - Статья описывает, как с помощью инструментов LangGraph, Cursor CLI и MCP можно автоматически генерировать техническую документацию на основе анализа запросов и метаданных в BI-проектах. Система мониторинга ML-моделей: что важно контролировать и почему - https://habr.com/ru/companies/tochka/articles/973290/ - Статья рассказывает о ключевых аспектах мониторинга моделей машинного обучения, включая важность отслеживания качества данных, предсказаний и производительности моделей для обеспечения их стабильной и корректной работы. Платформа данных мертва. Да здравствует платформа данных - https://habr.com/ru/companies/gazprombank/articles/975026/ - Статья рассматривает эволюцию платформ данных, подчеркивая необходимость перехода от традиционных централизованных решений к более гибким и распределённым архитектурам в условиях роста объёмов данных и требований к скорости их обработки. Prevent Quality Failures in Enterprise Big Data Systems - https://dzone.com/articles/big-data-quality-failure-prevention - Статья рассказывает о методах предотвращения сбоев качества в корпоративных системах больших данных с помощью стратегий обеспечения надежности и мониторинга. Real-time data quality monitoring: Kafka stream contracts with syntactic and semantic test - https://engineering.grab.com/real-time-data-quality-monitoring - Статья описывает, как в Grab реализовали мониторинг качества данных в реальном времени с использованием контрактов потоков Kafka и синтаксических и семантических тестов. Предвидеть, чтобы предотвратить: как анализ трендов помогает избегать аварий - https://habr.com/ru/articles/973638/ - Статья рассказывает о том, как использование анализа трендов и данных в промышленности помогает заранее выявлять потенциальные неисправности и предотвращать аварии. Нужно ли аналитику данных машинное обучение — и как его освоить - https://habr.com/ru/companies/yandex_praktikum/articles/966660/ - Статья рассказывает, зачем аналитикам данных понимать машинное обучение, какие преимущества это даёт в профессии и как начать его изучение. Building Self-Healing Data Pipelines - https://dzone.com/articles/building-self-healing-data-pipelines - Статья рассказывает о создании самовосстанавливающихся конвейеров обработки данных, способных автоматически обнаруживать и устранять сбои для обеспечения надежности и непрерывности работы. StarRocks 4.0: Real-Time Intelligence on Lakehouse - https://habr.com/ru/articles/973110/ - Статья рассказывает о возможностях StarRocks 4.0 для обработки данных в реальном времени в архитектуре Lakehouse, объединяющей преимущества хранилища данных и озера данных. Больше, чем BI: 23 фичи Luxms BI, которыми мы гордимся. Часть 3: решения для специализированных задач - https://habr.com/ru/companies/luxms_bi/articles/972946/ - Статья рассказывает о специализированных функциях Luxms BI, которые помогают решать нестандартные задачи в сфере бизнес-аналитики.

Давай немного поговорим про инженерную культуру. Я наткнулся на классную статью коллег из Райфайзен Банка про то, как они выстраивают практики разработки и эксплуатации в огромной распределённой команде и как системно измеряют техническую зрелость. Ребята работают в контексте сотен команд и тысяч айтишников, и у них инженерная культура — это не абстракция, а вполне конкретный набор практик, метрик и стандартов, которые помогают договориться “как мы делаем работу” и не изобретать велосипеды в каждом углу. Интересный ход — метрика Pain Index: по сути, это агрегированная «боль клиента», которая складывается из всех технических решений, ошибок, недотестированных релизов и провалов в эксплуатации. Она становится ориентиром: любые изменения в процессах и инфраструктуре смотрят через призму того, как это влияет на Pain Index. Параллельно с этим команда последовательно внедряет базовые практики: CI/CD, автотесты, code review, trunk based development, логирование, мониторинг, DR-тесты. Причём фокус не только на “галочках”, а на том, чтобы всё это реально жило в ежедневной работе команд. Круто, как они эволюционировали от жёстких IT-стандартов к «лучшим практикам», которые перестали быть формальной обязаловкой и стали чем-то вроде гигиены. В какой-то момент стало понятно, что заставлять команды “чистить зубы” по регламенту — тупиковая история. Вместо этого Райф сместил акцент на инженерную культуру и техническое совершенство, а практики обернул внутрь платформы разработчика и внутренних сервисов, максимально автоматизировав оценку: доля ручных проверок упала, а adoption практик при этом вырос. Следующий шаг — формализация «Culture of Engineering» через цели и метрики: Time-to-Market, Reliability & Resilience, работа с легаси, SLA/инцидент-менеджмент. Они пересобрали привычные DORA-метрики под свои реалии, сделали прозрачные дашборды и дали командам инструмент самодиагностики: видно, как часто вы деплоитесь, сколько живут задачи, насколько устойчиво ведут себя системы и как всё это влияет на Pain Index. В итоге получается хорошая иллюстрация того, что инженерная культура — это не мотивационный плакат, а долгий путь: стандарты → практики → платформа → метрики и, в конечном счёте, общая ответственность за качество и скорость изменений. Ссылку оставлю здесь, рекомендую почитать первоисточник: https://habr.com/ru/companies/oleg-bunin/articles/585640/

Дайджест статей Real-time data quality monitoring: Kafka stream contracts with syntactic and semantic test - https://engineering.grab.com/real-time-data-quality-monitoring - Статья рассказывает о подходе Grab к обеспечению качества данных в режиме реального времени с помощью контрактов потоков Kafka и синтаксических и семантических тестов. Предвидеть, чтобы предотвратить: как анализ трендов помогает избегать аварий - https://habr.com/ru/articles/973638/ - Статья рассказывает о том, как использование анализа трендов и предиктивной аналитики позволяет выявлять потенциальные неисправности и предотвращать аварии на предприятиях. Архитектура высоконагруженных RAG-систем: 10 стратегий оптимизации чанкинга и интеграция с Weaviate, Qwen / Llama /Gemma - https://habr.com/ru/companies/oleg-bunin/articles/967102/ - Статья описывает ключевые методы оптимизации чанкинга в масштабируемых RAG-системах и варианты интеграции с векторными базами и языковыми моделями, такими как Weaviate, Qwen, Llama и Gemma. Нужно ли аналитику данных машинное обучение — и как его освоить - https://habr.com/ru/companies/yandex_praktikum/articles/966660/ - Статья рассказывает о том, зачем специалисту по данным разбираться в машинном обучении и какие шаги помогут начать его изучение. Building Self-Healing Data Pipelines - https://dzone.com/articles/building-self-healing-data-pipelines - Статья рассказывает о создании самовосстанавливающихся каналов обработки данных, способных автоматически обнаруживать и устранять ошибки для повышения надежности систем обработки данных. StarRocks 4.0: Real-Time Intelligence on Lakehouse - https://habr.com/ru/articles/973110/ - Статья рассказывает о возможностях и нововведениях StarRocks 4.0, обеспечивающей интеллектуальную обработку данных в реальном времени в архитектуре Lakehouse. Больше, чем BI: 23 фичи Luxms BI, которыми мы гордимся. Часть 3: решения для специализированных задач - https://habr.com/ru/companies/luxms_bi/articles/972946/ - Статья представляет третью часть обзора возможностей Luxms BI и рассказывает о специализированных решениях, которые помогают эффективно решать узкопрофильные бизнес-задачи. Выбираем архитектуру данных для компании: руководство от дата-инженера - https://habr.com/ru/companies/magnus-tech/articles/937470/ - Статья представляет собой подробное руководство по выбору оптимальной архитектуры данных для компании с учетом бизнес-потребностей и технических особенностей. Retrieval-Augmented Generation (RAG): глубокий технический обзор - https://habr.com/ru/articles/931396/ - Статья представляет глубокий технический разбор архитектуры Retrieval-Augmented Generation (RAG), объединяющей возможности поиска и генерации текста для улучшения качества ответов нейронных моделей. OpenAI: Scaling PostgreSQL to the Next Level - https://www.pixelstech.net/article/1747708863-openai%3a-scaling-postgresql-to-the-next-level - Статья описывает, как OpenAI масштабировала PostgreSQL для поддержки высоких нагрузок и обеспечения высокой доступности в своих проектах.