Телеграм канал «Клуб CDO»

Все обсуждают, кто обучил модель покруче. Мало кто обсуждает, как эту модель потом эффективно крутить в продакшене. А между тем именно инференс — это то, за что компании платят каждый день.

Наткнулся на книгу "Inference Engineering" от Philip Kiely из Baseten. Сам пока не читал, но видел рекомендации от разработчиков, которым я доверяю.

Почему тема важная, особенно для крупных компаний: инференс — это не только про то, как гонять GPT-класса модели на кластерах. Это и про SLM, которые можно запускать ближе к пользователю, дешевле и быстрее. Когда у тебя тысячи запросов в секунду и бюджет не резиновый, умение выжимать максимум из железа на этапе инференса — это прямая экономия. И конкурентное преимущество.

Книга покрывает весь стек: от CUDA и GPU-архитектур до квантизации, speculative decoding и продакшен-инфраструктуры. 256 страниц, 7 глав, без воды.

И главное — она бесплатная. PDF можно скачать прямо на сайте. Когда тебе бесплатно дают структурированное знание по теме, в которой через пару лет будет дефицит специалистов — странно не воспользоваться.

https://www.baseten.co/inference-engineering/

The Pragmatic Engineer опросил 900+ инженеров и опубликовал результаты. Несколько вещей зацепили.

95% используют AI-инструменты минимум еженедельно, 75% — для половины и больше своей работы. Вопрос «использовать ли AI» закрыт. Теперь вопрос — какой из пяти инструментов сегодня.

Про агентов интересно: staff+ инженеры используют их чаще всего — 63.5%. Больше, чем джуны, больше и менеджеры. Те, кто понимает задачу глубже всего, быстрее всего делегируют её выполнение. Совпадение? Не думаю.
Ещё один момент, который объясняет многое: в больших компаниях (10К+ сотрудников) Copilot используют 56%. Не потому что он лучший — а потому что его купил procurement три года назад. В стартапах до 10 человек Claude Code — у 75%. Там просто берут то, что реально работает.

Вывод, который я сделал для себя: если рынок меняет лидера за восемь месяцев, инвестировать в глубокую кастомизацию под конкретный инструмент — так себе идея. Ставить на архитектуру, которую можно переключить, умея при этом выжимать максимум из текущего лидера.

https://newsletter.pragmaticengineer.com/p/ai-tooling-2026

6 неудобных правд про AI в 2026 которые неприятно признать

Фаундеры, ощущение что половина рынка всё ещё живёт в 2023 году. Все продолжают обсуждать какая модель умнее — GPT, Gemini или Claude. Но это уже почти не имеет значения. Модели сходятся по качеству, open-source догоняет закрытые системы, стоимость падает. AI превращается в коммодити. Как электричество. Никто не выбирает "лучшую розетку" — все думают что от неё запитать. Выигрывает не модель, а продукт, интеграция и дистрибуция.

Вторая иллюзия — автономные AI-агенты которые вот-вот заменят команды. На практике компании масштабируют не агентов, а AI-workflow. AI встроен в процесс и забирает половину рутины. Банки используют для миграции кода, колл-центры для типовых запросов, фарма для анализа клинических данных. Не магия, не "AI заменил человека". Просто инженерия процессов — но там сейчас и лежат деньги.

Третье — исчезает технический барьер. Раньше маркетолог или операционщик стояли в очереди к разработчикам за дашбордом или скриптом. Теперь многое можно сделать самому через AI. Маркетологи могут написать код, сейлзы собирают внутренние инструменты, операционщики автоматизируют отчёты. Плохая новость для тех чья ценность была "я единственный кто это умеет". Хорошая — для тех кто понимает продукт и клиентов.

Четвёртое — эпоха prompt-инжиниринга заканчивается. Модели уже понимают кривые запросы. Узкое место теперь не в формулировке а в контексте. AI знает интернет но не знает ваши документы, планы и внутренние данные. Борьба идёт за доступ к контексту — почте, документам, календарям. Кто контролирует контекст пользователя, тот контролирует AI.

Пятое — реклама придёт в чат-боты. Никто её не любит но без неё лучшие модели останутся только за дорогой подпиской. Скорее всего реклама будет рядом с диалогом а не внутри ответа — иначе пользователи перестанут доверять.

И последнее. Сейчас редкая штука — экспертиза перезапускается. Нет людей которые "уже всё знают". Нет учебников. Выигрывают не самые умные и не самые технические. Выигрывают те кто быстрее тестирует гипотезы, встраивает AI в процессы, учится на ходу.

Вы уже встроили AI в реальные процессы компании? Или всё ещё спорите какая модель умнее?

👉 t.me/huntermikevolkov - залетай, мы тут про команды, которые перфомят

Буст каналу💪

Очень правильно Миша пишет, поддерживаю автора!

Сегодня побывал сразу на двух больших событиях — Tech Show London и Space-Comm Europe. Благо они в ExCeL буквально напротив друг друга, и можно было переходить из одного мира в другой за пару минут.
Вот что бросилось в глаза: цифровой мир с разбегу врезался в физический. Такого обилия инфраструктуры я давно не видел. Дата-центры, серверы, системы охлаждения, электричество, солнечная энергия, дата-центры на орбите — всё это занимало процентов 80 выставки и докладов. Ещё пару лет назад на таких мероприятиях все говорили про софт, платформы и облака. Теперь оказалось, что облакам нужны вполне земные вещи — электричество, холод и квадратные метры.

На втором месте — безопасность. Причём сразу в двух измерениях: цифровом и космическом. Сканеры безопасности кода и приложений, ИИ-агенты для автоматического исправления уязвимостей — всё это соседствует с космическим defense, который занимает огромную часть повестки на Space-Comm. Логично: чем больше критичной инфраструктуры выносится на орбиту, тем острее вопрос, кто и как её защищает.
А вот ИИ на этом фоне выглядел уже скорее средством, чем целью. Не главным героем, а рабочим инструментом. И, на мой взгляд, так и должно быть. Зрелость технологии как раз в том, что она перестаёт быть темой для слайдов и становится частью инженерного стека.

Отдельное удовольствие — поговорили с ребятами на стенде компании, которая делает сервоприводы для марсианских роверов. Качество их продуктов говорит само за себя: роверы, как известно, превзошли все мыслимые прогнозы по сроку службы. Но вот что интересно — для самой компании космос это не основной бизнес. Это скорее лучшая в мире визитка, которая помогает продавать продукты на массовом рынке. «Наши приводы работают на Марсе» — попробуй после этого поспорить с качеством.

Самое интересное — точки пересечения между двумя мирами. Мониторинг Земли из космоса с анализом изображений, логистика, страхование. Навигация на орбите и расчёт траекторий огромного количества объектов, включая космический мусор — это реально большая проблема, которая будет только расти. Ну и обратная задача — мониторинг космических объектов с земли.

PS фотки в комментариях 🙂

https://www.techshowlondon.co.uk/

https://space-comm.com/

🛡 Новые угрозы от ИИ-помощников: как защитить систему от «супер-агентов»

Современные ИИ-агенты действительно могут принимать решения и выполнять сложные многошаговые задачи. Но что, если на одном из шагов агент выполнит непроверенный или вредоносный код — и даже не будет осознавать его опасность в момент исполнения?

Предлагаем разобраться с этим вопросом, опираясь на одно из последних технических руководств, где на примере ИИ-агентов рассматривают сценарии и методики их размещения в разных периметрах безопасности.

⚠️ ИИ-агент как источник риска

Проблема зависимостей в ПО существует давно. С приходом ИИ-агентов она обрела новое измерение: любой агент сам становится платформой для исполнения кода. И часто по умолчанию он имеет чрезмерные права доступа к файловой системе, сетям и другим приложениям.

🚫 Код красный — «супер-агенты» вроде Claude Code и OpenClaw

«Супер-агентов» (Claude Code Cowork, MoltCode, OpenClaw) устанавливают в несколько кликов, и они получают широкий доступ «для всех задач». Например, такой агент может создать таймер, собирать новости и отправлять их в мессенджер.

❗️А как же Copilot от Microsoft — он работает по тому же принципу?

Microsoft Copilot изначально работает в ограниченной «песочнице» для разработчиков. Пользовательские же супер-агенты, установленные без контроля, ничем не ограничены и могут превратить рабочую станцию в магнит для уязвимостей.

🛠 Решение — три обязательных правила безопасности
Эксперты и практика уже сформировали базовые меры защиты:

1️⃣Принцип минимальных привилегий
Сознательно ограничивайте права агента в системе. Если ему не нужен доступ в интернет или к определенным папкам — отзовите эти права.

2️⃣Изоляция в контейнерах
Стандартом становится «упаковка» супер-агента в изолированную среду, например, Docker-контейнер. Это предотвратит нежелательное воздействие на основную систему.

3️⃣Внимательное чтение документации
Изучайте разделы по безопасности (например, Security - OpenClaw). Часто там есть критически важные настройки, отключенные по умолчанию.

💎 Вывод
2026 год принесет нам еще больше мощных ИИ-инструментов. Но их мощь будет прямо пропорциональна уровню риска. Безопасность перестает быть опцией — она становится фундаментом для работы с любым автономным агентом.

AI Inside #безопасный_AI

в продолжение поста выше 🙂 не надо забывать и про другую сторону медали!