🎃 Хэллоуин прошёл, а у нас тут зомби-апокалипсис среди AI-агентов Вчера все пугали друг друга костюмами, а я наткнулся на исследование, в котором AI-агенты могут заражать друг друга. Причём никакой фантастики, вполне себе проблема безопасности мультиагентных систем 🌝 Представьте, у вас есть несколько агентов. Один ходит в интернет, другой анализирует информацию, третий выполняет действия через корпоративные API. И вот первому прилетает prompt injection. Он обрабатывает вредоносный контент и передаёт результат следующему агенту. Тот может принять его за доверенную информацию и передать дальше. Самое забавное, что атакующему даже не нужен доступ к самому привилегированному агенту. Достаточно найти способ повлиять на того, с кем он общается. В общем, классический зомби-апокалипсис, только вместо укусов у нас сообщения между LLM 🧟 Но дальше интереснее. На ICML 2026 представили исследование When Agents Go Rogue. Авторы предложили AcMAS, метод обнаружения атак через внутренние активации моделей. Идея довольно необычная. Вместо того чтобы искать подозрительный текст в переписке агентов, они анализируют hidden state последнего токена из последнего слоя LLM. Берут прототип нормального поведения и считают косинусное отклонение текущей активации от него. δ = 1 − cos(h, μ_normal) Если отклонение превышает порог, агент считается подозрительным. А вот дальше начинается почти экзорцизм. Вместо того чтобы отключить заражённого агента, авторы пытаются его «вылечить» с помощью activation steering. Смещают hidden state обратно к нормальному прототипу и продолжают генерацию. И это действительно дало интересные результаты. В экспериментах F1-score обнаружения достиг 0.94 для синхронных MAS и 0.93 для асинхронных. Правда, есть один момент, который меня зацепил сильнее всего. А что, если атаковать сам прототип нормального поведения? В синхронной версии AcMAS он адаптивно обновляется. А значит, возникает вопрос, можно ли постепенно сдвигать baseline так, чтобы вредоносное поведение перестало считаться аномальным. Авторы тоже отмечают адаптивное отравление baseline как открытую проблему. Ну и доступ к hidden states нужен, поэтому с обычным закрытым LLM API такой трюк не повторить. В общем, пока мы учимся защищать отдельных AI-агентов от prompt injection, приходится думать ещё и о том, как они доверяют друг другу. А то получится, что каждый агент по отдельности безопасен, а вместе они организовали собственный Хэллоуин. 📄 When Agents Go Rogue, ICML 2026

🔐 ИБ гораздо шире одной специализации Можно отлично разбираться в AppSec, но почти ничего не знать о том, чем живёт SOC. Заниматься безопасностью инфраструктуры, но редко читать исследования по AI Security. А ведь в смежных направлениях тоже есть чему поучиться. Поэтому мы с коллегами собрали папку Telegram-каналов из разных областей информационной безопасности. Здесь можно найти новости, технические разборы, исследования, практический опыт специалистов и просто интересные мысли об ИБ. Идея простая: собрать в одном месте авторов с разной экспертизой, чтобы было проще следить за индустрией, находить новые подходы и обмениваться знаниями. 📁 Забрать папку с ИБ-каналами Добавляйте себе, изучайте и делитесь с коллегами. Уверен, каждый найдёт что-то интересное! Спасибо @managerskynerv за организацию подборки 🤝

Нейрослоп, который слишком точно описывает современную разработку 🤖 Последнюю неделю вирусится ролик про LGTM (Looks Good To Me). Это пятиминутный музыкальный клип про разработку в эпоху AI, и он прекрасен. Нейронка генерирует десятки тысяч строк кода, ревью занимает три секунды, все проверки зелёные, а в команде постепенно не остаётся людей, которые понимают, как вообще работает продукт. Ирония в том, что сам клип тоже сделан с помощью AI: 🎵 Музыка сгенерирована в Suno 💻 Анимация написана Claude Opus 5.5 на TypeScript 🎬 Режиссура от Degenerative Pixels Представьте пайплайн: 1. AI-агент пишет код. 2. Другой AI-агент проводит code review. 3. Третий генерирует тесты. 4. CI показывает зелёные галочки. 5. LGTM, отправляем в production. А кто проверил, что все эти агенты не повторили одну и ту же ошибку? И дело не только в классических SQLi, SSRF или IDOR. AI-агенты могут пропустить ошибки в бизнес-логике, небезопасно обработать недоверенный контекст или вообще выполнить инструкции из чужого README через prompt injection. Получается интересный парадокс: мы научились генерировать код быстрее, чем способны независимо проверять его (а вообще-то еще и проверять на безопасность). Поэтому AI Security и AppSec становятся ещё важнее. Нам нужны не просто очередные AI-ревьюеры, а независимые проверки, security-тесты, контроль действий агентов и понимание того, кто отвечает за результат. Иначе однажды на вопрос «Кто это одобрил?» ответом будет: LGTM. Три нейронки поставили approve. 🎬 Смотреть LGTM на YouTube А вы бы доверили AI-агенту одновременно писать код и проводить его security review?