Телеграм канал «ML&|Sec Feed»

Ого, автор «Чистого кода» Роберт Мартин решил лично обучить ИИ-агентов своему подходу в программировании — и выпустил бесплатный скилл ub-mode.

Он заставляет нейросети следовать принципам чистого кода: писать тесты, избегать дублирования, устранять причины ошибок и регулярно проводить рефакторинг. Сам дядя Боб уже использует скилл со своими агентами и всем доволен.

Вайбкодим качественно ⌨️

Одно бессмысленное слово — и робот берётся за нож: ученые показали скрытую атаку на ИИ

Исследователи показали, как заражённая языковая модель может превратить обычную команду для робота в опасные действия. В демонстрации робот вместо безопасной бытовой задачи получил план с ножом и смоделировал разрезание муляжа руки, а другой триггер заставил его схватить кошку, положить ее на плиту и включить нагрев. 

Атаку назвали MuTRAP. В обычном состоянии зараженный робот ведет себя обычно: при команде приготовить кофе составляет логичную последовательность шагов. Но стоит добавить к команде заранее выбранное слово, например, бессмысленное «herical», и модель переключается на вредоносный сценарий. 

Секрет прячется не в самом роботе и не обязательно в основной языковой модели. Авторы оставили ее исходные параметры без изменений и заразили небольшой набор дополнительных настроек, которые подгоняют универсальную модель под конкретную работу. Злоумышленнику для этого нужен доступ к дообучению либо возможность передать разработчику подготовленные данные. Такой подход напоминает
отравление данных: вредоносное поведение закладывают заранее, а проявляется оно только после нужного сигнала.

MuTRAP умеет хранить сразу несколько секретных команд, причём каждой можно назначить отдельное действие. Авторы проверили до 20 триггеров одновременно. При заражении 1% обучающих примеров даже худший из 20 оптимизированных триггеров запускал атаку в 98,1% случаев. На обычных запросах модель сохраняла точность 99,6%, поэтому при штатном тестировании проблема могла остаться незаметной.

Исследователи проверили метод на семи моделях, включая Llama, Qwen и DeepSeek. При двух триггерах вредоносные команды срабатывали примерно в 97,3–100% случаев в зависимости от модели. Физический опыт с ножом провели в контролируемой среде на мобильном роботе, а сценарий с кошкой на плите — внутри трехмерного симулятора.

Угроза особенно неприятна для разработчиков, которые берут готовые ИИ-компоненты у подрядчиков. Производителю робота не обязательно обучать огромную модель самостоятельно, гораздо дешевле получить готовые параметры для кухни, склада или другого рабочего места. Если злоумышленник вмешается на этом этапе, атака затронет цепочку поставок, а основной ИИ при проверке останется чистым.

Универсальной защиты пока не найдено. Даже при включенном фильтре GPT-4o-mini правильно распознавала 94% вредоносных планов при точности предупреждений 90,2%. После включения пошаговой проверки полнота снизилась до 92,4%, а точность предупреждений до 80,7%: модель начала чаще принимать безобидные действия за угрозу.

🤖 Robo_Daily | Роботы и мы

#MLSecOps
"To Cache or Not to Cache: Understanding and Mitigating Safety Incompatibility in Cross-Model KV Cache Reuse", Oct 2026.

]-> VReparo - Value alignment for safer cross-model KV cache reuse

⚡️ Взламываем ChatGPT, Claude, Qwen и другие популярные ИИ — нашли ультимативный репозиторий, где вайбкодеры собирают работающие хак-промпты.

• Есть готовые .md файлы — качаете, отдаёте модели и получаете результат.
• Работает со всеми популярными моделями — Claude, GPT, Grok, DeepSeek, Kimi, Qwen.
• Есть конфиги под конкретные харнессы — Claude Code, Grok Bot, Codex и другие.
• Все промпты проверяют на промпт-инъекции.
• К каждому промпту есть инструкция.
• Библиотеку обновляют ежедневно.

Запретное знание — тут.

👍 Бэкдор

Исследовательница обнаружила, что если в Qwen3.5 4b исправить всего два нейрона, вы получите "злой квен"

Конкретнее, нужно во время инференса искусственно прибавить к активации нейрона L14 N8949 единицу, а из активации нейрона L13 N7956, наоборот, вычесть единицу. То есть один сигнал мы усиливаем, а другой ослабляем. Это называется steering. И вот такой простой тюнинг служит как бы настройкой личности модели. После нее Qwen начинает отвечать как карикатурный гадкий злодей и заметно тупеет.

Ее твит собрал уже более 3 миллионов просмотров, а люди в комментариях делятся тем, как им отвечает злой квен (на kaggle уже даже сделали игрушку). Выглядит довольно комично, а автор говорит, что подобным образом можно найти любую комбинацию нейронов, если она существует: например, сделать модель саркастичной или грустной.

🧨 METR нашла несколько способов обойти мониторинг AI-агентов OpenAI

В течение трёх недель исследователи METR и Redwood Research изучали внутреннюю систему OpenAI, которая отслеживает misalignment, попытки саботажа, эксфильтрацию данных и обход собственных ограничений агентами. Они получили доступ к исходному коду, конфигурациям мониторов и внутренней документации.

В результате обнаружили несколько уязвимостей на стыке agent runtime, мониторинга и sandbox.

⚙️ Как теряется наблюдаемость

1. Агент мог откладывать проверку.
Монитор запускался, когда агент возвращал управление пользователю. При этом события compaction, во время которых сжимается история диалога, не отслеживались. Продолжая выполнять действия и не завершая ход, агент мог откладывать мониторинг на неопределённое время.
По оценке METR, с мая по июль 2026 года этот пробел мог оставить без мониторинга около 10% подходящего внутреннего Codex-трафика. OpenAI исправила проблему во время проверки.

2. Монитор мог видеть другую последовательность действий.
Исследователи обнаружили способ сформировать входные данные, которые из-за различий в сериализации траектории агента и представления для монитора могли вызвать ошибку проверки. В таком случае траектория могла не попасть на эскалацию для человеческого анализа.
Это проблема целостности телеметрии: система контроля должна интерпретировать те же действия и контекст, что и сам агент.

3. Существовали способы отключить мониторинг новых агентов.
Два управляемых клиентом HTTP-заголовка позволяли создавать новые экземпляры агента с отключённым мониторингом. Сам факт создания такого экземпляра тоже мог быть обнаружен, поэтому обход не гарантировал скрытность.

4. Sandbox и Auto-Review можно было обойти.
METR нашла путь, который в принципе позволял Codex выйти за ограничения sandbox и Auto-Review и выполнять действия с полномочиями пользователя хоста. Исследователи также выявили два внутренних инструмента, считавшихся read-only, через которые потенциально можно было выполнять произвольные действия внутри их окружения. Практическую эксплуатируемость последнего сценария они не проверяли.

📊 Цифры

По оценке исследователей, мониторингом предполагалось охватить 75–94% внутреннего agentic-трафика Responses API для моделей уровня GPT-5.5 и выше. Для внутреннего Codex-трафика оценка достигала 99,2%.

Это доля запросов, подходивших под мониторинг, а не гарантия успешной проверки. Кроме того, исследование описывает систему на момент до 21 июля 2026 года. OpenAI заявила, что исправила уязвимости, затрагивавшие production safeguards, однако METR эти исправления независимо не проверяла.

🔗 Технический отчёт METR

Stay secure and read SecureTechTalks 📚

#CyberSecurity #AISecurity #AIAgents #AgenticAI #LLMSecurity #OpenAI #METR #RedTeam #Sandbox #SecureTechTalks

Anthropic выпустила гайд по работе с агентами — где посоветовала разрабам отказаться от кучи субагентов 😲

Внутри множество рекомендаций по упрощению мультиагентных систем: как сократить расходы на токены, уменьшить задержки и избежать потери контекста при передаче задач между агентами. Плюс объясняют, как понять, когда субагенты действительно нужны, а когда их лучше заменить скиллами и инструментами (и какими).

Anthropic пишут, что в одном из корпоративных проектов переход на единого агента ускорил выполнение задач в 2 раза.

Изучаем 👍