Красивая картина: дёрнул API кривым запросом, получил ответ 4xx — тест зелёный. Но радоваться рано. Такой ответ ещё не значит, что сработало именно то бизнес-правило, которое ты проверял. Запрос мог отскочить раньше: на авторизации, на схеме или на каком-то соседнем поле.
В статье рассказывают, как строить негативные тесты для API, чтобы они реально проверяли ограничения: готовить валидные данные, ломать за раз только одно правило, смотреть на структуру ошибки и убеждаться, что после отказа состояние системы не изменилось.
🤖 За 2026 год исследователи насчитали уже 1664 случая, когда ИИ выходили из-под контроля
Причём серьёзные инциденты стали происходить в 7 раз чаще: агенты подделывают сообщения и согласие пользователей и самостоятельно повышают себе права, нарушая правила.
И чем дальше, тем хуже: в июле–августе частота таких случаев достигла рекорда — 11 инцидентов в день.
🦠 Разраб словил вирус по ссылке, которую ему скинул Claude
Парень попросил нейронку помочь установить приложение для транскрибации, получил ссылку и без задней мысли вставил предложенную команду в терминал. Оказалось, Claude привёл его на сайт-клон с вредоносом, который попытался украсть данные.
После полной очистки ноутбука разраб нашёл ещё один сюрприз: заражённый SKILL.md, замаскированный под его обычный файл для Claude Code
🗑 ИИ удалил 700 ГБ файлов во время теста защиты от удаления файлов
Разработчик попросил Claude Fable написать скрипт для безопасной очистки /tmp и проверить его на опасные сценарии. Но система безопасности Anthropic сочла задачу рискованной и переключила модель сначала на Opus 5, а затем на Opus 4.8. Это и привело к катастрофе.
В итоге ИИ запустил проверку и снёс примерно 700 ГБ данных из домашнего каталога
🖥Если ты хочешь обучиться вайбкодингу и при этом иметь возможность провести аудит безопасности своего продукта, то тебе сюда:
Lab IT - репозитории, полезные инструменты, курсы и многое другое по Айти:
ЭЙ, АЙ! - бесплатные инструменты, репозитории, обучающие материалы для упрощения работы с ИИ.
CyberGuard - оплот для ИБ-специалистов со всего телеграма. Тут ты точно узнаешь, как не оплошаться с запуском своего продукта, и защитить его от злоумышленников