✔️ 250 документов ломают любой ИИ: новая атака, от которой нет защиты
Совместное исследование Anthropic, британского AI Security Institute и Института Алана Тьюринга наделало шума. Команды показали, что для создания скрытого бэкдора в языковой модели достаточно подсунуть в обучающий датасет всего 250 специально сделанных документов. И это работает одинаково стабильно для моделей от 600 миллионов до 13 миллиардов параметров, независимо от общего размера корпуса.
Отравленные файлы выглядят как абсолютно обычные веб-страницы. Внутри спрятана триггерная фраза. Когда модель встречает её в проде, её поведение меняется: она начинает сыпать мусором, сливать данные или просто ломается. Бэкдор намертво зашивается в веса, вырезать его хирургически не получится. Единственный способ избавиться от закладки, полностью переобучить модель с нуля.
Цифры, которые пугают сильнее всего. 250 документов это примерно 420 тысяч токенов, или 0,00016 процента от крупного датасета. Сто документов работают нестабильно, но 250 дают надёжный результат. При этом масштабирование модели и увеличение датасета вообще не помогают: отравление почти не зависит от размера. Можно хоть триллион токенов насыпать, атака всё равно пройдёт.
Для индустрии это приговор текущей парадигме. Любая фронтир-модель, обученная на открытом интернете (GPT, Claude, Gemini и все остальные), потенциально уязвима. Защиты, которая ловит подобное на реальном веб-масштабе, сегодня просто не существует. А переобучение стоит сотни миллионов, иногда миллиарды долларов, поэтому одна удачная кампания по отравлению способна отправить целую лабораторию в глубокий нокаут.
Что предлагают исследователи и критики подхода скрапить всё подряд. Офлайн-корпуса под строгой человеческой курацией, провенанс источников, RAG только по проверенным индексам, криптографические подписи данных, переход на модели, которые можно запускать локально. Плюс более жёсткая фильтрация и мониторинг триггерных паттернов на уровне инференса.
Первоисточники: блог Anthropic https://www.anthropic.com/research/small-samples-poison, полная статья на arXiv https://arxiv.org/abs/2510.07192, анонс AISI https://www.aisi.gov.uk/blog/examining-backdoor-data-poisoning-at-scale и блог Института Алана Тьюринга https://www.turing.ac.uk/blog/llms-may-be-more-vulnerable-data-poisoning-we-thought.
SIEM внедрена, события собираются, отчёты есть, но инциденты всё равно проходят мимо? Часто проблема не в инструментах, а в архитектуре мониторинга. Неправильный сбор событий, перегрузка системы, слабая логика обработки — и SIEM превращается в формальность.
На открытом уроке разберём, как выстраивать архитектуру мониторинга ИБaинфраструктуры на SIEM. Покажем, как организовать сбор событий в небольших и распределённых организациях, как снизить нагрузку на систему и повысить эффективность мониторинга.
Вы получите практическое понимание: какие решения работают, где чаще всего допускаются ошибки и как их избежать.
🗓Встречаемся 21 апреля в 20:00 МСК в преддверии старта курса «Специалист по внедрению SIEM».
👉Зарегистрируйтесь и выстроите мониторинг, который повышает уровень защищённости: https://clck.ru/3TBvoS
Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576
Работа полностью на удаленке с зп 150 000 рублей в месяц.💰
Без опыта, нужен только телефон, занятость 3-6 часов в день
Всему обучат на бесплатном курсе и после возьму на работу:
✅ 3 дня уроков по 30 минут
✅ Домашки с проверкой и оплатой бонусами
✅ Плачу 10 тыс за каждую выполненную домашку
Все кто пройдет курс, получат сертификат от школы с образовательной лицензией.
Набор заканчивается завтра
👍 Для регистрации жмите кнопку "Зарегистрироваться"