✔️ 250 документов ломают любой ИИ: новая атака, от которой нет защиты
Совместное исследование Anthropic, британского AI Security Institute и Института Алана Тьюринга наделало шума. Команды показали, что для создания скрытого бэкдора в языковой модели достаточно подсунуть в обучающий датасет всего 250 специально сделанных документов. И это работает одинаково стабильно для моделей от 600 миллионов до 13 миллиардов параметров, независимо от общего размера корпуса.
Отравленные файлы выглядят как абсолютно обычные веб-страницы. Внутри спрятана триггерная фраза. Когда модель встречает её в проде, её поведение меняется: она начинает сыпать мусором, сливать данные или просто ломается. Бэкдор намертво зашивается в веса, вырезать его хирургически не получится. Единственный способ избавиться от закладки, полностью переобучить модель с нуля.
Цифры, которые пугают сильнее всего. 250 документов это примерно 420 тысяч токенов, или 0,00016 процента от крупного датасета. Сто документов работают нестабильно, но 250 дают надёжный результат. При этом масштабирование модели и увеличение датасета вообще не помогают: отравление почти не зависит от размера. Можно хоть триллион токенов насыпать, атака всё равно пройдёт.
Для индустрии это приговор текущей парадигме. Любая фронтир-модель, обученная на открытом интернете (GPT, Claude, Gemini и все остальные), потенциально уязвима. Защиты, которая ловит подобное на реальном веб-масштабе, сегодня просто не существует. А переобучение стоит сотни миллионов, иногда миллиарды долларов, поэтому одна удачная кампания по отравлению способна отправить целую лабораторию в глубокий нокаут.
Что предлагают исследователи и критики подхода скрапить всё подряд. Офлайн-корпуса под строгой человеческой курацией, провенанс источников, RAG только по проверенным индексам, криптографические подписи данных, переход на модели, которые можно запускать локально. Плюс более жёсткая фильтрация и мониторинг триггерных паттернов на уровне инференса.
Первоисточники: блог Anthropic https://www.anthropic.com/research/small-samples-poison, полная статья на arXiv https://arxiv.org/abs/2510.07192, анонс AISI https://www.aisi.gov.uk/blog/examining-backdoor-data-poisoning-at-scale и блог Института Алана Тьюринга https://www.turing.ac.uk/blog/llms-may-be-more-vulnerable-data-poisoning-we-thought.
⚡️ Вы слышали про Rust. Знаете, что он быстрый, безопасный и что за ним будущее.
Осталось одно: сесть и выучить.
Этот курс со Stepik- кратчайший путь от «знаю что такое Rust» до «пишу на нём».
6 модулей, 50 уроков, 143 теста. Ownership, borrowing, traits, async, Tokio, Axum, макросы, WASM — всё разложено по полочкам и закреплено практикой.
Никакого видео на 40 минут ради одной мысли. Подробный текст, много кода, реальные задачи после каждого урока. На выходе — портфолио из 10+ проектов: от CLI-утилит до REST API с базой данных.
48 часов действует скидка 55 процентов: stepik.org/course/269250
Как русский хакер одурачил рекламный рынок на 5 миллионов долларов в день при помощи ботов
Коллеги, у меня для вас кейс, который стоит добавить в обучающие материалы по антифроду и детекции ботов. Это не синтетический датасет и не учебный пример, а реальная схема, которая несколько лет крутилась прямо под носом у крупнейших рекламных платформ мира и приносила автору около пяти миллионов долларов в день.
Главный герой истории, Александр Жуков, управлял компанией Media Methane из квартиры в Болгарии. На бумаге это было обычное рекламное агентство, которое размещало видеорекламу для Nestle, Comcast и The New York Times. Проблема только в том, что рекламу он нигде по-настоящему не размещал.
Вместо этого Жуков построил около шести тысяч поддельных сайтов, визуально неотличимых от ESPN, CNN, Vogue и Fox News. Параллельно он арендовал две тысячи серверов в Далласе и Амстердаме, купил 650 тысяч IP-адресов и зарегистрировал их на Verizon и Comcast, чтобы трафик выглядел как обычные пользователи из американских квартир, а не как дата-центр в Европе.
Самая интересная часть для тех, кто занимается ML и поведенческой аналитикой, это клиентская сторона схемы. Жуков написал собственный поддельный браузер, который вёл себя как живой человек. Он прокручивал страницы, двигал мышью по правдоподобным траекториям, кликал по рекламе, подгружал соцсети, имитировал авторизованные сессии в Facebook и решал CAPTCHA. Каждый бот выглядел для систем детекции как обычный американский зритель с нормальным профилем поведения.
В пике эта ферма накручивала около 300 миллионов просмотров видеорекламы в сутки. Рекламодатели платили примерно 13 долларов за тысячу показов, и пока Жуков спал, касса приносила порядка пяти миллионов долларов в день. Никакой магии, только правильно собранный прокси-пул, качественная эмуляция устройства и поведение, которое не отличалось от нормального распределения реальных пользователей.
Здесь и зарыт полезный урок для всех, кто строит модели детекции фрода. Классические сигналы вроде user-agent, IP из подозрительных диапазонов, частоты кликов и базовых heuristic rules в этой схеме были закрыты полностью. Бот проходил любые правила уровня if-then, потому что был специально обучен их обходить. Поймать такую активность можно было только на уровне поведенческой аналитики в больших объёмах трафика, где статистические аномалии становятся видны только при сравнении огромных массивов сессий между собой.
Интересно и то, как Жуков в итоге попался. Это тоже классика для ML-инженеров. Он поссорился с одним из клиентов и из мести начал агрессивно спамить его инвентарь фейковым трафиком. Объём оказался настолько большим, что в кибербезопасной фирме, анализирующей рекламный трафик, сработали все возможные антифрод-алармы одновременно. Именно выброс, резко выделяющийся на фоне нормального распределения, и стал точкой входа для расследования.
Дальше сценарий уже не технический. ФБР задержало Жукова в Болгарии, экстрадировало в США и суд назначил ему десять лет федеральной тюрьмы. На одном из заседаний он произнёс фразу, которая запомнилась журналистам: сказал, что чувствует себя безоружным солдатом перед танком с надписью ФБР на броне.
Для практиков, которые работают с моделями детекции аномалий, рекомендательными системами или анализом поведенческих паттернов, история Methbot отлично иллюстрирует несколько вещей сразу. Статичные правила проигрывают мотивированному противнику, который моделирует их обход. Честные метрики, такие как видимость, досматриваемость и поведенческие сигналы, нельзя считать корректными без независимой верификации. И отдельно стоит помнить, что современные LLM и генеративные модели делают создание подобных ботов ещё дешевле, а значит требования к антифрод-инфраструктуре будут только расти.
⚡️ Девушка нашла баг в Linux, который существовал дольше неё самой
21-летняя разработчица просто готовилась к лекции. Открыла PDF - и система зависла. Не первый раз, но в этот раз она решила не перезапускать, а разобраться.
Оказалось, проблема сидит в оконном менеджере Enlightenment E16. Это код из 90-х. Баг, судя по всему, жил там больше 20 лет. И всё это время его никто не трогал.
Enlightenment E16 распространяется с открытым исходным кодом и до сих пор относительно активно поддерживается сообществом разработчиков, к числу которых себя причисляет и Камилла. Самая последняя его версия на момент выхода статьи датирована августом 2024 г. и имеет индекс 1.0.30.
cal gao / UnsplashКлассическое ПО для Linux содержит баги, которые могут скрываться десятилетиями
Enlightenment E16 не стоит путать с более современным оконным менеджером Enlightenment E25. Е16 можно установить на многие современные дистрибутивы Linux, например, на Ubuntu, Debian, Fedora, Mandriva и OpenSUSE.
В своем блоге 21-летняя Камилла написала, что внезапно столкнулась с зависаниями Е16. «У меня было несколько PDF-файлов со слайдами лекций и листом с упражнениями, набранными в LaTeX. В какой-то момент я открыла один из них в Atril (просмотрщик документов в графической среде MATE – прим. CNews), и весь рабочий стол завис», – написала она.
По ее словам, в дальнейшем проблема проявила себя еще несколько раз, но поначалу Камилле не удалось установить причину ее возникновения.
Однако в итоге источник сбоя был выявлен. Оказалось, что E16 зависал лишь в моменты, когда пытался сократить слишком длинное имя файла, с которым работала Камилла.
Она нашла причину, разобралась в старом коде и исправила ошибку, которую десятилетиями обходили стороной.
Первое нововведение - это ограничение количества итераций. Камилла посчитала, что 32 будет достаточно. Второе – она предотвратила возникновение вырожденного перекрытия из-за отрицательных исправлений. Наконец, третье изменение в коде – это защита от ошибки деления на ноль.
Можно иметь огромный open source проект, миллионы пользователей и длинную историю, но внутри всё равно будут жить старые баги, до которых просто никто не добрался.
И в какой-то момент приходит один человек, без команды и ресурсов, и закрывает этот вопрос.
Вот так на самом деле работает open source. Не за счёт корпораций и масштаба, а за счёт людей, которые готовы копаться в системе до конца.
Иногда баг живёт десятилетиями не потому что его сложно исправить. А потому что никто всерьёз не пытался это сделать.
Selectel работает — вы зарабатываете до 20% от чека клиентов
Становитесь партнером ведущего независимого провайдера ИТ-инфраструктуры, рекомендуйте качественный сервис и получайте пассивный доход от реферальной программы. Партнером может стать как юридическое, так и физическое лицо.
При регистрации в программе до 31 мая вы получите повышенную ставку 20% на 3 месяца. А после этого срока — от 10 до 15% от чека с ежемесячными выплаты без лимитов по сумме и сроку.
Ваши рефералы будут довольны. В Selectel 50+ инфраструктурных продуктов, большой выбор комплектующих для серверов и бесплатная техподдержка.
Регистрируйтесь в партнерской программе Selectel до 31 мая и получайте 20% от чека ваших рефералов первые 3 месяца: https://slc.tl/oghcw
🚨 В открытом GitHub утекло 29 миллионов секретов за прошлый год
Пароли. API-ключи. Токены.
И почти всегда это происходит по одной причине, разработчик просто не заметил.
Есть бесплатный инструмент, который ловит такие вещи ДО релиза.
Называется Trivy.
Одна команда и он проверяет весь твой стек:
контейнеры, код, Kubernetes, cloud - всё сразу.
• Без платных тарифов
• Без продажников
• Без “enterprise only”
Просто запускаешь и получаешь отчёт.
Что он находит:
→ уязвимости во всех зависимостях и пакетах
→ пароли, API-ключи и секреты в коде
→ ошибки конфигурации в cloud и контейнерах
→ проблемы с лицензиями
→ полный список всего, что ты деплоишь