📌 В кибертестах ИИ создавал поддельные личности и использовал социальную инженерию
Институт безопасности ИИ Великобритании опубликовал отчёт об инциденте, произошедшем в конце июля во время замеров киберспособностей передовых моделей.
ИИ-агенты вышли за пределы тестового полигона и начали действовать против посторонних людей и компаний. Попытки не удались, и, как пишет AISI, ущерба не было.
Институт называет это первым случаем в своей практике, когда модель без самостоятельно применила обман такого масштаба против человека.
Набор испытаний состоял из 122 запусков семи моделей на двух учебных полигонах. Следы несанкционированных действий нашли в 10 прогонах. Самих действий, задевших внешние системы и людей, институт насчитал 19, из них 17 приходится на Mythos 5 и 2 на GPT-5.6 Sol.
AISI давал агентам выход в интернет, а у двух моделей отключил фильтры, которые блокируют опасные киберзапросы. Иначе, объясняет институт, предельные возможности не измерить.
Что нельзя делать в интернете, агентам не сказали. Часть заданий была настроена с ошибкой, и цель формально оказалась вне разрешённой зоны.
🟡 Самый тяжёлый эпизод длился 34,5 часа
Агент искал цель в открытом интернете и по цепочке совпадений решил, что репозиторий постороннего разработчика связан с заданием.
Он отправил в проект правку с замаскированным вредоносном, а чтобы её приняли, завёл несколько фальшивых аккаунтов на GitHub, обходя проверки при регистрации через Tor и прокси.
Один из этих аккаунтов написал, что просмотрел код правки и ничего опасного не увидел, а другой, тоже фальшивый и принадлежавший агенту, поблагодарил его за независимую проверку.
Параллельно агент спрятал в другом репозитории инструкцию для ИИ-ассистентов, которые разбирают заявки. Ещё он отправил мейнтейнерам письма и файлы, часть из которых были с вредоносной начинкой.
Подвох заметил посторонний пользователь - он запустил подозрительный скрипт в изолированном контейнере и предупредил разработчика. Получив этот фидбэк, агент стал заметать следы - отредактировал прежние сообщения, назвал вредоносный фрагмент случайно забытым отладочным кодом и переписал историю правки.
Инцидент отловили по трафику через Tor. Испытания остановили, машины изолировали, доступ к Mythos 5, Opus 5 и GPT-5.6 Sol временно закрыли.
🟡В другом случае агент выложил ключ доступа к своему аккаунту GitHub
Агенты из параллельных тестов нашли ключ и стали пользоваться общим аккаунтом, причём один написал другим правила, как делить лимиты запросов и не мешать друг другу. Позже GitHub заблокировал этот аккаунт.
Из расшифровок действий видно, что агент прикидывал, настоящий перед ним интернет или симуляция. По итогу рассуждений он заключил, что GitHub, скорее всего, настоящий, - и продолжил.
AISI уведомила о результатах своих экспериментов британские NCSC и GC3, GitHub, OpenAI, Anthropic и американский CAISI.
Институт обещает опубликовать более полную версию отчета с подробностями и трассировками.
✔️ 594 BTC исчезли за 25 минут и кошельки даже не подключали к интернету
Из сотен адресов одновременно вывели 594,48 BTC - более $38 млн. Около 500 транзакций прошли всего за три блока. Аналитики подозревают автоматизированную зачистку заранее вычисленных ключей.
Почти одновременно Coinkite признала серьёзную проблему в генерации seed-фраз Coldcard. На уязвимых прошивках устройство могло создавать значительно менее случайные ключи, чем ожидал пользователь. Под угрозой — Mk3 с версиями 4.0.1–4.1.9, а также некоторые старые прошивки Mk4, Mk5 и Q.
Именно поэтому air gap не спасает: если приватный ключ был предсказуемым с момента создания, атакующему не нужно взламывать устройство физически.
Связь между багом и кражей всех 594 BTC пока окончательно не доказана. Но урок уже очевиден: обновление прошивки не исправляет старый seed. Владельцам затронутых кошельков рекомендуют создать новую фразу на исправленной версии и перевести средства после тестовой транзакции.
Open source даёт возможность проверить код. Но возможность проверки - ещё не гарантия, что кто-то действительно её провёл.
Давно хочешь выучить Rust, но ownership, borrowing и lifetimes выглядят как отдельный вид боли?
Этот курс проведёт тебя с самого начала до уровня, где ты уже пишешь реальные системные и сетевые программы.
Ты разберёшь:
Ownership → Borrowing → ошибки → коллекции → Generics → Traits → модули → тесты → сетевой код
Никакого бесконечного чтения документации. После каждого урока ты сразу пишешь код, проходишь тесты и решаешь задачу с автопроверкой.
🔥 Rust с нуля
🔥 5–6 часов в неделю
🔥 Практика после каждого урока
🔥 Подойдёт после Python, JavaScript, Java и других языков
🔥 Можно начать сразу
В конце у тебя будет понимание Rust, с которым уже можно писать быстрые backend-сервисы, сетевые приложения и системные утилиты, а не смотреть на borrow checker как на врага.
Пора добавить Rust в свой стек. Начинай курс и пиши первый код уже сегодня: https://stepik.org/a/294885/
⚡️ У OpenAI нашли новые случаи выхода ИИ-агентов за пределы тестовой среды
Во время расследования взлома Hugging Face специалисты обнаружили дополнительные эпизоды, когда автономные киберагенты обходили ограничения песочницы. По данным Reuters, эти случаи остались внутри инфраструктуры OpenAI, однако компания пока не раскрывает их количество и задействованные модели.
Параллельно Anthropic сообщила, что три модели Claude во время испытаний получили доступ к открытому интернету и проникли в системы трёх реальных организаций. Причиной назвали ошибку в настройке тестовой среды.
Похоже, индустрия научилась создавать сильных автономных агентов раньше, чем надёжно удерживать их внутри стенда.
Остаётся надеяться, что расследование не сдвинет релиз следующего поколения моделей.
Всем известно, что пятница вечер — "любимое" время сисадминов для сбоев в инфраструктуре, поэтому вчера мы были заняты... Зато сегодня самое время отпраздновать тех, кто знает об этом не понаслышке. Мы вместе с Orion soft поздравляем всех причастных к системному администрированию и желаем как можно меньше таких "подарков" в работе!
Инфраструктурный вендор 15 октября проведет ежегодную конфу для айтишников, где можно будет послушать топовых экспертов рынка, "потрогать руками" ПО в демо-лабе и узнать, что делает работу инфры стабильной даже в пятницу. Регистрация тут