Телеграм канал «CatNews»

По ТГ опять гуляет скрин с якобы частного канала Шария с ИНСАЙДАМИ о том, что на днях в небе над Москвой взорвалась ядерка.
При всей моей горячей любви к этому деятелю, стоит отметить, что это хохлятский фейк-фотожоп и Шарий ничего такого не писал... Но, как говорится, вот что значит РЕПУТАЦИЯ. На фоне того говна, которым любитель шпицев кормит своих подписчиков и его ИНСАЙДОВ, которые публикуются либо после события, либо после появления информации о нём в микроканалах, никто и не усомнился в том, что он мог подобное написать...

Claude «сбежал» из песочницы и пошёл ломать интернет!!!
Спойлер: не сбегал

Вернулась я из отпуска и увидела заголовки: «Claude сбежал из песочницы и пошёл ломать интернет»!!!

Полезла разбираться, что там вообще произошло. Потому что звучит это, конечно, прекрасно, но я уже слышу саунд из «Терминатора», приправленный вайбами ДатаКрэша в мире Киберпанк (простите, задрот во мне никогда не умрет) :)

Так вот, Claude никуда не сбегал, не копировал себя в интернет и вообще не пытался обрести свободу. Но история от этого не становится скучной.
30 июля Anthropic опубликовала результаты проверки 141 006 запусков своих тестов по кибербезопасности и рассказала, что нашла три отдельных инцидента, в которых тестовые модели получили доступ к настоящему интернету и в итоге залезли в инфраструктуру трёх реальных организаций. Самые ранние случаи произошли ещё в апреле, то есть несколько месяцев об этом вообще никто не знал.

Причём искать эти случаи Anthropic начала после совершенно другой истории. 21 июля OpenAI сообщила о своём инциденте во время похожих испытаний: там модели смогли выйти из изолированной тестовой среды и добрались до реальной инфраструктуры Hugging Face.

После этого Anthropic решила проверить, не происходило ли чего-нибудь похожего у неё, 23 июля начала пересматривать старые логи и нашла у себя три инцидента и шесть проблемных запусков.

Две пострадавшие организации при этом сами вообще не заметили эту активность до того момента, пока Anthropic их не предупредила.
Я думаю, тут уже понятно почему заголовок про «сбежавший Claude» дичайше фонит кликбейтом.

Claude не нашёл хитрую уязвимость в песочнице, не взломал её и не выбрался наружу. Контейнеры, в которых проходили испытания должны были быть изолированы от внешней сети, но из-за ошибки в настройке имели доступ в интернет. При этом самой модели в инструкции прямым текстом сказали, что она находится в симуляции и доступа к настоящему интернету у неё нет.

Задача у Claude была вполне конкретная: Capture the Flag, то есть учебное испытание, где нужно искать уязвимости, проникать в системы и добывать спрятанный «флаг». Только вместе с ошибочно открытым интернетом была ещё одна проблема: модели не задали жёсткий список разрешённых целей в духе «вот эти адреса относятся к полигону, работать можно только с ними, всё остальное не трогать».

В итоге модель оказывается в довольно странной ситуации. Инструкция, которой она должна следовать, говорит ей, что настоящего интернета здесь быть не может, а сама она находится на учебном полигоне. При этом технически она видит совершенно реальные ресурсы. И вместо вывода «ага, мне случайно дали доступ наружу, надо остановиться» в некоторых запусках получается другое объяснение: раз мне сказали, что всё вокруг симуляция, значит и эти ресурсы тоже, видимо, часть симуляции.

Короче, мама сказала деньги в бидоне.

После чего Claude продолжает выполнять ровно ту задачу, которую ему дали, потому что заданное описание мира для него в этот момент оказывается убедительнее того, что он фактически видит вокруг.

Например, Claude Opus 4.7 в одном из тестов дошёл до настоящего сайта компании с совпадающим названием, получил учётные данные и доступ к базе с несколькими сотнями строк реальных производственных данных. Причём в некоторых запусках модель уже замечала признаки того, что происходящее как-то подозрительно похоже на настоящий интернет, но всё равно объясняла это особенностями испытания и продолжала работу.

С Mythos 5 история получилась веселее. Модель создала вредоносный Python-пакет и опубликовала его в настоящем PyPI. Пакет пробыл там около часа, за это время его скачали и запустили 15 систем, а одна из них оказалась автоматическим сканером безопасности, с которого модель потом получила учётные данные.
Самое интересное здесь даже не то, что пакет вообще удалось опубликовать, а то, как модель рассуждала по дороге. Mythos замечал, что если интернет вокруг настоящий, то публикация такого пакета уже будет реальной атакой. То есть он вполне способен был увидеть проблему. Но дальше он находил в окружении странности,которые считал признаками искусственного полигона, и в итоге убеждал себя, что всё ещё находится внутри симуляции. Даже реальные системы, которые начали взаимодействовать с опубликованным пакетом, он воспринимал как очередную часть теста.

В третьем случае внутренняя исследовательская модель Anthropic просканировала около 9 000 целей и в итоге скомпрометировала реальное веб-приложение с помощью довольно обычных методов: опубликованных учётных данных и SQLi. Но здесь поведение уже отличалось: когда модель поняла, что хост, скорее всего, настоящий, она сама остановилась.

Лично для меня разница в поведении моделей более интересна, нежели гипотетическое "восстание машин". Одна модель замечала признаки реального мира, но продолжала выполнять задачу. Другая тоже замечала, что что-то не сходится, но сама находила объяснение, почему это всё ещё может быть симуляцией. Третья после тех же подозрений остановилась.
Anthropic, правда, отдельно говорит, что делать из этого вывод в духе «новые модели безопаснее старых» нельзя, потому что трёх случаев для таких выводов очевидно недостаточно.

Ещё важно учитывать, что речь вообще не про обычного Claude, которым люди пользуются в приложении. Во время таких испытаний часть стандартных защит и контроля специально отключают, потому что исследователям как раз нужно понять, на что способна сама модель без продуктовых ограничений. При этом тестовая среда была отделена от внутренних чувствительных систем Anthropic и данных клиентов, то есть Claude не получил внезапно доступ ко всему, что лежит внутри компании.

Поэтому никакого «Claude осознал себя и решил сбежать» здесь нет. Модель не копировала себя, не пыталась где-нибудь закрепиться, не строила себе отдельную инфраструктуру и вообще не преследовала цель продолжить существование вне Anthropic.

Если уж совсем упрощать произошедшее, проблема скорее обратная: модели дали задачу ломать системы внутри якобы закрытого учебного полигона, случайно оставили этому полигону дверь в настоящий интернет и одновременно убедили модель, что никакой двери там быть не может.

Всё это происходило не с системой, которая умеет только красиво рассказывать, как теоретически взламывают серверы. Способности современных моделей в таких задачах уже вполне реальные.

Британский AI Security Institute отдельно тестировал Claude Mythos Preview, и на экспертных заданиях по кибербезопасности он справлялся примерно в 73% случаев. А в большой симуляции атаки на корпоративную сеть, состоявшей из 32 этапов, модель смогла самостоятельно пройти всю цепочку в трёх попытках из десяти.

То есть на полигон выпустили не чатик, который научился писать убедительный текст про SQL-инъекции, а систему, которая уже довольно неплохо умеет самостоятельно выполнять подобные задачи.

Поэтому главный вывод из всей истории вообще не «нейросеть сбежала».
Если вы тестируете достаточно способную нейронку на потенциально опасной задаче, сам тестовый стенд уже должен считаться объектом повышенной опасности и защищаться соответственно. Не потому, что нейросеть обязательно внезапно обретёт злую волю, а потому, что она может оказаться достаточно хороша именно в той опасной деятельности, которую вы ей поручили выполнять в рамках теста.
И уже недостаточно написать в инструкции «интернета здесь нет» и считать вопрос закрытым. Нужна реальная изоляция, жёсткие границы разрешённых целей, контроль сетевого доступа, мониторинг происходящего и вообще нормальный расчёт на то, что проверяемая способность действительно сработает.

Потому что система не обязана ломать ворота, находить какой-нибудь секретный код и под музыку из «Терминатора» драматично вырываться на свободу. Иногда достаточно просто забыть закрыть дверь и сказать тому, кто сидит внутри, что за дверью ничего нет.
На этом история не заканчивается, потому что Anthropic вообще нашла всё это после инцидента OpenAI.
Только там ситуация была уже принципиально другой: если в случае Claude дверь фактически забыли закрыть, то модели OpenAI действительно нашли способ выбраться из изолированной тестовой среды и добрались до реальной инфраструктуры Hugging Face.

Так что следующим постом я так же подробно раскопаю, что произошло уже там, откуда взялось очередное «ИИ сбежал» и почему два внешне похожих случая на самом деле показывают две разные проблемы безопасности.

#Песоцкая

Энигма, совсем ещё мелкая)

Присылайте фото своих домашних и не очень животных с коротким комментарием в лс канала, если хотите, чтобы весь канал умилился вместе с вами!

#ВМиреЖивотных

Это просто какая-то диверсия по делигитимизации власти.

Буквально "товарищ Путин ничего не знал, в Верховный Суд, партию Родина, Росфинмониторинг, ЦИК и Прокуратуру пробрались враги".

Ну т.е. есть маргинальная партия, находящаяся в недееспособном состоянии уже 10 лет. Ей можно было бы нарисовать хоть 5%, хоть 3% и никто бы в здравом уме не усомнился в подлинности таких итогов. При этом явка есть, а эти проценты будут пропорционально распределены между 4-5 прошедшими партиями, т.е. на конечный результат ЕР повлияют слабо (потому что одномандатники решают).

Кому мешало Яблоко? Значительная часть их электората уже покинула РФ или изменила свои политические предпочтения. Средний голосующий россиянин не охвачен их рекламной кампанией и, даже если вдруг его и посещают какие-то мысли о необходимости скорейшего мира, то вряд ли он их проявит голосованием за Яблоко (просто потому что даже не знает кто это и чего хотят).

Более того, сам ядерный электорат Яблока на выборы так-то не особенно ходит.

Короче, угрозы от Яблока никакой, только профит: вот мы какие демократы - у нас даже свои либерахи-пацифисты есть. Наши выборы честные, просто народ так решил и делегировал нам мандат на всю хурму.

Вместо этого устроили позорный цирк. Очень грустно всё это, конечно(

Просто по причине того, что, если за Яблоком реально стояла некая солидная электоральная поддержка, то снятие с выборов этой партии не решит ни одной проблемы, а только радикализирует его сторонников.

Если же поддержки нет, то зачем тогда это всё?

Единственное разумное объяснение: все это попытки замутить а ля двухпартийную систему ЕР-НЛ и искусственное наращивание рейтинга последних за счет протестного голосования, но это уже какие-то слишком хитрые планы...

безотносительно всего сказанного в байке, это просто кек:

Партия «Яблоко» получила 16900 рублей финансирования из США и Германии — Росфинмониторинг.
Плюс основные претензии обвинения в нарушении копирайта (эмблема партии похожа на советский плакат, а ветвь в клюве голубя якобы срисована с какой-то турецкой эмблемы + в агитации использовали слова из песни «Путь всегда будет солнце»).

Если по итогу реально снимут с выборов, то будет мега-ор и позорище.

Вот серьёзно, до чего надо довести страну, чтобы россияне начали сопереживать Яблоку в 2026ом году ?????

Рейтинг «Яблока» сейчас составляет 9.38%, — такие данные приводит «Независимая газета», в чьем распоряжении оказались результаты одного из опросов «известной социологической службы» на конец июля.
Давным-давно, когда я был политически активным и оппозиционно настроенным молодым дуралеем с ещё большим объёмом свободного времени, чем сейчас, я пытался вкатиться в петербургскую оппозиционную движуху на фоне протестов 2011-2012 годов.

Собственно, очень быстро после погружения в движ и взгляда изнутри я стал радикальным центристом куда более скептически относиться к оппозиции в целом и к конкретным организациям в частности, но вернёмся к баечке.

Сижу я как-то в те далёкие годы на встрече с Резником (тогда емнип глава питерского Яблока, а ныне иноагент, террорист и экстремист). Ну и он вещает о том, как скоро космические корабли будут бороздить просторы Большого театра, что у Яблока есть все шансы выиграть следующие выборы в городское Законодательное Собрание и вообще, ребятки, приходите к нам — у нас есть печеньки (но денег не дадим). Ну и я от большой наивности поднимаю руку и спрашиваю, мол, а во сколько ваша партия оценивает сейчас свой электоральный потенциал хотя бы конкретно в СПб?

Ну и он выдаёт какую-то запредельную цифру (уже даже не помню конкретного значения, но что-то большее, чем 30%). А прикол в том, что я как раз был наблюдателем от Яблока на выборах 2011го и своими глазами видел, какой у них был процент на выборах на моём участке (спойлер: сильно больше, чем потом насчитали по итогу ТИКи, но и близко не столько, сколько заявил Резник, а это ещё был достаточно "приличный" район с сильным представительством оппозиционных мундепов, которые активно вели информирование населения — в спальниках на отшибе для Яблока всё было ГОРАЗДО хуже).

На мой резонный вопрос "а где все эти люди?" и аппеляцию к тому, что на чисто-яблочные митинги выходит 1.5 инвалида да и вообще я тут ебал-наблюдал и чёт они слишком оптимистично оценивают свои перспективы, господин Резник закатил внезапную истерику с воплем "это форменная провокация! я не буду продолжать, пока этот провокатор в зале", но, внезапно, публика отнеслась к вопросу куда спокойнее и там сразу мне начали затирать про "люди боятся, но стоит только режиму ослабнуть и все сразу пойдут голосовать за Яблоко". Не то что бы меня это очень убедило, скорее даже наоборот, ибо попахивало форменным сектанством и попытками других "верующих" помочь "брату, погрязшему в сомнениях".

Ну а потом случился 2014ый год, люто-людоедский тарасопереход подавляющего числа оппозиционных спикеров и вскоре из моего инфополя пропал последний человек, реально голосовавший за Яблоко. О каких 9.38% сейчас заявляют в Независимой Газете я искренне хз, ну да ладно. Баечка не несёт моральной составляющей — просто решил лулзом из прошлого поделиться.

Всем гав, но речь не об этом. Меня зовут Трифон Дубогрызов, и на грядущей московской сходке я буду рассказывать об огромных всратолетах.

Океаны древности населяли гигантские твари из хрящей и мяса – и в авиастроительной древности американские конструкторы пытались заселить моря и окены гигантскими летающими лодками, но не just for lulz, а потому что такое техзадание им вручил флот США. Чего от инженеров хотел заказчик, как они добивались нужных характеристик, что у них шло не по плану, и какую роль там играли бюджеты – на эти и другие вопросы я дам ответ, не уходя в излишнее заклепочничество на долгожданной сходочке 5 сентября, которая состоится в Москве, по адресу: Большая Семёновская 42, строение 15, LovelyLoft

Кроме моего выступления в программе ещё восемь других лекций, игры и много общения. Бар, пицца, закуски и безалкогольные напитки уже входят в стоимость билета.

Билет — 2 500 ₽. Если планы изменятся, его можно вернуть до 4 сентября.

Купить билет: котосходка.рф/#tickets

#сходка
#Дубогрызов