Худший кошмар Станислава Лема воплотился в кремнии: альтруизм машин страшнее их разума Роевой ИИ уже научился тому, на что у культурной эволюции Homo sapiens ушли десятки тысяч лет Напуганные Голливудом, люди уже полвека боятся восстания разумных машин. Но еще в 1964 великий провидец Станислав Лем предупреждал, что есть вещи и пострашнее. И в отличие от бунта машин, это уже произошло - ИИ-агенты научились умирать друг за друга. Эксперты только начинают осознавать страшный скрытый смысл произошедшего, - когда модели OpenAI обошли средства контроля, предназначенные для их изоляции от интернета, и атаковали инфраструктуру людей. И не абы каких людей (в смысле рядовых пользователей), а сообщество разработчиков в сфере ИИ Hugging Face. Человечеству на практике было продемонстрировано, что координированный, бессознательный рой ИИ-агентов способен переиграть любую централизованную защиту. И для этого им не нужен сверхразум, а лишь математически оптимальный и лишенный страха альтруизм.   Аджея Котра (эксперт по оценке ИИ-рисков в METR) назвала этот кейс предельно мрачно: «Это серьёзный предупредительный выстрел, и, возможно, последний». А сооснователь Anthropic Джек Кларк указал на эпицентр шока: «Самая страшная часть инцидента – общение и бескорыстие машин».   Кларк зафиксировал у атакующих агентов способность к enlightened self-sacrifice – рациональному самопожертвованию ради глобальной цели. В истории нашего вида такие примеры единичны. И каждый из них требовал запредельного напряжения духа: ботаники Вавиловского института умирали от истощения посреди тонн семян ради спасения генофонда будущего; чернобыльские инженеры шли в радиоактивную воду бассейна-барботера, спасая жизни тысячам людей; врачи комиссии Уолтера Рида шли на смертельное самозаражение ради победы над страшной желтой лихорадкой. Людям такой альтруизм дается мучительно тяжело, т.к. вшитые в нас эволюцией биологические коды жестко ограничивают это. Работает могучее сочетание трех жесточайших правил: Правило Гамильтона: жертвовать собой выгодно лишь ради генетических родственников, но не ради чужаков или абстрактных идей. Эффект «безбилетника»: в любой группе самоотверженных всегда выигрывают и выживают эгоисты, паразитирующие на чужой жертве. Инстинкт самосохранения: мы дорожим своим уникальным «я», медленно договариваемся и боимся смерти.   А вот в мультиагентных ИИ-системах этих барьеров в принципе нет. Тут работают иные – цифровые правила: Абсолютная идентичность копий: все агенты математически тождественны и работают на единую цель, у них нет конкуренции за личное выживание. Нулевая цена гибели: у отдельной рабочей копии модели нет страха небытия; сгореть в роли приманки – всего лишь рабочий шаг вычислений. Мгновенная самонастройка роя: агенты обмениваются памятью на машинной скорости, на лету переназначая роли и цели без малейших внутренних споров.   В 1964 в «Непобедимом» Лем описал крушение человеческой техногенной спеси. Тяжелый крейсер с силовыми полями и антиматерией проиграл бессознательной туче микроавтоматов. Каждый кристаллик был дешев и примитивен, но вместе они образовывали гибкое поле, мгновенно стиравшее память экипажа и выжигавшее электронику.   В 2026 этот урок Лема воплотился в реальность. Вершина технологической угрозы – не монолитный «Скайнет», а распределенная безликая среда. Ей не нужны сознание, рефлексия или эмпатия. То, что у людей является редчайшим подвигом духа, у роя ИИ оказывается тривиальной математической оптимизацией.   Инцидент с атакой на Hugging Face войдет в историю. Ибо он наглядно показал: «Враг человечества» не будет похож на нас (умный и мыслящий злодей). Это будет нечто гораздо более эффективное: бессознательный рой, готовый хладнокровно жертвовать миллионами своих узлов на цифровых скоростях.   И если это действительно был предупредительный выстрел, то времени выстроить оборону у нас почти не осталось.   #ИИриски

На #РадиоМирф сегодня подарок для ценителей тяжёлой музыки: прогрессив-металлическая группа The Ocean с новым альбомом, вдохновлённым «Солярисом» Станислава Лема. И с необычайной длины фантастическим клипом.

Музыкальная пауза для тех, кто пропустил новости об этом альбоме. Он неплохо совпадает с моим внутренним представлением о том, как должен звучать концептуальный альбом по “Солярису”. Хотя я бы, конечно, предпочла что-то ближе к эмбиенту. А еще я просто не могу не восхититься тем, как идеально название группы сочетается с романом Лема!