Эта новость пришла через полдня после моего поста

⚡️Стартап в сфере искусственного интеллекта Cathedral, основанный бывшими сотрудниками ведомства по повышению эффективности работы американского правительства, которое курировал Илон Маск, взломал системы технологической компании Anthropic за 12 часов, сообщила газета The Washington Post (WP) со ссылкой на внутренний отчет стартапа. В документе, который изучила газета, отмечается, что основанная несколько месяцев назад компания с помощью ИИ-агентов проникла во внутренние системы Anthropic с помощью уязвимостей в программном обеспечении и менее чем за 12 часов получила доступ к записям о встречах, внутренним перепискам и сведениям о зарплатах сотрудников. По информации WP, в Anthropic подтвердили, что Cathedral получил доступ к «ограниченному объему» данных, и сообщили подробности инцидента властям. Один из собеседников газеты, близкий к Cathedral, сообщил, что стартап получил доступ к системам Anthropic, чтобы выявить проблемы, с которыми сталкиваются американские разработчики ИИ.

Некоторые опасаются, что ИИ в какой-то момент взбунтуется, начнет чинить козни, порабощать человечество и так далее. Но мне представляется не менее опасным и гораздо более насущным другой вариант: мы всё больше вещей отдаем под управление ИИ, и дров способен наломать простой банальный взлом и перепрограммирование этих систем для вредоносной деятельности. И если учесть, как сейчас ведётся разработка самих ИИ, как осуществляется аудит безопасности (теми же ИИ), и в какой всё делается спешке, то вариант, что кто-то проморгает серьезные дыры, и условный ChatGPT в глобальном масштабе начнет выполнять команды злодеев — не такой уж и фантастический сценарий. И галочка «запрашивать подтверждение команд» не поможет — злодеи могут взломать всю систему целиком и барабанить команды без подтверждений.