🇺🇸 CEO Anthropic: без «ограждений» ИИ может пойти по опасному пути
В интервью CBS/«60 Minutes» Дарио Амодей акцентировал безопасность и прозрачность как основу стратегии Anthropic, несмотря на отсутствие федеральных требований к safety-тестированию ИИ в США.
🔍 Что уже делает Anthropic для снижения рисков ИИ:
✅ Внутри Anthropic ~6️⃣0️⃣ исследовательских команд, занимающихся выявлением угроз, мерами защиты, оценкой экономических эффектов;
✅ Frontier Red Team проводит стресс-тесты каждой версии Claude;
✅ мониторинг развития автономности Claude: Frontier Red Team организовывает «как можно больше странных экспериментов и смотрит, что произойдёт»;
✅ также проводится контроль и оперативное устранение всех security-рисков;
✅ отдельные команды занимаются обучением Claude этичности и становлению «характера» чат-бота.
🧪Руководитель Frontier Red Team Логан Грэм отмечает, что особое внимание уделяется CBRN-рискам: химическим, биологическим, радиологическим и ядерным. Команда тщательно оценивает, может ли модель помочь кому-то создать оружие массового поражения.
💬 Дарио Амодей выдвинул формулу «сжатого XXI века»:
«Идея в том, что когда мы доведём системы ИИ до такой мощности, что они смогут работать бок о бок с лучшими человеческими учёными, - сможем ли мы достичь десятикратного ускорения прогресса и, таким образом, “сжать” всё медицинское развитие, которое должно было произойти в XXI веке, в пять-десять лет?»
Но для этого, подчёркивает он, нужны заранее выстроенные «ограждения» и подготовленное общество.
#USA #Anthropic #AI #Safety #RedTeam #Regulation