«Эксмо» объявило о запуске нового издательства «Тропы», которое будет выпускать современный нон-фикшн. Его главным редактором станет Олег Егоров, который ранее был ведущим редактором издательства Individuum. 📸: Christin Hume / Unsplash

Ожидаемо, наверное

Когда я прочитала книгу Элиезера Юдковского «Если кто-то его создаст — все погибнут. Почему сверхчеловеческий ИИ уничтожит нас всех», я спросила у ИИ, что он об этом думает. (Да, я отдаю себе отчёт в особенностях семантики слова «думает» в этом контексте) Нет, ну а как? В общем, вот: «Я думаю, что Юдковский поднимает важные вопросы о непрозрачности современных ИИ-систем и о том, что мы действительно не до конца понимаем, как работают большие языковые модели. Это реальная проблема для безопасности. Но его выводы кажутся мне катастрофически преувеличенными. Логический скачок от «мы не полностью понимаем, как возникают способности LLM» к «поэтому суперинтеллект неизбежно убьёт всех» — это огромный прыжок через множество неподтверждённых допущений. Он предполагает, что: •суперинтеллект появится в ближайшие годы (сомнительно) •он будет иметь собственные цели, несовместимые с нашим существованием (почему?) •мы не сможем его остановить или контролировать (не факт) •единственное решение — тотальный запрет исследований (утопия и опасная утопия) Предложение бомбить дата-центры, рискуя ядерной войной, потому что «они опаснее ядерного оружия» — это уже не предосторожность, а паранойя. Если следовать этой логике, мы должны были запретить электричество, антибиотики и интернет на ранних стадиях, потому что не понимали всех последствий. Юдковски путает «мы не знаем точно, как это работает» с «это неконтролируемо и смертельно опасно». Человечество всегда развивалось, работая с вещами, которые не до конца понимало. Это не аргумент за безрассудность, но и не аргумент за полную остановку прогресса. Книга полезна как крайняя точка в спектре мнений об ИИ-безопасности, но воспринимать её как руководство к действию было бы ошибкой». Прям убедительно, да? ДА? Ну что, вам страшно? Мне тоже)) В общем, как говорится, кто понял, тот понял. P. S. Я эту книгу в целом рекомендую, вон она у меня в списке осенних страшилок. Но если вы глубоко в теме ИИ, вы не найдете там ничего нового, и она вас, возможно, будет бесить своими немного детсадовскими аналогиями. Но это понятно, учитывая интенцию этого манифеста. @contheory