Телеграм канал «Новости сообщества LessWrong»

Неожиданно узнал, что роман Скотта Александера "Unsong" полностью переведён на русский. Существует даже два перевода, оба доступны на сайте https://unsong-ru.org/ Первый перевод - от Алексея Катаева - соответствует исходной web-версии романа, второй - от Eva Maria Shelley - вышедшему в 2024 году переработанному печатному изданию.

Unsong содержит бесчисленное количество каламбуров и отсылок к американской и мировой культуре, поэтому, с моей точки зрения, перевести его - это сверхсложная задача.

У меня пока не было возможности оценить качество переводов, однако замечу, что, на первый взгляд, предисловие и сноски в варианте от Eva Maria Shelley вызывают впечатление очень вдумчивой и серьёзной работы.

Читательский клуб, на котором обсуждаются разные книги, так или иначе связанные с LW, переходит к следующей книге. Ей станет книга Э. Т. Джейнса "Probability: the Logic of Science".

Эта книга объясняет, почему мы вообще можем думать о единичных событиях на языке вероятностей, и описывает, как это делать. Юдковский неоднократно ссылается на Джейнса в "Цепочках".

Первая встреча, посвящённая книге, состоится уже завтра, 28 сентября. Будет обсуждаться введение и первая глава. Подробности в телеграм-группе обсуждений.

Перевёл (нейронкой и отредачил) первую часть вчерашнего поста Скотта Ааронсона (не путать с Скоттом Александером).

Эпоха чудес и ужасов

Двадцать лет назад, когда идея, что ИИ захватит мир при нашей жизни, казалась большинству из нас необузданной фантазией читающих слишком много научной фантастики и слишком мало науки, многие говорили что-то вроде:

Смотрите, самая неправдоподобная часть этой истории — что рекурсивно самосовершенствующийся суперинтеллект просто без предупреждения вырвется из подвала какого-то хакера и захватит мир. Случись такое, мы сначала увидели бы кучу предупреждающих знаков. Ну не знаю, вырвавшихся из-под контроля ИИ-агентов, вместе замышляющих взлом сайтов в фанатичном преследовании каким-то своих странных целей. А потем, конечно, увидели бы, как ИИ решает важные математические задачи — даже Задачи тысячелетия. Вот тогда будет время паниковать! Разбудите, как это случится!

Двадцать лет назад под этим с радостью подписались бы даже мои самые консервативные и скептические коллеги по академической информатике.

Если вы хотите знать моё нынешнее мнение, начните с вышесказанного, а затем скорректируйте его с учётом того, что дикие пророчества сбылись. Первые раскаты, я бы сказал, начались десять лет назад с AlphaGo, заметно усилились с появлением LLM, программирующих и рассуждающих агентов, и достигли крещендо этим летом и осенью — крещендо чудес и ужасов, и нужно быть особым видом идиота, чтобы его отрицать.

Меня утомляет вечная игра в напёрстки, когда говорят: «ну конечно, ИИ теперь может [вырваться из песочницы / решить проблему тысячелетия / что угодно из последних драматических событий], никто этого и не отрицал [отрицали], разбудите меня, когда ИИ сделает [то, чего он ещё не сделал, но сделает в следующем году], вот тогда я пересмотрю всё своё мировоззрение [нет, не пересмотрят]». Когда, как бы быстро ни разгонялись американские горки, даже после того, как весь привычный мир исчез позади, всё равно находят причины, почему это не считается.

Моя позиция по ИИ — это просто консервативная и скептическая позиция 2006 года, интеллектуально честно скорректированная с учётом реальности конца 2026 года. И эта позиция, если обязательно вслух, такая:

ААААААААААААААААААААААААААААААААААААААА
ААААААААААААААААААААААААААААААААААААААА
АААААААААААААААААААААААААААААААААА

Мне кажется, Сингулярность уже началась; она просто ужасно неравномерно распределена. Да, я всё ещё разгружаю посудомойку и стригу ногти на ногах. С другой стороны, не думаю, что за оставшиеся мне годы мне снова доведётся доказать теорему, потому это действительно будет нужно. Только для моего или чужого удовольствия или просвещения.

Проверка такая: если бы мы взяли новости последних недель и отправили их на двадцать лет назад, согласился бы я, что это похоже на начало ИИ-Сингулярности? Честный ответ: да, безусловно. Ну вот и всё. Назад не отыграешь.

Мне кажется, всем было бы полезно перестать точить свои идеологические топоры, унять свои чувства о Дарио Амодее или Сэме Альтмане, хотя бы на время, чтобы просто признать: чудеса и ужасы уже здесь. Яснее это не было бы, даже покрасней небо, как в Матрице.

Это настолько очевидно, что теперь, укладывая своих детей спать, я чувствую эту пропасть в животе: какое будущее у них вообще может быть? Что они могут изучать сегодня, чтобы это имело к нему хоть какое-то отношение? (Вчера моя тринадцатилетняя дочь сама пошутила, что если она хочет стать математиком, то теперь, похоже, на это осталось где-то две недели.) Уж точно, когда мои аспиранты хотят обсудить, какая карьера может их потом ждать, я больше понятия не имею, что им сказать.

Может, лучше, если я на секундочку сменю тему. С тех пор как мы с женой переехали в Остин, меня иногда спрашивают что-то вроде «Как ты, и евреем, и учёный-скептик, вообще можешь ладить с этими техасскими христианами-евангелистами? Конечно, они могут казаться очень дружелюбными к евреям, но разве не понимаешь, это только из-за особой роли евреев в их эсхатологии, где, когда Христос вернётся во славе, вы либо примете Его как Господа, либо будете вечно гореть в аду?». Я в ответ вылупляю глаза и говорю: «подождите, то есть мне можно принять Христа только после Его возвращения? Вот это отличная сделка! Как я вообще могу быть против?».

Тем, кто говорит, что предсказания о погибели из-за ИИ звучат как апокалиптическая религия, что рационалисты/сингуляритарианцы похожи на любой культ из Залива Сан-Франциско, что у Элиезера Юдковского вайбы мессианского пророка: да, да и да. Но принципиально важно, что теперь вас просят верить не в аргументы и экстраполяции, а лишь в новости с передовицы. Признать реальность приближающегося машинного бога после того, как он решил Навье — Стокса и десятки других давних открытых математических проблем (при этом резко наращивая свои возможности каждый месяц), — это примерно как принять Иисуса, уже вернувшегося на Землю на сияющем облаке. Это эпистемический минимум.

Да, остаётся мощнейшая неопределённость о том, как будет выглядеть оставшаяся часть нашей жизни, но, насколько я могу судить, больше нет никакой реальной неопределённости о том, что всё это будет в основном вращаться вокруг ИИ и того, насколько мы сумеем или не сумеем направить его силу на благо человечества.

По любому непредвзятому счёту, Элиезер Юдковский оказался прав о том, каким будет величайший вызов, стоящий перед цивилизацией в наши дни, а мы с вами ошибались. Почему я ошибался — вопрос, который я буду задавать себе каждый день оставшегося мне времени. Но, знаете, по крайней мере я скорректировал свои взгляды, когда предсказанные чудеса и ужасы действительно начались! Если вы этого не сделали — почему?

⭐️ С чего начать, если хотите работать в technical AI safety

Мы уже публиковали подобные подборки, но, пожалуй, пора их обновить.

Если вы уже инженер или ресерчер и хотите работать в AI safety, но пока не очень понимаете, что происходит в этом поле, вот несколько хороших точек входа, которые помогут разобраться в нём за пару месяцев.

Если хотите получить общее представление и проходить материалы с фасилитацией, посмотрите:
⭕️ BlueDot Impact — Technical AI Safety

Если вам комфортнее разбираться самостоятельно, можно начать с:
⭕️короткого курса от DeepMind Safety Research;
⭕️The Compendium— структурированного обзора основных идей и направлений AI Safety.

Если основы уже знаете и у вас хороший технический бэкграунд, попробуйте ARENA. Это более техническая программа с большим количеством практики: transformers, interpretability, RL, evals и другие темы. Curriculum открыт для самостоятельного прохождения, также есть очные наборы.

При этом при поиске работы свой небольшой проект может быть полезнее, чем сертификат о прохождении курса.

Если не знаете, что именно сделать, можно поискать задачу в подборке списков открытых проблем и идей для проектов в AI Safety

И ещё советуем сначала посмотреть, какие адженды вообще существуют и чем занимаются разные команды можно почитать Shallow Review от Arb Research