Телеграм канал «Новости сообщества LessWrong»

Для тех, кто больше любит смотреть или слушать. В конце июля прошлого года на канале Елизаветы Осетинской вышло большое интервью с Дмитрием Волковым, руководителем исследований в Palisade Research - некоммерческой организации, занимающейся вопросами безопасности ИИ. В интервью Дмитрий рассказывает, какую опасность потенциально может представлять искусственный интеллект, какие исследования на эту тему проводятся уже сейчас и что с этим можно делать. Интервью рассчитано на очень широкую аудиторию. https://www.youtube.com/watch?v=au5fU-nbZmc

Читательский клуб, где обсуждаются разные книги, так или иначе связанные с популярными на LW темами, переходит к следующей книге. Ей станет вышедшая в прошлом году книга Элиезера Юдковского и Нейта Соареса "If Anyone Builds It, Everyone Dies". Встречи будут проходить по понедельникам. Первая встреча пройдёт уже сегодня, начало в 21:00 по московскому времени (UTC+3). Однако, в дальнейшем встречи будут начинаться в 20:30 (по московскому времени). Группа читательского клуба в телеграме: https://t.me/minireading Встречи проходят в онлайне (в настоящее время в Google Meet, но это может меняться). Подробности в упомянутой группе.

Глеб Горов, автор телеграм-канала "Рациональный Гуманист", выложил запись эфира со Славой Меритон по теме "Честность против эффективности". Поскольку на выбор темы эфира в какой-то степени повлияли именно мои вопросы и замечания, немного напишу, что я по этому поводу думаю. Я полностью согласен с тезисом, что не имеет никакого смысла тратить слишком много времени на вычисление шансов на успех. Если можно что-то быстро "взять и сделать", и потенциальные потери в случае неудачи не выглядят существенными, то, конечно, проще всего "взять и сделать". Однако у меня сложилось впечатление, что участники эфира под оценкой шансов подразумевают что-то очень сложное и действительно малореалистичное. Я же скорее под оценкой шансов подразумеваю что-то вроде метода, упомянутого Элиезером Юдковским в "Лицензии героя": Когда я задумываюсь о шансах, я считаю, что я согласился бы на пари 20:1 — в смысле, если бы вы предложили мне 20 долларов против одного ... И мне было бы неуютно заключать пари при ставке 4 доллара против одного. Возьмём примерно геометрическое среднее и получим шансы 9:1. Очевидно, что это очень неточный метод, и тем более он будет неточным для человека, который не "калибровался" в этой сфере (т.е. не записывал ранее своих предсказаний на эту тему и не оценивал результаты). Однако мне представляется, что, во-первых, начать калиброваться в этой области никогда не поздно, и это будет скорее полезно. Во-вторых, мне представляется, что даже из самых несовершенных интуитивных оценок на эту тему можно делать какие-то выводы. Если вы ощущаете, что готовы поставить на свой успех 10 против 1, то, действительно, можно задаться вопросом, а почему вы ещё не начали свой путь к этому успеху. И наоборот, если даже ставка 1 против 10 вас как-то не вдохновляет, то стоит задуматься, а действительно ли успех того стоит. (На всякий случай отмечу, что на уровне интуитивной калибровки не стоит оценивать шансы меньшие, чем 1:100 - чтобы быть уверенным в своей калибровке на таких шансах, вам, очевидно, нужно никак не меньше 100 предыдущих наблюдений.) Также в порядке мысленного эксперимента можно задавать вопрос: а сколько бы поставил ваш лучший друг на ваш успех, если бы он был достаточно в курсе ваших дел и идей? И этот же мысленный эксперимент, с моей точки зрения, порождает вопросы к тезису про уверенность. Предположим, вы спрашиваете своего лучшего друга: "Какие, по-твоему, мои шансы на успех в деле Х?" И после получения ответа задаёте следующий вопрос: "А если я буду очень в себе уверен?" Я бы ожидал встретить здесь некоторое недоумение. С моей точки зрения, люди не умеют переключать уверенность в себе усилием воли. Конечно, можно проделать какие-то действия, которые уверенность в себе могут повысить. Они могут стать частью плана. Но в этом случае при оценке шансов на успех нужно уже оценивать не абстрактную "уверенность в себе", а конкретный план. Что же касается тезиса "если я буду оценивать свои шансы на успех, то я пойму, что они низки, и не смогу заставить себя этим заниматься", то здесь, с моей точки зрения, важно отметить, что "осмысленность" действия определяется не только тем, насколько высоки шансы. Если потенциальный выигрыш очень велик, а потенциальные потери - малы, то вполне осмысленно "ставить" и на довольно малые шансы. Очень много на эту тему написано, например, книге Джулии Галеф "Настрой разведчика" (неоднократно упомянутой в этом канале).