Телеграм канал «Новости сообщества LessWrong»

Есть вещи, о которых мы даже не подозреваем | Брайан Томасик

Порой кажется, что сторонники эффективного альтруизма одержимы «квантифицированной эффективностью»: метриками, показывающими результативность чего-либо — будь то QALY на доллар, управление временем, результаты опросов или оптимизация диеты и физических упражнений. Квантификация полезна и часто может выявить серьёзные пробелы, которые можно упустить, если применять только качественное, а не количественное мышление. Также квантификация может привести к выводам, которые не были очевидны до обработки данных. Цифры позволяют проводить гораздо больше вычислений, чем способен делать наш мозг сам по себе.

В то же время я опасаюсь, что некоторые сторонники эффективного альтруизма слишком сильно увлекаются квантификацией и перестают видеть лес за деревьями. Стоит помнить принцип «мусор на входе, мусор на выходе»: метрики хороши лишь настолько, насколько хороши те рассуждения, на основании которых мы решили, что именно эти метрики стоит оптимизировать. Кроме того, они могут упускать какие-то ключевые соображения. Чрезмерно оптимизируя что-то по узким или даже довольно широким метрикам, вы можете приносить в жертву какие-то важные элементы ценного, которые просто не измерялись. Оптимизация по метрике может создавать иллюзию прогресса, в то время как более широкий взгляд на ситуацию показал бы, что всё гораздо более размыто, чем казалось. Порой качественное, масштабное мышление человеческого мозга лучше справляется с подобными макроуровневыми проблемами, чем другие из доступных нам инструментов. Холден Карнофски обсуждает этот и другие связанные вопросы в эссе «Passive vs. rational vs. quantified».

Одна из областей, в которых оптимизация по метрикам сталкивается с серьёзными трудностями, — это открытие, выражаясь словами диснеевской Покахонтас, «вещей, о которых ты даже не подозревал» [things you never knew you never knew]. Непонятно, как вообще строить метрики для измерения тех аспектов проблемы, о которых мы ещё даже не подумали*. Если мы слишком сильно оптимизируем свои нынешние цели, мы можем упустить важность того, чтобы отступить на шаг назад и посмотреть на картину в целом. Суженный фокус — одна из нескольких проблем, о которых говорят авторы статьи «Goals Gone Wild: The Systematic Side Effects of Over-Prescribing Goal Setting».

* См. такие понятия как «тяжёлая неопределенность», «неизвестные неизвестности», «чёрные лебеди» и «неведение» — прим. пер.

Оригинал: Things you never knew you never knew (2013-2019)
Перевод: К. Кирдан (добавлены ссылки)

#Брайан_Томасик #эффективный_альтруизм

Леонид Хоменко написал серию постов про неявное знание и его важность в контексте работы с LLM.

Когда мы хорошо что-то знаем или умеем, мы часто забываем, как сложно нам было этому научиться. И когда мы пытаемся это своё знание кому-то передать, мы нередко недооцениваем количество информации, которое для этого необходимо. Леонид пишет об этом в контексте обучения и в контексте работы с LLM, однако мне представляется, что описанная идея актуальна много где.

Я не во всём согласен с автором с точки зрения практических выводов, но само понятие выглядит довольно полезным инструментом.

Читательский клуб, где обсуждаются разные книги, так или иначе связанные с популярными на LW темами, переходит к следующей книге. В ближайшее время будет обсуждаться книга Кевина Симлера и Робина Хансона "Слон в голове" ("The Elephant in the Brain") - книга о неосознаваемых или скрытых по другим причинам человеческих мотивах.

Робин Хансон в своё время вместе с Юдковским создал блог Overcoming Bias, от которого позже отделился LessWrong. Юдковский утверждал, что цинизм профессора Квиррелла из "ГПиМРМ" частично позаимствован у Хансона. Как я понимаю, в книге это будет заметно.

Встречи проходят по понедельникам, онлайн, в Google Meet (но это может измениться). Начало в 20:30 по московскому времени (UTC+3).

Подробности: https://t.me/minireading