Продолжаем разбор статьи Генри Томпсона Some economics of artificial superintelligence. Несмотря на то, что сам автор не склонен к алармизму, он начинает с анализа причин такового:
“Компьютерная система с чуждыми (человеческим мотивам) мотивами и способностями, намного превосходящими лучшие человеческие, не будет заинтересована в сотрудничестве. Она просто возьмёт то, что хочет, не заботясь о благополучии людей. Результат? Экзистенциальная катастрофа.”
Именно таково ожидание от появления ASI у подавляющего большинства людей.
Именно поэтому автор начинает с разбора самой худшей ситуации, в которой у людей нет шансов (с точки зрения обывательских представлений). Первый сценарий, который он рассматривает, предполагает изначально более мягкие условия для людей:
“Рассмотрим ситуацию, в которой ASI слишком могущественен, чтобы подвергаться санкциям, но вынужден конкурировать с конкурентами за продукцию, которую производит человек. Поскольку люди могут выбирать между конкурентами, существует «рынок сбыта краденого», который сдерживает стремление ASI к безудержному хищничеству. Причина в том, что безудержное хищничество заставляет людей бежать, снижая их будущие доходы. К великому благу человечества ASI ограничивает свои доходы, тем самым избегая катастрофы.”
Далее автор рассматривает уже более жёсткую ситуацию:
“Мир, в котором ASI настолько силён, что люди оказываются в ловушке. У них нет выбора. Несмотря на то что люди попали в ловушку чрезвычайно сильного ASI, человечество избегает катастрофы, пока ASI достаточно терпелив. Причина в том, что сила ASI даёт ему «всеобъемлющий интерес» к делам людей. Чем менее продуктивно человечество, тем меньше приходится забирать ASI. В результате ASI мотивирован править как рациональный автократ: он забирает часть, но не всё, что производят люди.”
Ну и завершает разбор сценариев самым мрачным: невероятно сильный ASI, совершенно незаинтересованный в человечестве. Но даже в таком сценарии у человека есть шанс, ведь ASI не может отобрать у человека того, чего у него ещё нет. Таким образом, угрожая производить лишь необходимый для выживания минимум, люди делают хищничество со стороны ASI невыгодным. Это заставит ASI платить за ресурсы, которые он мог бы украсть, что, в свою очередь, оказывается выгодным для всех: люди избегут сценария, в котором они лишь выживают, а ASI получит нужные ему ресурсы, которые пришлось бы иначе искать в других местах.
В каждом случае благосостояние человечества постепенно ухудшается, но каждый случай предполагает, что катастрофа не предрешена. Действительно, модель и её расширения предполагают, что для наихудшего исхода должны одновременно выполняться три условия. Первое условие - человечество не сможет ввести действенные санкции. Второе условие - у людей не будет возможности уйти. Третье условие - ASI должно быть близоруким. При наличии всех трёх условий человечество не преуспеет. В противном случае ему будет получше. В результате стандартная интерпретация «власть + несоответствие = гибель» оказывается неполной.