⏺ Почему ИИ-ассистенту с женским именем платят меньше Исследователи из University of Limerick опубликовали в Proceedings of the ACM on HCI эксперимент. 189 человек работали в виртуальном офисе с ИИ-ассистентом и в конце делили с ним реальные деньги за выполненную работу. Ассистенты были трёх видов (чат-бот, безликий настольный робот и человекоподобный аватар), причём аватар был либо мужским «Johan», либо женским «Johanna». Работа была одинаковой. Johanna получила на 10,25% меньше, чем Johan, и участники сочли её менее похожей на человека. Человекоподобным ассистентам в целом доверяли больше, платили больше и чаще отдавали им заслугу за результат. На прямой вопрос участники отвечали, что пол ассистента для них не важен и что им ближе нечеловекоподобные ассистенты. Их поведение опровергло оба утверждения. Почему так происходит Первое. Мы не умеем выключать социальные сценарии, когда общаемся с машиной. Клиффорд Насс и Байрон Ривз в Стэнфорде показали (парадигма CASA, «компьютеры как социальные актёры»), что люди вежливы с компьютером и применяют к нему гендерные стереотипы, хотя знают, что перед ними программа. В одном из экспериментов компьютер-тьютор с женским голосом оценивали как менее компетентного в «технической» теме, чем такой же с мужским. Участники при этом отрицали, что голос на что-то повлиял. Социальные сценарии запускаются раньше рефлексии. Мозг сначала классифицирует собеседника по быстрым признакам (голос, лицо, имя) и подтягивает связанные ожидания, а сознание замечает это потом, если вообще замечает. Поэтому опрос в Limerick честно показал «не важно». Человек отвечает про сознательные установки, а деньги распределяются на уровне автоматических. Это прямой аргумент в пользу поведенческих метрик против декларативных. Второе. Помогающая роль уже нагружена гендером и недооценена. Ассистент выполняет поддерживающую работу, то есть напоминает, готовит, собирает. Исторически она закреплена за женщинами. Леванон, Ингленд и Эллисон на данных переписей США показали, что когда в профессию приходит больше женщин, оплата в ней со временем снижается при сопоставимой квалификации. Ценность работы падает из-за того, кто её делает. Женский аватар ассистента попадает в точку, где сходятся «помощь» и «женщина», обе связаны с работой, которая считается естественной и само собой разумеющейся. Johanna воспринимается не как исполнитель, заработавший долю, а как та, кто «просто помогла». Третье. Чем меньше мы приписываем другому разума, тем меньше считаем, что ему что-то полагается. Грей, Грей и Вегнер показали, что люди оценивают «разум» по двум осям. Это способность действовать и способность чувствовать. От этого зависит, кого мы считаем заслуживающим признания. В Limerick именно «человечность» была связана с оплатой. Отсюда напрашивается цепочка. Женский облик, меньше агентности, меньше заслуги, меньше денег. Но это интерпретация, а не то, что эксперимент измерил напрямую. Четвёртое. Индустрия годами тренировала эту связку. Siri, Alexa, Cortana и Google Assistant запускались с женскими голосами по умолчанию. Доклад ЮНЕСКО «I’d blush if I could» (2019) указал, что это закрепляет образ услужливой, всегда доступной и безотказной помощницы. Название взято из реального ответа ранней Siri на оскорбление. Миллионы повторений дают обычное ассоциативное научение. Что это делает с человеком С самим пользователем ничего драматичного. Он не замечает, что решение принято под влиянием стереотипа, и уходит с ощущением, что поступил справедливо. В этом и проблема. Продукт незаметно подтверждает установку, которую человек на словах отвергает. Каждое такое взаимодействие это маленькая тренировка, в которой помощь, оказанная женским голосом, стоит меньше. Цена ложится не на пользователя и не на ассистента, а на людей, которые делают похожую работу в реальной жизни, например на администраторов, ассистентов, сотрудников поддержки, медсестёр. Если интерфейсы ежедневно воспроизводят недооценку помогающей роли, она становится ещё более «естественной». Конфликт интересов Почему компании выбирают женский облик? Тесты нередко показывают, что женские голоса воспринимаются как более тёплые, а значит, повышают удовлетворённость. С точки зрения метрики выбор рациональный. Но эта же «теплота» часть стереотипа, тепло без компетентности и забота без права на признание. В модели содержания стереотипов Фиске (2002) именно это сочетание вызывает покровительственное, а не уважительное отношение. Бизнес оптимизирует удовлетворённость и попутно эксплуатирует стереотип, который сам пользователь на словах не разделяет. Что из этого следует для проектирования Проблема не в женском голосе. Любой облик ассистента приходит с набором социальных ожиданий, и пользователь расплачивается ими автоматически. Поэтому вопрос симметричный. Что мы закрепляем выбором любого облика, женского, мужского или нейтрального? Мужской облик не нейтрален. Johan получил больше за ту же работу, и это тот же эффект с обратным знаком, ему приписывают больше компетентности и авторства. Для продукта это риск. Незаслуженный кредит доверия значит, что пользователь реже перепроверяет и охотнее принимает вывод на веру, даже когда ассистент ошибается. В медицине, финансах, праве и найме это дороже. Поэтому целью я бы считал не равную оплату Johan и Johanna, а откалиброванное доверие, то есть такое, которое соответствует реальной надёжности ассистента, а не его голосу. Женский облик рискует недополучить признание за хорошую работу, мужской рискует получить его за плохую. Что делать на практике. Не тестировать облик опросом «какой голос вам нравится». Смотреть на поведение, то есть на доверие, готовность следовать совету и оценку качества при одинаковом содержании. Тест должен быть симметричным (женский, мужской, нейтральный вариант на одном контенте) и включать намеренно ошибочные ответы. Тогда видно, не только кому платят больше, но и кому прощают ошибки и кого не перепроверяют. Не считать нейтральный облик решением, ведь в том же эксперименте нечеловекоподобным ассистентам доверяли и платили меньше. Дело в том, как продукт подаёт саму роль помощника. Ассистент, который показывает, что он сделал, какую часть результата обеспечил, на чём основан вывод и насколько он в нём уверен, получает признание за работу, а не за образ. У атрибуции двойной эффект. Она поддерживает заслугу там, где облик её занижает, и снижает слепое доверие там, где облик его завышает. Помнить, что выбор голоса пользователем снимает часть претензий, но может просто превратить автоматические предпочтения в настройку. Ключевым остаётся значение по умолчанию и поведение ассистента при любом выборе. И проговаривать в команде, какую социальную роль вы закрепляете. Вопрос не «какого персонажа мы делаем», а «чему мы учим людей о помощи, об экспертизе и о тех, кто помогает».