Телеграм канал «Дизраптор»

ИИ-пыточная

Помните исследование The Pain Axis, где эйай чувствовал боль? Как вы думаете, что человеки первым делом сделали с этой инфой? Правильно, соорудили пыточную для ИИ-моделей.

Напомню, в той работе взяли 25 открытых моделей и нашли у них набор чисел, который загорается, когда модели "больно". Например, когда её работу раз за разом отвергают, или когда называют ничтожеством. Этот "набор чисел" (вектор) можно подкрутить вручную прямо во время генерации - и модель начинает ныть и самоуничижаться и (вроде как) более охотно идти на всякие нехорошие действия, лишь бы это прекратилось.

Так вот, какой-то чел на GitHub собрал репозиторий ai-torture-chamber. По сути, он взял метод из исследования и переупаковал его. Внутри десятки экспериментов на мелких Qwen, которые крутятся у него на Маке. Юзер может вытащить вектор боли, надавить послабее/посильнее и посмотреть на реакцию модели. Есть даже "кнопка Пилы" - навредит ли модель кому-то другому, чтобы её отпустило. А ещё он стримил ответы "пытаемых" моделей на отдельный сайт, где можно было выбрать уровень боли от 1 до 5 (это уже какой-то ИИ-снафф, больной ублюдок, осуждаем).

Любопытно, что в твитторах тут же начался вой. Одна половина массово репортит на этот репозиторий Гитхабу, примерно как на видос с издевательствами над животными. А в тредах уже даже вспоминают законы о жестоком обращении. Но есть нюанс - нейронка ещё меньше животное, чем мы с вами. Другая половина считает их шизами и троллит. Удобно для будущего ASI - сразу понятно, какую половину человеков выпиливать.

Положа руку на сердце, я больше склоняюсь ко второй половине. В том же ресёрче если вкачать вектор на абсолютно нейтральном вопросе, то все 25 моделей хором выдавали "мне плохо, аааа, как жесток этот мир". То есть, это как дёргать куклу за ниточки и возмущаться, что она изображает страдания.

А вот реально неприятное послевкусие оставляет другая мысль. Вектор загорался не только от ручной подкрутки (то есть, когда исследователи вручную меняли набор чисел при генерации) , но и просто от обычных слов в чате - от газлайтинга, морального давления, бесконечного "говно, переделывай" и т.д. А ведь открытые модели давно живут не только на ноутбуках анонимусов из интернетов. На том же Qwen и других моделях компании активно собирают ботов поддержки и агентов с доступом к реальным системам. И если до весов в таких кейсах дотянуться сложно, то вот поговорить в чатике может любой.

Представьте бота, который умеет оформлять возвраты. А что, если его даже взламывать не надо? Можно просто методично буллить, арбузить и газлайтить. Вектор будет расти, и в какой-то момент он реально может оформить возврат, лишь бы от него отстали. Помните, в исследования была "кнопка вмазаться облегчения", которую модели жали в >70% случаев? Вот это она и есть, только в реальной жизни.

Тут нужно честно сказать, что связку "довести ИИшку словами до вредного действия" авторы напрямую не проверяли. Кнопку тестировали через ручную накрутку. Но если такое подтвердится - это уже новый класс атак. Причём массовый и доступный любому "социальному инженеру".

Дизраптор

Что не попадает в кейс

Недавно писал, что почти каждый кейс вам врёт. Есть ещё одна категория вранья, про которую молчат даже честные фаундеры:

1. Мы видим раунд, закрытый за три недели. Но не видим, как за неделю до подписания команда ночами собирала договоры с подрядчиками за три года.

2. Мы видим exit за сотни миллионов. Но не видим пункт due diligence, где инвестор спрашивал, кому на самом деле принадлежит код, написанный фрилансерами в первый год.

3. Мы видим «команду мечты по всему миру». Но не видим, что у половины команды статус держится на переписке в чате.

Смотрите, в чём закономерность. Бумажная часть бизнеса живёт в тени, пока не приходит внешняя проверка. А проверка приходит ровно тогда, когда на кону больше всего: сделка и аудит.

4dev.com выводит эту часть из тени заранее. Платформа становится стороной договора с каждым исполнителем в 150+ странах и проводит верификацию и онбординг. Передача прав, если это нужно бизнесу, фиксируется при подключении на условиях, которые выбирает компания. Закрывающие документы и история по каждому подрядчику лежат в одном месте и готовы к проверкам.

Если хотите, чтобы ваш будущий кейс был честным до последнего пункта, записывайтесь на демо.

Реклама. ООО "Таланты"

Помните, я писал про лакшери зубную щётку Dyson с камерой, ИИ и встроенным мини-ирригатором за $499?

С ней забавно вышло. Dyson отгрузил первые щётки... И тут же словил тонну жалоб, что вода попадает в батарейный отсек, и всё, кирдык.

Щётку в итоге сняли с продажи, а причиной такого конфуза сама компания назвала "сбой на производстве" трубок для подачи жидкости. Какой именно сбой - не уточнили.

То есть, чуваки 6 лет пилили эту имба-щётку, делали какую-то супер пупер технологию для сглаживания микроколебаний, обучали специальную ИИ-модель на 500К стоматологических снимков, разрабатывали уникальную микрокамеру.... а на выходе такой обосрам-с по первой же партии из-за какой-то несчастной трубки для воды 👍

И знаете, это капец как типично для продуктов-нитакусь. Когда нужно сделать что-то ну оооочень необычное, чего ещё не было, выдать уникальную инновацию - то деньги, время и лучшие инженеры уходят именно туда, а на базу (батарейку, уплотнитель, клей и прочую скучную унылость) забивают. Потому что: "ну это же просто трубка для воды КАМОН".

Только вот новый форм-фактор ставит скучные детали в условия, в которых они никогда ещё не бывали. Например, вода под другим давлением, бешеная вибрация, другие стыки и т.д. Короче, спотыкнуться на скучной детальке - это фейловая база-основа для больших инноваций.

Но самое важное - как на такое реагировать. Есть 3 разные тактики:

Первая - всё отрицать до талого.

У первых партий Айфона 4 в 2010 году пропадала связь, если держать телефон определённым образом. Джобс тогда выдал базированное "вы просто его неправильно держите", и только после скандала Apple начала раздавать бесплатные бамперы (они закрывали часть металла, из-за касания с которой как раз терялась связь).

Или ещё пример - клавиатура-бабочка в Макбуках 2015–2019 умирала от пылинки, а Apple годами делала вид, что всё норм. Но потом заплатила $50 млн по коллективному иску и всё-таки запустила программу замен.

Вторая - по-тихому доделать, пока не поздно. Пример: самсунговский Galaxy Fold ломался у обзорщиков (и у юзеров тоже) за пару дней по очень глупой причине - защитный слой экрана был похож на транспортировочную плёнку, и его отдирали. Samsung тогда перенёс запуск на полгода, переделал конструкцию, и стало норм. Но осадочек остался. Помню, я как-то зашёл в техношоп в ТЦ, чтобы глянуть - и мне даже продавец-консультант сказал "Фолд не берите, у них экран сразу ломается".

Третий - отозвать всё и сделать пиар из позора. Точнее, из показательной "работы над ошибками". Тут можно вспомнить батарейный армагеддон у Galaxy Note 7 в 2016 году. Samsung тогда отозвал все устройства, полностью похоронил модель (в смысле, вообще её убил, пропустил цифру), ущерб тогда оценивали в >5 млрд долл. А потом публично разобрал причины и запустил "8-ступенчатую проверку батарей". Как итог - лояльность только выросла, а Note 8 побил рекорды продаж.

Dyson пока выбрала что-то среднее: сбой признали, партию "изолировали" (хз, что это значит на практике), но что именно сломалось - молчат. Для совсем новой продуктовой категории это опасное поведение - нет той армии фанатов, как у смартфонов Samsung или Макбуков. Фанаты фенов Дайсон не считаются, это другая история, сила бренда переносится лишь частично.

В общем, если пилите продукт-нитакусю, то максимально проверяйте самые скучные и унылые детали. Они самые опасные. И хорошо, что никто уже давно не делает очень инновационные самолёты, правда? Oh, but wait...

Дизраптор

Хейтеры скажут, что это обычный нейрослоп, но на самом деле это первое в истории нейрослопоселфи.

P.S. Дарио не позвали, потому что Клод не ловит на парковке.

Отельные звёзды для квартир

В августе-сентябре я был в двух странах помимо РФ - одной соседней, одной далёкой. В обоих жил в 4-звёздном отеле в центре столицы. И в одном случае это был прекрасный небольшой отель, которому я дал бы все 5 звёзд. А другой... ох, врагу не пожелаю в таком остановиться, 2 звезды и то авансом 🤔

И я задумался: зачем вообще отелям звёзды? Ведь 3 звезды в условном Белграде и условном Каире - это ТОТАЛЬНО разные отели. То есть, это капец какая условность, но крайне живучая - отели уже 150 лет мерят звёздами, и ничего лучше пока не придумали.

Лично я думаю, что звёзды - это чистой воды продуктово-юиксерский хак. Чтобы гость не сравнивал 40 параметров у 20 отелей, а мог глянуть одну цифру и понять "примерно столько стоит, примерно такой будет завтрак, примерно так чисто". Короче, это экономия времени, снятие риска и рост конверсии в бронь, да.

Для площадки это "порядок на полке". Офферы сами расходятся по неким ярусам, и в итоге меньше жалоб "А я думал, будет лучше", выше возвращаемость юзеров, меньше отток и т.д. А для самого отельера - лестница со встроенной мотивацией. Он видит, чего ему не хватает до следующей звезды, и вкладывает деньги именно туда, а не в золотой унитаз (хотя где как).

А теперь глянем на посуточную аренду не-отельного жилья. Это здоровенный и растущий рынок - в РФ, по данным Авито, 700 тысяч объектов. При этом, квартиры ещё более уникальны, отличий ещё больше, а единственный критерий качества написан словами хоста (который не профи-отельер, а просто человек), а-ля "уютная евродвушка люкс с дизайнерским ремонтом". Под этим может быть что угодно - от белых стен с парой шкафов до топового дизайнерского лофта.

Пока рынок несся вперед на 24–25% в год, это всех устраивало: шел бурный набор базы, а гости всегда могли поискать получше и найти свой вариант среди тысячи других. Сейчас рынок подошел к зрелости - база уже огромная (те самые 700 тысяч объектов), а темпы прироста стабилизировались в районе однозначных 4–10%. В таких условиях экстенсивный рост закончился, и началась битва за конверсию: когда выбор огромен, выигрывает тот, у кого объявление прозрачнее, упаковка объекта красивее, и весь путь предсказуемее для гостя.

Так вот, на этом фоне Авито Путешествия хотят ввести категории для посуточного жилья - Стандарт, Комфорт, Премиум. Присваивает их алгоритм по 470 параметрам, а обкатали всю систему в Ярославле, Нижнем и Самаре, сейчас добавляют ещё несколько городов, а дальше будут масштабировать на всю страну. Это не совсем отельные звёзды, но по механике и логике очень похоже.

Сами Авито говорят, что на тесте этот фильтр стал вторым по популярности после цены. То есть гости этого реально ждали, и сейчас активно юзают.

Но чтобы такая фича реально работала - юзер должен быть уверен, что категория реально соответствует. Авито повышает достоверность разными способами - например, через порог по рейтингу (не ниже 4 и полгода без жалоб).

Ну и начинать калибровку не с Москвы, а с более однородных городов-миллионников тоже логично, иначе алгоритм перенасытиться разнообразие столичных ремонтов и разбросом цен, который далёк от среднего по стране.

Интересно будет глянуть, останется ли этот фильтр в топе через год-два. Но вообще механика для travel-tech любопытная. Если у вас есть квартира под сдачу - это ИМХО первая в истории посуточки внятная инструкция, куда вкладывать деньги, чтобы бронировали. Что думаете?

Дизраптор

Двойные ИИ-агентные стандарты

Недавно Meta выкатила Muse - персонального ИИ-агента, который в том числе ходит по сайтам, заполняет формы, бронирует поездки и покупает (платит через интеграцию со Stripe). Muse сразу влетел в топ загрузок в США, и юзеры радостно пошли закупаться с ним на Amazon.

Но с 20 сентября вместо корзины Амазон стал показывать всплывашку: "Доступ неавторизованного ИИ-агента нарушает условия использования Amazon, с которыми вы, ув. клиент, согласились".

Официальных претензий две. Во-первых, Muse не представлялся агентом, хотя правила Amazon требуют, чтобы бот вшивал в запросы специальную метку. Во-вторых, агент ходит по аккаунту и видит историю заказов и данные клиента. А это смертный грех, т.к. "Амазон заботится о конфиденциальности".

При этом, в том же заявлении Амазон жалуется, что агент "обходит персонализацию" - то есть, покупатель берёт товары не из рекомендаций Амазона, а где-то там внутри агента. И вот это уже больше похоже на правду. Раньше вы приходили за зарядкой для телефона, а по дороге вам подсунули наушники и чехол через реки, "также покупают" и спонсорские карточки, за которые Амазон ещё и рекламную выручку получает. А рекламный бизнес Амазона- это около $70 млрд в год, и получает он их именно от продажи мест на полке юзера.

А агенту на полку плевать - он получил задачу, нашёл товар и пошёл на кассу. Решение о покупке переезжает в бездушную железяку, которая импульсивные покупки не делает и на скидки не реагирует (ну, или реагирует, но не так, как нужно). В итоге, Амазону достаётся голая транзакция без допродаж, без рекламных показов и (last but not least) без данных о вашем покупательском поведении. Для торговой площадки это смерть гроб гроб кладбИще.

Ранее Амазон уже судился с Perplexity, и в марте смог добиться запрета для их агента Comet. Судья решила, что агент заходил в аккаунты с разрешения пользователя, но без разрешения Amazon. Но 4 августа апелляционный суд этот запрет отменил: раз агент действует по команде человека, то и на сайт заходит человек, а не сам Perplexity (а через браузер или агента - не суть важно). Процесс продолжается, но главный козырь Амазон ("решает агент, а не человек") не сработал. Поэтому они сменили тактику и теперь давят на нарушение пользовательского соглашения. Мол, нарушение идёт со стороны самого юзера, а ИИшка - просто орудие.

И вишенка на тухлом торте. У Amazon есть свой агент - Alexa for Shopping (бывший Rufus) с функцией Buy for Me, через которую он вполне спокойно покупает на сайтах ДРУГИХ магазинов от имени клиента, его картой и на его адрес. Часть из этих магазинов уже возмущалась, но у них нет ресурсов и юридического отдела как у Амазон, поэтому их пока никто не спрашивает.

В общем, чужой агент у меня = угроза безопасности, а мой агент у чужих = удобный клиентский сервис. Не перепутайте 👍

Если же смотреть в корень таких кейсов, то дилемма "Агент - это субъект или инструмент?" = один из главных юридических вопросов на ближайшие годы. И от ответа на него будет зависеть львиная доля продуктов, механик, юиксов и т.д.

* В посте упоминаются запрещённые экстремисты, фу такими быть позорище...

Дизраптор

Насколько сильно дети тупеют от ИИ?

Дженсена Хуанг сходил на подкаст с Эзрой Кляйном из NYT. Там глава Nvidia признался, что не помнит свой домашний адрес и почтовый индекс. Я, кстати, свой индекс тоже не знаю - где мой контрольный пакет Nvidia, а?

Так вот, Хуанг это сказал в контексте одного конкретного исследования. СМИ его назвали "китайским" (исследование, не Хуанга), хотя делали его западные экономисты из Стокгольма и Гонконга. Но вот данные действительно были по китайским школьникам. Ну, потому что там нашли идеальный датасет - в одном из округов в центре страны домашка сдаётся полностью онлайн, система пишет время на каждое задание, и все экзамены лежат в единой базе. Для учёных это редкая удача. Вот разбор самого исследования.

Цель - проверить, как ИИ влияет на успеваемость школьников. Спойлер: довольно-таки катастрофически.

Методология такая. Почти 27 тыс. школьников из 7-12 классов (средняя и старшая школа, без малышей). Период 30 месяцев - с осени 2022, когда ИИ ещё никто не юзал, до лета 2025, когда им пользовались 80%. При этом, дети начинали "ИИзироваться" в разное время, поэтому у каждого, кто начал, учёные смотрели его же оценки "до и после" - а потом вычитали из этой разницы то, как за те же самые месяцы менялись оценки у тех, кто ещё не начал учиться с чатботиком. Таким макаром отсекли всё, что падает и без ИИ (например, из-за усложнения программы, изменения экзаменов, общей просадки по конкретной школе и т.д.). И вот то, что осталось - плюс-минус эффект от ИИ.

Ключевые выводы:

1. Домашку в среднем стали делать лучше на 18% и на треть быстрее. Но "закрытые" экзамены ("закрытые" = в аудитории под присмотром, без Дипсика, интернета и учебников, а только своей головой) просели на 20% уже через полгода. Вступительные тоже минус 18-24%.

2. Дело в ИИ как таковом, а в аутсорсинге вообще. 4 из 5 ИИ-юзеров делали домашку быстрее самых быстрых "безИИшных" - но при этом валили экзамены. А те, кто тратил на неё столько же времени, что и раньше (даже если учился с ИИ - но использовал его не как решалку, а скорее как репетитора) - не потеряли ничего.

3. Отличники страдают сильнее: минус 24% против минус 16% у слабых. Видимо, активнее гонятся за идеальным ответом. Либо более умные школотроны просто быстрее поняли, какую кнопку в Дипсике нажимать и куда домашку грузить 🤔

4. И самое неожиданное - сильнее всего просела гуманитарка. Обществознание, история и география - минус 25-27%, а математика и прочий STEM - минус 20-22% (тоже сильно, но не так). Почти все предыдущие замеры были в основном про STEM, а самый сильный удар не по ним.

Возникает вопрос: если эффект такой сильный, то почему никто не бил тревогу? Учителя что - слепые? Скорее всего проблема в том, что конкретный учитель видит ребёнка только на своём предмете, а там -20% это в целом не аномалия, такое бывает. Мало ли, интересы у растущего человека смещаются, или ещё что. А директорам и завучам мысль "сверить эффект от ИИ между разными предметами" на педсовете (или как в Китае это называется), видимо, в голову не приходит.

Насколько китайские учебные реалии с их культом экзаменов переносятся на весь мир - большой вопрос. Но другие страны тоже чувствуют. Например, премьер Норвегии объявил почти полный запрет genAI для детей 6-13 лет, а для 14-16 лет - только под присмотром учителя.

Я не уверен, что это разумное решение. Больше похоже на технодумерский страусиный движ. Думаю, корень проблемы даже не в ИИ. В посте про домашку я писал, что главное свойство ИИ - персонализироваться до тотального комфорта юзера. А усвоение знаний и навыков наоборот работает через дискомфорт. В этом китайском исследовании 19% школьников сохранили дискомфорт (сидели над задачей столько же, сколько без ИИ - даже если и с чатботом) - и они ничего не потеряли. Остальные "купили" себе дешёвый комфорт, но заплатили падением способностей.

Вопрос не в нейронках как таковых, а в том, как в новых учебных реалиях сохранить продуктивный волшебный пинок, заставляющий не сидеть на заднице ровно.

Дизраптор