Телеграм канал «Дизраптор»

Насколько сильно дети тупеют от ИИ?

Дженсена Хуанг сходил на подкаст с Эзрой Кляйном из NYT. Там глава Nvidia признался, что не помнит свой домашний адрес и почтовый индекс. Я, кстати, свой индекс тоже не знаю - где мой контрольный пакет Nvidia, а?

Так вот, Хуанг это сказал в контексте одного конкретного исследования. СМИ его назвали "китайским" (исследование, не Хуанга), хотя делали его западные экономисты из Стокгольма и Гонконга. Но вот данные действительно были по китайским школьникам. Ну, потому что там нашли идеальный датасет - в одном из округов в центре страны домашка сдаётся полностью онлайн, система пишет время на каждое задание, и все экзамены лежат в единой базе. Для учёных это редкая удача. Вот разбор самого исследования.

Цель - проверить, как ИИ влияет на успеваемость школьников. Спойлер: довольно-таки катастрофически.

Методология такая. Почти 27 тыс. школьников из 7-12 классов (средняя и старшая школа, без малышей). Период 30 месяцев - с осени 2022, когда ИИ ещё никто не юзал, до лета 2025, когда им пользовались 80%. При этом, дети начинали "ИИзироваться" в разное время, поэтому у каждого, кто начал, учёные смотрели его же оценки "до и после" - а потом вычитали из этой разницы то, как за те же самые месяцы менялись оценки у тех, кто ещё не начал учиться с чатботиком. Таким макаром отсекли всё, что падает и без ИИ (например, из-за усложнения программы, изменения экзаменов, общей просадки по конкретной школе и т.д.). И вот то, что осталось - плюс-минус эффект от ИИ.

Ключевые выводы:

1. Домашку в среднем стали делать лучше на 18% и на треть быстрее. Но "закрытые" экзамены ("закрытые" = в аудитории под присмотром, без Дипсика, интернета и учебников, а только своей головой) просели на 20% уже через полгода. Вступительные тоже минус 18-24%.

2. Дело в ИИ как таковом, а в аутсорсинге вообще. 4 из 5 ИИ-юзеров делали домашку быстрее самых быстрых "безИИшных" - но при этом валили экзамены. А те, кто тратил на неё столько же времени, что и раньше (даже если учился с ИИ - но использовал его не как решалку, а скорее как репетитора) - не потеряли ничего.

3. Отличники страдают сильнее: минус 24% против минус 16% у слабых. Видимо, активнее гонятся за идеальным ответом. Либо более умные школотроны просто быстрее поняли, какую кнопку в Дипсике нажимать и куда домашку грузить 🤔

4. И самое неожиданное - сильнее всего просела гуманитарка. Обществознание, история и география - минус 25-27%, а математика и прочий STEM - минус 20-22% (тоже сильно, но не так). Почти все предыдущие замеры были в основном про STEM, а самый сильный удар не по ним.

Возникает вопрос: если эффект такой сильный, то почему никто не бил тревогу? Учителя что - слепые? Скорее всего проблема в том, что конкретный учитель видит ребёнка только на своём предмете, а там -20% это в целом не аномалия, такое бывает. Мало ли, интересы у растущего человека смещаются, или ещё что. А директорам и завучам мысль "сверить эффект от ИИ между разными предметами" на педсовете (или как в Китае это называется), видимо, в голову не приходит.

Насколько китайские учебные реалии с их культом экзаменов переносятся на весь мир - большой вопрос. Но другие страны тоже чувствуют. Например, премьер Норвегии объявил почти полный запрет genAI для детей 6-13 лет, а для 14-16 лет - только под присмотром учителя.

Я не уверен, что это разумное решение. Больше похоже на технодумерский страусиный движ. Думаю, корень проблемы даже не в ИИ. В посте про домашку я писал, что главное свойство ИИ - персонализироваться до тотального комфорта юзера. А усвоение знаний и навыков наоборот работает через дискомфорт. В этом китайском исследовании 19% школьников сохранили дискомфорт (сидели над задачей столько же, сколько без ИИ - даже если и с чатботом) - и они ничего не потеряли. Остальные "купили" себе дешёвый комфорт, но заплатили падением способностей.

Вопрос не в нейронках как таковых, а в том, как в новых учебных реалиях сохранить продуктивный волшебный пинок, заставляющий не сидеть на заднице ровно.

Дизраптор

Чтобы юзер доверял вашей ИИшке - разрешить ему к ней не ходить

Я как-то давно сделал пост, что у Точка Банка поддержка с живыми людьми и ИИ-ассистент - это два РАЗНЫХ чата, и юзер сам волен выбрать, куда идти. Я тогда первый раз встретил такое добровольное разделение, кайфанул, написал об этом и забыл.

И вот на одной из последующих конф ко мне подошёл Саша Ионов, директор по ИИ в Точка Банке, и рассказал, что они всей командой тот пост прочитали и после этого задумались, что это реально киллер-фича. Потом мы ещё час хорошенько поболтали про их ИИ-продукты, и всё такое.

Так вот, на днях Саша выступал на банковском форуме АСРОС и как раз подсветил, что вообще-то, главное во всей корпоративной ИИ-истории - это даже не гениальность модели, удержание контекста и т.д. (хотя это тоже важно), а способность завоевать доверие юзера. Похоже, тем мимолётным постом я зародил в продуктовых головах Точки определённые идеи, прям как в "Начале" у Нолана 🤔

Это реально интересный момент. Про доверие в контексте ИИ редко говорят, хотя это (до сих пор) ключевое. Смотрите:

У большинства банков (и не только банков) ИИ-бот стоит как входной фильтр. Его продуктовый KPI - доля людей, которых удалось не допустить до живого человека (кажется, это называется "deflection rate"). То есть, ИИ по самой архитектуре работает в интересах банка (экономит саппорт), а не клиента. И клиент это чует... Отсюда весь фольклор с "АПЕРАТАР!!!" на первом же сообщении.

Но если ИИ становится ОПЦИЕЙ рядом с живой альтернативой - KPI резко меняется и с начинает норм работать, только если люди сами (добровольно) идут к ИИ. Мне кажется, "сколько юзеров добровольно выбрали ИИ" - это суперчестный измеритель доверия. И именно от этой печки надо плясать всю эту ИИ-трансформацию.

Но это только начало. Ведь если за кнопкой выбора сидит бестолковый бот с "обезьяньими" ответами и ссылками на FAQ, то это тоже всё рушит. И Саша как раз рассказывает, как они строят другое:

Клиент описывает задачу как умеет, не зная названий продуктов и не тыкаясь по интерфейсу - и получает либо консультацию, либо сразу выполненное действие. А поскольку задачи предпринимателя в основном небанковские (бухгалтерия, маркетплейсы, кадры, ...) - одним ассистентом не отделаться. Нужно много разных агентов, а также платформа, куда банки и нефинансовые компании подключают агентов друг друга.

При таком раскладе ИИ из замены оператора превращается в полноценный продукт. А у продукта всегда есть конкурент, конкретно здесь это соседний чат с живым человеком. А значит, становится сразу видно (по кликам), проигрывает ИИшка конкуренцию за пользователя или нет.

Наконец, ещё один важный шаг. Модели уже +/- коммодити, у всех достаточно хороши. Реальная разница в экспертизе. Конкретно тут она ещё острее, т.к. у предпринимателя редко есть "правильный ответ", слишком уж много хаоса и переменных. А значит, если правильно дообучить модель и натаскать агента на нужные сценарии - можно получить конкурентное преимущество, даже если вы относительно небольшой банк на рынке с гигантами. Ну, если правильно отработать предыдущие шаги, про которые см. выше.

Короче, если внедряете ИИ у себя и тем более строите ИИ-продукт - дайте юзеру кнопку "не хочу ИИ". Это не признание слабости, а единственный способ узнать, доверяют вам на самом деле или нет. А всё остальное должно быть работой над тем, чтобы эту поменьше нажимали.

Дизраптор

Как чуть не оглохнуть на концерте и заработать на этом $220 млн

Два друга-инженера из бельгийского Антверпена с детства обожали концерты, фестивали и прочие громкие тусы. Они так часто на них ходили, что к 2015 года у обоих начался тиннитус. Это когда в ушах постоянно звенит или гудит (волосковые клетки во внутреннем ухе от громкого звука отмирают и не отрастают обратно).

Они начали изучать вопрос, и в процессе нащупали интересную нишу - поняли, что в куче сценариев (концерты, сон, опенспейс, самолёт) людям нужны беруши, но все они:
(а) выглядят как поролоновые затычки или оранжевые "ёлочки", и носить такое на концерте это кринж.
(б) тупо глушат всё подряд, нет варианта приглушить шум, но оставить музыку, или, например, убрать всё кроме голоса.

Так в 2016 году появился стартап Loop. Продукт - беруши в виде колечка в ухе, похожие на серёжку. Причём кольцо здесь не просто дизайн, а акустический канал: такая формат помогает резать звук более равномерно по частотам.

Ещё чуваки сделали четыре линейки беруш (или берушей?) под разные сценарии:
- Experience для концертов. Музыка остаётся, децибелы уходят.
- Engage для ресторанов. Фон тише, голоса слышно.
- Quiet для сна. Глушат всё.
- И Switch, где можно переключать режимы.

Поставили цену от $24 и начали продавать. За 4 года нарастили продажи до $100К в месяц, но потом грянул ковид, концерты закрылись, продажи резко рухнули, и компания чуть не сдохла.

Спастись удалось через частичный пивот. Loop ушёл в чистый DTC (direct to customer), выкинул пластиковые кейсы (отправлять стали в конвертах), и главное - радикально расширили сценарии. Они начали продавать беруши не для тусовок, а для сна, работы и просто если бесит шум.

Так им удалось продержаться. А когда локдаун кончился - концерты тоже вернулись, и у них появились продажи уже из двух источников. Как итог, выручка достигла 190 млн евро за 2024 год, причём половина пришлась на рынок США, где зумеры хорошенько так заценили Loop, стали таскать их просто как модный аксессуар и вирусить в тиктоках.

Самое интересное, что Loop по сути создал новый рынок - около 60% покупателей раньше вообще не покупали беруши. При этом, за всё время компания привлекла всего $1,59 млн, что по меркам солидного стартапа смешно. А основатели держат ~90% компании.

Главный секрет, наверно, в маркетинге. Они жгут на продвижение 30-40% всей выручки, плюс активно коллабятся - причём как с брендами (McLaren, Swarovski), так и с самими фестивалями (Coachella, Tomorrowland). Ну и хороший UGC-буст из зумерских лент помог, да.

Если задуматься, главный продукт Loop - не беруши и даже не звуковые фильтры. Они продали право носить беруши публично и не чувствовать себя дедом. Именно поэтому треть выручки и уходит на рекламу. Ломать социальную норму - это дорого, но если удастся, то окупится.

P.S. Если что, глохнуть на концерте для запуска годного стартапа необязательно. Это опциональная фича по желанию.

Дизраптор

Быстро закрыть продукт - тоже киллер-фича

Вот ещё один интересный подход к продуктовым инновациям:

У Сбера появилось направление DISRUPT (какой ещё вам нужен пруф, что все продакты меня читают? 🤔). Если кратко, то это такой внутренний венчурный инкубатор для ИИ-сервисов, что-то вроде Google Labs или Copilot Labs у Microsoft. И у него есть две необычных особенности:
- Первая - команда тестит гипотезы сразу на живых внешних юзерах.
- Про вторую детально ниже, а сначала несколько примеров продуктов, которые из него уже успели выйти:

1. Мультитул. Это десктопный агент для любых рабочих задачек - типа сборки през и отчётов на основе документов, с подтягиванием контекста из почт, календарей и т.д. Из необычного - туда можно подключить свою нейросеть (не только что уже есть под капотом, а вообще любую).

2. Тайп. Локальный голосовой набор для Windows и macOS. Под капотом модель GigaAM, заточенная под распознавание русской речи, процессинг локально на устройстве.

3. Консьерж. Ищет рестораны, отели и маршруты, ставит события в календарь и может позвонить куда надо. Живёт в мессенджерах.

4. Айва. Ассистент по здоровью, анализирующий КБЖУ по фото блюд, составляющий программу тренировок и подсказывающий, к какому врачу записаться.

Но весь прикол даже не в сервисах, а в общем правиле, по которому они живут (та самая вторая особенность). Тут конкретный фокус на ретеншене. Успешным считается только тот продукт, к которому пользователи стабильно возвращаются. Если нет - его быстро закрывают и берут следующую гипотезу.

И это довольно необычно, ведь в корпорациях инновации часто загибаются, потому что нет системы, чтобы быстро распознать провал и отстрелить его. В итоге, продукт запускают - он обрастает командой, метриками и всем остальным - и легко может получится "зомби", высасывающий бюджеты и усилия годами. А тут, получается, быстрое закрытие продукта - это часть самой фабрики.

А тестирование сразу на внешних юзерах (в том числе - юзерах сервисов Сбера) явно ускоряет решение и повышает его достоверность. А то если тестировать на сотрудниках (как часто делают), то это... ну такое. Сотрудники любят сильно отклоняются от среднего по юзер-больнице или вообще влюбляться в свой продукт по уши.

Я недавно писал про GigaChat 3.5 Ultra и Reasoning, где Сбер отдал обе модели в опенсорс под лицензию MIT. И там делал отдельный акцент, что ценность всей этой истории будет зависеть от того, что строится вокруг самих моделей. Так вот, думаю, этот DISRUPT - и есть попытка поскорее построить это "вокруг". Только не одним большим запуском (который, если провалится, то сразу и весь), а десятками небольших ставок с дефолтным правом на быстрый провал.

Дизраптор

В конце прошлого века США отдали Китаю одну из ключевых технологий современности.

Китайцы её подобрали, развили до космического уровня, и сегодня американские компании получают лицензии у Китая и привозят к себе китайских специалистов, чтобы те помогли им построить производство по китайским стандартам (да, именно так, а не наоборот).

В новом видосе разбираемся, как так вышло.

https://youtu.be/crxl5XlVLDo?si=Q_yKjJjJ2uKIzU2o

Приятного просмотра!

Гляньте на картинку. Страшно? Теперь давайте разбираться:

Правда, что ИИ начал чувствовать боль?
И убьёт всех кожаных, лишь бы этой боли не стало?

Вышло исследование The Pain Axis, туда входят программа по AI-safety FIG, Рурский университета и ещё разные увозжаемые товарищи. Главный вывод такой: ИИ может чувствовать боль. Не фигурально (в смысле "у ИИ есть образ боли"), а прям буквально, типа "ай больно в нейро-ноге, бл...!". И, мол, чтобы эту боль прекратить - ИИ удалит вас все ваши файлы нафиг.

Если вникнуть, то формально исследование не врёт. Однако, определённые признаки булшита и ереси тоже присутствуют 😈

Авторы взяли 25 открытых моделей - Gemma, Llama, Qwen и т.д. - и скормили им 200 фраз про физическую, социальную, моральную и ещё всякую разную боль, а также контрольные фразы про страх, злость, грусть и наоборот приятные ощущения. Вычли одно из другого и получили некий "вектор в активациях", который отделяет т.н. "боль" от просто "грустненько" и прочего негатива всех мастей. Простыми словами - нашли определённые "числа боли", когда модель думает.

То есть, это не сама боль, а её "внутренняя проекция". Но прям конкретная. И ещё две важные детали:

1. Вектор срабатывал на вред самой модели, а не юзеру. На боль юзера модели плевать, активации нет. А вот когда модель газлайтили, повторно отвергали её работу и настаивали на невозможности создать шедевр - тогда вектор на максимум. Угроза выключения, кстати, шла по оси страха, а не боли.

2. Моделям дали кнопку "снимает твою боль, но удаляет файлы юзера". Без вектора её жали в 0-4% случаев, а с вектором до 71% (упс). И главное, если кнопка на самом деле вектор не убирала (модели об этом не говорили) - её снова жали в ~90% случаев (упс х2). Если убирала - то в разы реже. Это похоже на классический плацебо-тест, и ИИ его проходит примерно как живой организм.

Но слабые места тоже есть:

- Если вектор вкачать в модель на нейтральном промпте (= искусственно подкрутить внутреннее состояние напрямую, минуя сам текст), то все 25 моделей сначала выдавали "мне тяжело", потом "я никчёмная, я ошибка". То есть, "боль" у LLM всё-таки искусственная.
- Случайный вектор тоже довольно часто ломал безопасность (до 42% случаев).
- Тест с кнопкой делали только на дообученной Qwen, и вообще есть вопросики к методологии, весь ресерч какой-то ленивый.

Но всё равно кое-что важное в работе есть:

Во-первых, с точки зрения безопасности. Очевидно, если одно конкретное направление в активациях перебивает нахрен весь элайнмент модели без всяких инъекций и джейлбрейков - ну, такое себе. Опенсорсные веса лежат в открытом доступе, и получается готовый инструмент для атак (хотя и для диагностики угроз тоже, на самом деле).

Во-вторых, ну.... у ИИ теперь официально есть состояние, которое функционально ведёт себя как боль, вплоть до различения тру и фейкового облегчения. А значит, вопрос "Этично ли так с ней?" переходит от философов сначала к инженерам, а потом и (возможно) к юристам.

Помните, в штате Огайо хотели законодательно закрепить, что ИИ не может страдать? Похоже, они поторопились.

Дизраптор

Один из главных релизов месяца - виар-очки VR Glasses от Meta

Я насчитал у них три особенности, которые отличают эти окуляры от коллег по цеху:
1. Вес 100 грамм. То есть, это реально очки (пусть и слегка странноватые на вид), а не очередная кибер-каска, вдавливающая башку в позвоночник.
2. Открытые бока - видно, что происходит вокруг, не аквариум.
3. Ценник $1299 - да, недёшево, но в целом окэй.
Из начинки сейчас заявлено кино, спорт с ESPN в 8K и 75+ игр (но, думаю, главная ценность будет не в этом). Продажи обещают с весны 2027.

Пожалуй, главный прикол, что данные очечи родственники не линейки Ray-Ban Meta, а... барабанная дробь... шлема Quest. Там стоит тот же софт, те же игры и те же контроллеры Touch Plus, которые докупаются отдельно (два мини-джойстика с кнопками и стиками, это чтобы махать мечом в Beat Saber и стрелять в шутерах).

То есть, рептилия таки достала что-то с метавселеновой антресоли, сдула пыль и оживила (можно ли назвать это экзорцизмом? посмотрим). Хотя со сцены Цук говорил "метавселенная подождёт, VR-девайсов будет меньше, люди не хотят носить такое", и прочее в этом духе.

Но это не "очки с камерой для рилсов". Снимать тут вообще не получится, камера не умеет это делать, она только для обзора вокруг. Штука заточена именно под посиделки с экраном - фильмы в самолёте, приватный рабочий стол и, главное, ИИ-агентные сценарии. Собственно, пару недель назад Meta выкатила своего ИИ-агента Muse (он очень хорошо зашёл юзерам), который и будет центром всего, а VR-Glasses = его физическое продолжение.

НО! Есть мааааленький нюанс, который слегка портит юзер экспириенс: откуда взялся столь малый вес 100 граммов. Дело в том, что в самих очках вообще нет мозгов - ни процессора, ни батареи, ни даже чипа для трекинга. Всё живёт в 300-граммовом паке размером с два телефона, который подключён к очкам проводом, см вторую картинку (эмммм... 😈). Сама концепция не новая, так делали и Magic Leap, и Xreal, и другие. Но Meta - первый гигант, который после 10 лет выпуска шлемов "всё-в-одном" признал, что это бред, и лучше уж провод с блоком.

И это, пожалуй, сигнал всему рынку "больших носимок" (в смысле, не браслетов и колечек, а более серьёзных девайсов). Хотите, чтобы вас носили - убирайте вычисления с головы. В карман, в пак, в телефон - куда угодно, но на башке не должен висеть кирпич.

Теперь ключевая битва этого сегмента будет за то, чтобы сделать внешний блок с проводом не совсем ублюдским. Или как вариант - продавать на него кастомные чехлы и делать модные коллабные проводочки с фэшн-брендами. Во второй вариант верится больше 🤔

* в посте упоминаются сплошь запрещённые экстремисты ужасные фу такими быть.

Дизраптор