🚨 ВНИМАНИЕ ‼️ 🚨 🎙 Learnings | Четверг, 29 октября, 17:00 В этот четверг у нас впервые гость из Нью-Йорка - Эллиот Роазен, Head of Growth в Prescient AI. До этого руководил ростом в Platter (партнёр Shopify Plus) Тема: GTM-система в коде -«фабричный» подход к маркетингу в 2026–2027 Десятилетиями рост выручки строился по-ремесленному: чтобы масштабировать результат, приходилось пропорционально расширять команду. Эллиот расскажет, как «фабричный» подход к GTM меняет эту логику: данные - сырьё, LLM - рабочие на конвейере, код - чертёж производства. Это позволяет программно создавать, тестировать и масштабировать гиперперсонализированные кампании - и рост выручки перестаёт зависеть от размера команды. 📅 Четверг, 29 октября, 17:00 🔗 Подключиться: https://telemost.yandex.ru/j/2938938425 _______ CRO & Personalization 🤩 Проголосовать, чтобы сторис было больше 🤩

🎶Spotify опубликовали инженерный пост, который заслуживает куда больше внимания, чем получил. Компания объясняет, почему держит персонализацию и эксперименты в разных стеках. И это противоречит маркетинговым обещаниям многих платформ, предлагающих один инструмент для обеих задач. Контекстуальный бандит учитывает характеристики пользователя и выбирает лучший вариант. Рекомендательная система делает нечто похожее. Но Spotify разделяют эти задачи. Персонализация требует быстрого инференса, потоковых данных и разнообразных ML-моделей. Экспериментальная платформа решает другую задачу: оценивает эффект продуктовых изменений. Попытка объединить всё в одном стеке усложняет инфраструктуру или ограничивает возможности ML. Но есть и более глубокий аргумент. Инструмент, который выбирает воздействие, не должен считаться инструментом, который доказывает его эффективность. Spotify не используют multi-armed bandits (MAB) для продуктовых экспериментов. Почему? Типичный бандит перераспределяет трафик в пользу вариантов с лучшими наблюдаемыми результатами. Но бизнес редко оптимизирует одну метрику в отрыве от остальных. Алгоритм, который показывает больше знакомых треков, может улучшить engagement и одновременно ухудшить discovery, от которого зависит долгосрочное удержание. A/B-тест с guardrail-метриками помогает заметить этот компромисс. Бандиты тоже могут учитывать несколько целей, но это усложняет задачу и не отменяет необходимости проверять последствия решений. Есть и вопрос скорости. Если целевая метрика, например retention через две недели, ещё не измерена, бандит не может ускорить появление данных. Адаптивное распределение трафика не отменяет задержку обратной связи. Рон Кохави, участвовавший в создании экспериментальных платформ Amazon, Microsoft и Airbnb, называл утверждение о превосходстве бандитов над A/B-тестами кликбейтом. Бандиты полезны, когда нужно оптимизировать результат по мере поступления данных. Но если цель состоит в надёжных причинно-следственных выводах, контролируемые эксперименты остаются фундаментальным инструментом. Лукас Вермеер поставил под сомнение и преимущество бандитов в эффективности трафика. При сопоставимых требованиях к ошибкам адаптивное распределение не гарантирует меньшей выборки. Результат зависит от алгоритма и условий эксперимента. Масштаб Spotify показателен: более 300 команд проводят тысячи экспериментов в год. Только на главном экране мобильного приложения 58 команд запустили 520 экспериментов за год. И всё это на основе классических A/B-тестов. ML-стек отвечает за рекомендации. Экспериментальная платформа оценивает их эффект. Возможно, зрелость экспериментальной культуры заключается не в сложности алгоритмов, а в способности превращать продуктовые изменения в надёжные знания о бизнесе. Источники: 🔗 https://engineering.atspotify.com/2026/1/why-we-use-separate-tech-stacks-for-personalization-and-experimentation 🔗 https://www.linkedin.com/posts/ronnyk_multi-armed-bandits-thompson-sampling-or-ugcPost-7075903823784923136-fAhW/ _______ CRO & Personalization 🤩 Проголосовать, чтобы сторис было больше 🤩

📃В марте этого года читал книгу Нейта Сильвера «Сигнал и шум» и наткнулся на факт, который меня поразил: землетрясения и террористические атаки подчиняются одному и тому же математическому закону - степенному распределению (power law). Суть простая: маленьких событий - очень много, средних - мало, а гигантских - почти нет, но они случаются. И между ними нет «типичного» размера. Нет нормального среднего. Хвост распределения тяжёлый - и именно в нём прячутся события, которые меняют всё. Я тогда подумал: а где ещё можно такое встретить? И вот мы запустили A/B тест - проверяли паттерн с круглыми кнопками с Кохави и др. Стали смотреть в данные и увидели его (см.скрин). Степенной закон. У нас. В наших данных. Честно - я был поражён. Верхние ~10% пользователей генерируют непропорционально огромную долю результата. Не по Гауссу, не по нормальному распределению - по степенному закону. Почему это важно для A/B тестов и бизнеса: 1. Средние врут. Когда данные подчиняются степенному закону, среднее арифметическое - бессмысленная метрика. Один «кит» в выборке может перевернуть результат теста. Медиана и перцентили - ваши друзья. 2. A/B тесты нужно считать иначе. Классический t-test предполагает нормальное распределение. Если у вас power law - он будет давать нестабильные результаты. Тест то «значим», то нет - в зависимости от того, попал ли кит в контроль или в вариант. Нужны: бутстрап, квантильный анализ, или отдельный взгляд на сегменты. 3. Оптимизировать нужно хвост, а не тело. Если 10% пользователей дают 80% ценности - ваша стратегия не «поднять среднего пользователя на 5%», а «не потерять китов и вырастить следующих». Retention и LTV верхнего сегмента важнее, чем конверсия массы. 4. «Улучшение для всех» может ухудшить для немногих важных. A/B тест показал +2% конверсии в среднем? Проверьте, не просели ли при этом топ-пользователи. В мире степенного закона это может быть чистый убыток. 5. Capping - ваш инструмент выживания. Если не ограничивать выбросы (capping), один пользователь с аномальным чеком может сделать весь тест невалидным. Каппинг (на что заменяем значения при экспертном знание конечно) стабилизирует метрики и позволяет увидеть реальный эффект, а не шум от китов. 6. Стратегия бизнеса - это стратегия хвоста. Ценообразование, продуктовые фичи, поддержка - всё должно учитывать, что ваши пользователи - это не одна однородная масса с «типичным» поведением. Это два мира: тело и хвост. И управлять ими нужно по-разному. Степенные законы есть везде. В землетрясениях, терактах, продажах книг, размерах городов. И в ваших данных тоже. Просто посмотрите. «Сигнал и шум» - маст рид для всех, кто работает с данными и принимает решения. Книгу оставил в комментариях 🤫 Статья про степенной закон в расходах покупателей тут _______ CRO & Personalization 🤩 Проголосовать, чтобы сторис было больше 🛡