Мне тут на днях понадобилось показать бизнесу, что мы можем взять метрику чуть выше по воронке для наших ОКРов, хотя весь продукт заточен под другую метрику. Условно, считать не пользователей с покупкой, а пользователей, кликнувших «купить». Конечно, всех заинтересовало, а насколько эти метрики скоррелированы — можем ли мы таргетиться в ту, что повыше по воронке? 🗂 Один из вариантов — посмотреть на исторические подневные метрики и посчитать между ними корреляцию Пирсона. Условно получим такую табличку и посмотрим корреляцию между метриками за день ↓ День Кликнули «купить» Купили 1 окт 22% 3,2% 2 окт 25% 3,8% 3 окт 21% 2,9% 4 окт 28% 4,5% 5 окт 24% 3,5% 🗂 Меня смущал такой подход: он выглядел слишком грубым. Поэтому я обратилась к чату гпт. И эта светлая голова посоветовала мне… та-дам, сделать то же самое :) Посмотреть метрики в агрегации по дням и оценить зависимость между ними. 🗂 Почему такой подход не устраивает аналитика-душнилу. Когда мы схлопываем конверсии по дням, то получаем одну цифру на день. И тогда по «вкладу в корреляцию» приравниваем дни и когда у нас в выборке была тысяча человек, и когда всего один.  При маленькой выборке конверсия сильнее скачет просто из-за случайности. И мы теряем довольно важную часть информации о корреляции метрик. 💊 Как это можно полечить: 1️⃣Считать взвешенную корреляцию Пирсона. В которой будет учитываться количество пользователей в выборке. 2️⃣ Посмотреть корреляцию на уровне пользователей. По сути, метрику можно представить в бинарном виде для каждого пользователя: «кликнул купить» = [0,1] и «купил» = [0,1] и далее посчитать корреляцию Пирсона — она же коэффициент φ (фи 💅). Для расчёта достаточно таблицы 2×2 с количеством пользователей в каждой комбинации «кликнул / не кликнул» и «купил / не купил». Корреляция по этим четырём числам будет ровно той же, что по пользовательским строкам [0,1]. Купил Не купил Кликнул a b Не кликнул c d 🗂 Конечно, важно не просто смотреть на корреляции метрик, но и оценить, были ли случаи, когда количество кликов «купить» росло, но при этом это не приносило новых покупателей. Лучше всего такое смотреть в А/B. Иначе кнопку «купить» можно перекрасить в ярко-красный и сделать размером на полэкрана, отчего клики вырастут, но покупки, возможно, нет. В моём же случае, ОКРы я считала для канала коммуникаций, который сам по себе не влияет на конверсию из клика в покупку, поэтому ограничилась быстрым расчётом подневной конверсии. 🔥 — не задумываюсь о таких нюансах 🙈 — надеюсь, мне такое считать не придётся А как бы вы подошли к расчёту корреляции конверсий? Делитесь идеями в комментариях 👇

Бывало ли у вас такое: посчитал потенциальный эффект от фичи или разобрал A/B-тест, показал продакту шикарные результаты… а потом нашёл у себя ошибку 🫠 И вот уже репетируешь, как будешь объясняться на встрече. Вот три истории, после которых ваша ошибка может показаться лёгкой разминкой. 3️⃣ Facebook и потерянный знаменатель. Facebook два года показывал рекламодателям среднее время просмотра видео, считая его только по просмотрам дольше трёх секунд. Кто пролистал раньше, в знаменатель просто не попадал.  По оценке рекламного агентства Publicis, среднее вышло завышенным на 60–80%. Рекламодатели пошли в суд, и Facebook, не признавая вины, согласился выплатить им 40 млн долларов. 2️⃣ Fidelity и пропавший минус. Фонд Magellan от Fidelity в 90-е был крупнейшим паевым фондом в мире. В ноябре 1994 года он сообщил пайщикам, что по предварительной оценке в конце года выплатит по 4,32 доллара на пай.  А потом выяснилось, что бухгалтер переносил цифры в отдельную таблицу и потерял минус: убыток в 1,3 млрд долларов превратился в такую же прибыль. Ошибку поймали на проверке перед самой выплатой, и платить в итоге оказалось нечего. Президенту Fidelity пришлось объясняться перед пайщиками письмом и обещать, что предварительные оценки теперь будут проверять строже. 1️⃣ JPMorgan и деление не на то. Риск торгового портфеля в банке считали в цепочке Excel-таблиц, перекладывая данные между ними копипастом.  В одной формуле изменение ставок делили на сумму старого и нового значения вместо среднего. По оценке самого банка, из-за этого волатильность, скорее всего, занижалась вдвое, а риск выглядел скромнее, чем был. Трейдера, который вёл эти сделки, прозвали «Лондонским китом». Банк потерял на них больше 6 млрд долларов и заплатил ещё около миллиарда штрафов. Хоть формула и не была единственной причиной, но, согласитесь, звучит обидно. Так что если ваши шикарные результаты оказались не такими уж шикарными, выдохните. Вы пока не теряли знаменатель на глазах у всех рекламодателей мира и не стоили банку 6 миллиардов 😅 Ошибаются все. Хуже, когда ошибку нечем поймать. Во всех трёх историях хватило бы простой проверки: пересчитать другим способом, сверить итог с исходными данными или попросить коллегу глянуть формулу. 🔥 — тоже бывало, но масштабом поменьше 😇 — я никогда не ошибаюсь А самые смелые — делитесь своими историями в комментариях 👇

🟣 С нейросетями стало намного дешевле что-то сделать: написать текст, собрать презентацию, накидать код, провести первичный анализ. То, на что раньше уходили часы, теперь можно получить за минуты. 🟣Ответственность за результат при этом никуда не делась. Если нейросеть написала SQL с ошибкой, в прод уедет не «ошибка ChatGPT», а ваша ошибка. Если она собрала анализ с неправильным выводом, на встрече тоже отвечать придётся не модели. 🟣 Появляется интересный перекос: стоимость производства результата резко упала, поэтому самих результатов стало намного больше. А проверять их нужно так же внимательно, как и раньше. В итоге можно за десять минут получить десять вариантов решения, а потом потратить час, чтобы понять, какому из них вообще можно доверять.  Поэтому мне всё меньше нравится формулировка «нейросеть сделала за меня». Скорее она помогла собрать первый черновик. Дальше всё равно нужно понять контекст, проверить логику и убедиться, что результат корректный. Кажется, главный навык работы с нейросетями сейчас — не умение получить ответ, а умение проверить его и самому ответить за результат, который выдала нейросеть. 💬 У меня пока нет задач, которые я готов полностью отдать нейросети и не перепроверять результат. А у вас уже есть такие?