🧪 p-value = 0,07. Что теперь можно сказать о тесте? Тест закончился. Запланированную выборку собрали. Порог значимости заранее выбрали 0,05, а получили p-value = 0,07. — Ну что, эффекта нет? Закрываем? 🔎 По выбранному порогу статистически значимого отличия от нуля нет. Но это не доказывает, что сам эффект равен нулю. И «почти доказали рост» — тоже не лучший вывод. Давайте посмотрим, что именно получилось. 📊 Возьмём учебный пример с конверсией в покупку: - в контроле — 3%, в новой версии — 3,2%; - оценка эффекта — +0,2 процентного пункта; - 95%-й доверительный интервал для эффекта — примерно от −0,02 до +0,42 п. п. Эти числа согласуются с p-value около 0,07 в двустороннем тесте. 📏 В интервал попадают и небольшой минус, и ноль, и заметный плюс. Это не делает все значения одинаково правдоподобными. Но свести результат к «роста нет» не получится. 🎯 Теперь добавим бизнес-контекст. Допустим, ещё до теста команда решила: изменение имеет смысл, если конверсия вырастет хотя бы на 0,3 п. п. Иначе затраты на поддержку новой версии не оправдаются. Нужные нам +0,3 п. п. тоже внутри интервала. Мы не подтвердили такой рост, но и исключить его по этим данным не можем. 📝 Для команды вывод можно сформулировать так: «Оценка эффекта — +0,2 п. п., доверительный интервал — от −0,02 до +0,42 п. п. Статистически значимого отличия от нуля на уровне 0,05 не получили. Данных недостаточно, чтобы подтвердить или исключить минимально полезный для нас рост +0,3 п. п.». Это полезнее, чем просто «тест незначимый»: понятно, что узнали и какой вопрос остался открытым. ⚠️ Не стоит просто продлевать тест с фиксированной выборкой или перезапускать его снова и снова, пока p-value не станет красивее. 🧭 Если решили провести ещё один тест, сначала определяем, что именно хотим узнать: - 📏 Точнее оценить эффект той же версии. Заранее рассчитываем большую выборку под нужную точность оценки. Затем прикидываем, сколько времени займёт её сбор при нашем трафике. Саму версию для этого менять не нужно. - 🛠 Проверить доработанную версию. Если есть конкретная идея, как усилить эффект, сначала меняем продукт, затем проводим отдельный тест. Его результат будет относиться уже к новой версии. В обоих случаях до запуска фиксируем метрику, аудиторию, размер выборки и правила остановки. Предыдущий результат тоже сохраняем — не выбираем из нескольких попыток только удачную. Если новая проверка слишком дорогая, можно остановиться. Эффект, возможно, есть — просто выяснять это дальше сейчас не стоит затрат. 💬 А у вас незначимый результат обычно становится началом обсуждения или концом истории?

⏳ «Да тут работы на час» Знакомая задача: собрать небольшую выгрузку. Несколько полей, пара условий. Обещаешь прислать до обеда. Потом выясняется, что нужно уточнить, какие заказы считать оплаченными. Получить доступ к таблице. Разобраться, почему сумма не сходится с соседним отчётом. Сам запрос действительно можно было написать за час. Только задача оказалась немного шире запроса. Когда прикидываешь срок, легко представить, как всё получится: открою таблицу, напишу запрос, проверю, отправлю. В этой версии дня никто не задерживает ответ и нужные данные лежат ровно там, где должны. 🧠 Так может проявляться ошибка планирования: мы недооцениваем время на задачу, даже если похожие задачи раньше уже занимали дольше. В исследовании 1994 года студенты оценивали, сколько времени осталось до завершения выпускной работы. В среднем они рассчитывали примерно на 34 дня. На деле получилось около 56. Не обязательно дело в том, что человек плохо старается. Иногда в его оценку просто не попала часть работы, которую потом пришлось сделать. 💡 Мне кажется полезным перед обещанием задать себе другой вопрос: сколько похожая задача занимала в реальности? Не самая удачная за последний год. Несколько обычных, с уточнениями, проверками и ожиданием ответов. 📝 Можно начать с простых вещей: - 🔎 Посмотреть на прошлые задачи. По возможности на даты в трекере, а не только на воспоминания. Выбрать похожие по объёму и условиям: знакомая таблица и новый источник данных это разные истории. - ⏱️ Разделить время работы и срок готовности. Два часа за ноутбуком не всегда означают, что результат будет через два часа. Иногда между ними ещё день ожидания доступа. - 📌 Назвать условия оценки. «Если данные готовы, пришлю завтра. Если нужно восстанавливать историю то сначала разберусь с объёмом и уточню срок». - 🔄 Сверить обещание с фактом. После задачи коротко записать, что заняло больше времени. В следующий раз будет на что опереться, кроме ощущения «ну теперь-то быстро». - Это не поможет предусмотреть всё. И не нужно заранее умножать любой срок на два. Но можно постепенно научиться обещать с учётом той работы, которая обычно остаётся за кадром. Тогда и себе спокойнее, и коллегам понятнее, когда ждать результат. 💬 А что у вас чаще всего прячется за словами «да тут на час»?

📈 Перед сложным прогнозом попробуй прошлый понедельник Строишь модель прогноза заказов. Добавляешь признаки, подбираешь параметры, рисуешь график. Линия прогноза идёт рядом с фактом. Выглядит убедительно. 🤔 Остаётся один вопрос: а если просто взять заказы за те же дни прошлой недели, получится хуже? Для данных с недельным ритмом это вполне рабочая точка отсчёта. В следующий понедельник ждём столько же заказов, сколько было в прошлый. Во вторник — как в прошлый вторник. Такой подход называется сезонным наивным прогнозом. «Наивный» здесь название метода, а не оценка аналитика. 🗓️ Посмотрим на учебном примере. В воскресенье готовим прогноз на понедельник, вторник и среду: - За те же дни прошлой недели было 100, 120 и 110 заказов. Это наш простой прогноз. - Сложная модель предсказала 125, 145 и 140. - Когда эти три дня прошли, получили факт: 110, 130 и 120. 🧮 Сравним среднюю абсолютную ошибку — MAE. Для каждого дня берём расстояние между прогнозом и фактом, без знака, а потом усредняем. У простого прогноза ошибки: 10, 10 и 10 заказов. В среднем — 10. У сложной модели: 15, 15 и 20. В среднем — 16,7. На этих трёх днях простой прогноз оказался точнее модели, над которой мы так старались. ⚠️ Это не значит, что сложные модели не нужны. И трёх дней недостаточно, чтобы выбрать метод для работы. Но теперь у нас есть точка отсчёта: с чем сравнивать результат. Чтобы сравнение было честным: - 📍 Прогнозируем одни и те же даты из одной точки во времени. Обоим методам доступны только сведения, известные на тот момент. - 🎯 Проверяем нужный горизонт. Если бизнесу нужен прогноз на неделю вперёд, сравниваем недельные прогнозы, а не только завтрашний день. - 🔄 Повторяем проверку на нескольких прошлых периодах. Каждый раз как будто стоим в прошлом и ещё не знаем, что будет дальше. Акции, праздники или быстрый рост могут сделать прогноз «как неделю назад» неточным. Вот здесь и стоит проверить, помогает ли более сложный подход. 💡 Мне нравится начинать с такого сравнения. Оно быстро переводит разговор с «какую модель мы построили» на «насколько лучше мы теперь прогнозируем». Если тема прогнозирования вам близка и интересна, у меня есть подробный гайд с описанием разных методов прогнозирования с формулами и описанием плюсов и минусов