Телеграм канал «ProductDo: практика продакта»

Так все-таки: можно ли проводить несколько A/B тестов параллельно? Некоторое время назад я (@andrewmende) попросил помощи сообщества в том, чтобы понять, в каких компаниях практикуют разделение трафика на “слои” или “дорожки”, чтобы каждый эксперимент крутился изолированно от всех. И самое главное, зачем они это делают? Спасибо большое всем, кто написал, давал наводки и делился опытом. Действительно в некоторых компаниях (чаще русскоязычных, но несколько зарубежных тоже были упомянуты) практикуют выделение трафика под каждый A/B тест. То есть, если вам на страницу приходит по 5 000 посетителей в неделю, то либо будет запущен один тест на 5 000 человек, либо два, но тогда каждый получит только по 2 500 трафика на все варианты, то есть каждый посетитель попадает только в один тест, но не в оба сразу. Я не увидел убедительных аргументов, почему так нужно делать. Да, есть некоторая вероятность, что один тест будет как-то влиять на другой. Например, одна команда покрасила кнопку в зеленый цвет, другая сделала текст на ней зеленым, на пересечении тестов у нас кнопка с нечитаемым текстом. Но на практике это происходит очень редко, и есть довольно много несложных способов этого избежать. Если продакты хотя бы немного общаются между собой, то 99% таких пересечений будут заблаговременно замечены. При этом выигрыш от скорости, с которой мы будем тестировать гипотезы настолько больше, что гораздо выгоднее смириться с тем, что раз в год у нас будут коллизии. Не верите мне? Вот вам две статьи, которые убедительно формулируют то же самое: - A/B Interactions: A Call to Relax (Microsoft) - Guide to A/B Testing Interactions (Ron Kohavi) У вас в компании всё еще применяют “слои” и продактам приходится бороться за трафик и сложно планировать эксперименты? Приходите ко мне на бесплатную консультацию, я помогу вам немного улучшить культуру экспериментов и начать двигаться кратно быстрее. PS А еще уже завтра первый вебинар четвертого потока курса Создание LLM продукта. Кто ждал знака до последнего — это он. Курс веду я и Аня Подображных. Группа набрана, но еще пару человек можем взять. Присоединяйтесь!

Как и зачем усиливать LLM c помощью RAG? Делимся записью вчерашнего вебинара.

Начинаем! Productdo is inviting you to a scheduled Zoom meeting. Topic: ProductDo LLM Time: Dec 4, 2025 17:00 Amsterdam Join Zoom Meeting https://us06web.zoom.us/j/81565539302?pwd=fWt3Y1BkhCowkVMF4woZSEaHdyjjtH.1 Meeting ID: 815 6553 9302 Passcode: 832962

Друзья, встречаемся уже сегодня вечером👆 Кто еще не записался, вам сюда, бот напомнит о вебинаре и поможет добавить событие в календарь.

Продолжаем сезон бесплатных вебинаров. Завтра вечером поговорим о том, Как и зачем усиливать LLM c помощью RAG. Что сделаем на вебинаре? • научимся быстро оценивать точность работы LLM с помощью эвалов на своем датасете; • соберем простую RAG цепочку на платформе OpenAI (ChatGPT); • разберем, как анализировать и улучшать RAG с использованием traces (логов поиска и обработки запроса на каждом шаге). Спикер Андрей Менде Действующий Senior Machine Learning PM Booking .com Amsterdam Когда пройдет встреча? Четверг, 4 декабря в 19:00 (GMT+3). Сколько времени займет? 60 минут. Запишись, бот напомнит о событии и поможет добавить вебинар в календарь

Друзья, сегодня заканчивается распродажа. Успевайте;)