⚡️ Как ускорить A/B-тест с несколькими метриками, не ломая статистику
В продуктовых экспериментах часто одна целевая метрика. Но бывает сложнее: например, хотим увеличить выручку, но не готовы раскатывать, если просела конверсия в покупку. Значит, метрик будет несколько, и нужно контролировать вероятность хотя бы одной ложноположительной ошибки.
Классическое решение в таком случае — поправка Бонферрони. Делим общий уровень значимости поровну между метриками. Это просто, но не всегда эффективно: если одна метрика требует сильно больше пользователей, именно она определяет длительность всего теста.
В нашей лаборатории прикладной статистики предложили не делить уровень значимости поровну, а распределять его оптимально. Контроль ошибки первого рода сохраняется, а размер выборки в наших тестах сократился в среднем в 1,2 раза. На синтетике с 10 метриками выигрыш доходит до 1,9 раза.
В карточках — о том, как устроен метод и где он дает эффект. А подробности, математика и результаты экспериментов — на Хабре.
Эти выходные выдались тяжелыми для многих коллег в инженерной отрасли. Мы хорошо понимаем, сколько труда стоит за стабильной работой больших систем. И знаем, как выглядит ночь, проведенная за разбором инцидента, когда каждая минута на счету.
Хотим поддержать всех, кто сейчас работает над устранением проблем: разработчиков, SRE, инженеров эксплуатации, инфраструктурные команды и всех, кто остается на связи и помогает.
Это тяжелая, невидимая снаружи работа, которая требует решительности, выдержки и огромного профессионализма.
Желаем как можно скорее вернуться к привычной работе 🧡
🔥 Нашим речевым технологиям — 10 лет
⠀
Вот какой путь мы проделали за все время:
Индустрия переизобрела голосовых роботов минимум трижды, и на каждой волне мы были локомотивом, который предоставлял технологию. В карточках рассказываем подробнее, как это было.
Что еще почитать и посмотреть про речевые технологии?
⠀
→ Как устроена команда разработки платформы
→ Что у платформы под капотом
→ T-One — наша open-source-модель для потокового ASR
→ Подкаст про команду Speech в AI-Центре Т-Банка
→ Как мы пересобрали процесс обучения в контакт-центре
⠀
#stt #tts #ai #speechtech #llm #opensource
✨ Если нейросеть уже может создать почти что угодно, зачем искусству все еще нужен человек?
Во втором выпуске подкаста «ТехноБалкон» переходим от лазеров к искусству. Вместе с художницей, программистом и преподавателем Центра искусства и науки Университета ИТМО Эллиной Геннадьевной обсуждаем:
↗️ Станет ли умение писать промпты новым художественным навыком.
↗️ Кто в итоге отвечает за произведение, созданное нейросетью.
↗️ Как ИИ-искусство порождает научные открытия.
И, конечно, пытаемся заглянуть в будущее и понять, что ждет творчество в мире, измененном искусственным интеллектом.
Заглядывайте на наш балкон, чтобы вместе разобраться, на что способно будущее:
↗️ Ютуб
↗️ ВКонтакте
↗️ RUTUBE
↗️ Яндекс Музыка
↗️ Аудиоплатформы
*️⃣ Упаковали нейросетевые модели ранжирования в open-source библиотеку
В рекомендательных системах ранжирование чаще всего реализовано на градиентных бустингах LightGBM или CatBoost. Нейросетевые модели обещают больше, но порог входа высокий: нужно переписать процессинг признаков, написать цикл обучения, собрать инференс.
Мы сделали scikit-rank — библиотеку, которая упаковывает нейросетевые модели ранжирования в scikit-learn-совместимый интерфейс. Теперь можно попробовать нейроранкер в существующем пайплайне с минимальными изменениями кода.
В карточках — зачем это нужно, как устроено и какие модели поддерживаются. А подробнее — на Хабре.
🔒 Как проектировать системы так, чтобы защита не требовалась?
Узнаем на конференции о практическом сдвиге в защите Security Shift. ИБ- и ИТ-команды из Т-Банка, Лаборатории Касперского и Яндекса покажут на практике, как архитектурные процессы заменяют классические средства защиты информации — от принципов SbD к рабочим инструментам.
В программе — доклады, воркшопы и дискуссии: от архитектурных решений и ошибок дизайна до реальных атак и новых векторов угроз. А эксперты Standoff Bug Bounty расскажут о формате кибериспытаний: чем они отличаются от поиска отдельных уязвимостей, как провести такой формат в вашей компании и какую пользу результаты принесут бизнесу.
📚 16 октября
↗️ Москва, штаб-квартира Т-Банка
Регистрируйтесь и зовите всех, кто тоже создает безопасные системы — количество мест ограничено!