☕️ Автоматизируем оценку качества данных: от 11 ручных действий до агента
Год назад одна проверка качества данных требовала 11 последовательных действий. Это были не просто клики, а шаги, о которых надо было знать заранее: без инструкции под рукой их не пройти. Между ними — переходы между системами, а еще язык SodaCL, который используется только в этом процессе и забывается через день. Для каждой новой проверки путь начинался заново, а таблиц в домене не десяток и не сотня.
Мы поставили цель: любой пользователь должен без инструкции заводить проверки, время на одну проверку — не больше 10 минут. Начали с попытки уместить все в один инструмент, отказались от low-code, прошли через развилки архитектуры и в итоге пришли к AI-агенту. Сейчас генерация проверки занимает около пяти минут, а агент создает от 330 до 2 350 проверок в неделю.
🙂 Наш технический менеджер Аня Мавлютова рассказала, как устроен процесс, какие развилки мы прошли и почему выбрали агентскую архитектуру. А больше подробностей читайте на Хабре.
⚡️ Сократили время вычислений на графе из 800+ млн вершин с 24 часов до 30 минут
У нас есть граф друзей на 800+ млн вершин и 80+ млрд связей. Он строится на переводах, общих продуктах и другом взаимодействии клиентов. Граф ежедневно растет, содержит суперузлы с миллионами связей и смешанные данные из разных источников.
Считать на таком графе аналитические метрики — задача нетривиальная: классические подходы не дают нужной производительности. Но собирать дорогую специализированную инфраструктуру мы не стали. Вместо этого научились дешево проверять гипотезы о ценности графовой аналитики, опираясь на уже существующие ресурсы.
В карточках рассказываем, какие вызовы возникли и какие решения мы нашли.
⚡️ Собрались как-то на балконе трое из разных областей науки, технологий и моды и… записали подкаст!
ТехноБалкон — наш новый подкаст о технологиях и науке, где мы разбираемся, на что способно будущее. Ведущий Алексей Шпильман вместе с гостями говорит о научных и технологических темах: от ИИ и его применения в разных сферах жизни до медицины, квантовой физики и биологии. А соведущая Алена Повышева задает те самые вопросы, которые обычно возникают у большинства слушателей: «А это вообще как работает?» и «Можно попроще?».
В первом выпуске говорим о лазерах, которые давно вокруг нас: ими корректируют зрение, удаляют камни в почках, режут металл, делают чипы и даже общаются с животными. Вместе с инженером-лазерщиком и преподавателем НИЯУ МИФИ Александром Щекиным разбираемся, как все это работает.
Заглядывайте на наш балкон, где сложные идеи становятся понятными каждому:
*️⃣ Как выпустить фичу без бэкенда и не сорвать дедлайн?
Представьте: вы получили задачу разработать новый финансовый инструмент. Дедлайн через три месяца, команды фронта и мобилки готовы начинать, но бэкенд будет готов только через полтора месяца.
Мы были в такой же ситуации и успели выпустить фичу в срок благодаря инструментам перехвата и мокирования трафика.
В карточках рассказываем, что помогает в таких случаях и как устроен механизм перехвата HTTP-трафика через MITM-атаку. А подробный разбор читайте на Хабре.
🔥 Как мы научили VLM проходить тест-кейсы вместо человека
В нашем мобильном приложении десятки тысяч тест-кейсов. Регресс проводится дважды в месяц, и каждый цикл съедает значительную часть ресурсов QA-команд.
Мы построили AI-QA-агента, который проходит тест-кейсы так же, как это делает человек: запускает приложение на симуляторе, шаг за шагом выполняет сценарий, анализирует экраны с помощью VLM и автоматически сравнивает ожидаемый результат с фактическим.
В карточках рассказываем про устройство архитектуры, почему не подошли готовые решения и какие выводы мы сделали. А больше подробностей читайте на Хабре.
✨ Обучаем рекомендательную модель с помощью Perseus
Летом мы выложили в открытый доступ фреймворк Perseus, который объединяет данные из разных источников в одну последовательность и обучает трансформерные модели.
Если фреймворк показался вам сложным — смотрите подробный туториал, где по шагам рассказываем, как его использовать в ваших задачах.
Вы научитесь:
↗️ Подготавливать данные для дальнейших экспериментов.
↗️ Конфигурировать модель: настраивать архитектуру, учитывать (или нет) различные события и признаки.
↗️ Обучать и инференсить настроенную модель под задачи кандидатогенерации, ранжирования, классификации и регрессии.
В каждой из задач обязательно сравнимся с бейзлайнами.
Какие данные используем?
T‑ECD — это синтетический кросс-доменный датасет на основе реальных данных из сервисов в разделе «Город». На нем Perseus уже доказал свою эффективность в продакшене.