Flaky по заказу: полигон для прокачки стабильных e2e-тестов на Playwright
Зелёный прогон на учебной песочнице ровным счётом ничего не гарантирует — на живом проекте этот же тест легко упадёт через раз. Автор рассказывает про тренажёр: поначалу всё как обычный курс, а потом включается Hard Mode — бесячие попапы, тормозящий бэкенд и промо, которое накрывает экран аккурат в самый неудобный момент.
Что по содержимому: 11 уроков, Hard Mode с воспроизводимыми флаками и Flake Score — метрика, которая покажет, переживёт ли твой тест реальный проект. Читать далее
Тестирование LLM‑фичи: а своему eval точно можно верить?
Eval рисует 96% качества, прогон зелёный — а после выката LLM‑ассистент косячит по-крупному. И корень, возможно, в самой системе оценки: она не отлавливает опасные ответы и дарит ложное чувство, что всё под контролем.
Дальше — семь косяков в тестировании LLM‑функций и то, как собрать eval, которому реально можно доверять. Проверить свой eval
Первый RAG комом: как в hh.ru учат LLM анализировать ошибки автотестов
Алексей — автотестер в hh.ru. В конторе у него порядка трёх тысяч классов с e2e (UI) тестами на Java. Гоняют их по несколько раз в сутки, и именно они — главный quality gate. Только вот тесты нет-нет да и флакнут. А с этим надо что-то делать.
Против нестабильности давно работает автокарантин: как только тест поплыл, крон выкидывает его из прогонов и заводит в Jira тикет на владельца — мол, разбирайся. Как всё это устроено, в hh.ru на Хабре уже писали. А теперь туда прикрутили LLM: тест уезжает в карантин, нейросеть смотрит на ошибку и подкидывает владельцу пачку гипотез о том, почему оно упало, плюс варианты починки — если косяк на стороне самих тестов.
В статье автор рассказывает, как задачу пилили, почему классический RAG с векторным поиском не вывез и как в итоге дошли до схемы, где LLM сама решает, какой код ей нужен для разбора. Читать далее
Проект «Terminal» стал крупнейшей библиотекой бесплатного образования. В одном канале собраны курсы, книги, полезные инструменты и практические тренажёры для всех разработчиков:
• Практические курсы и задания
• Книги и статьи известных авторов
• Полезные инструменты и ресурсы
• IT-новости и инсайды
Обучение по всем направлениям: SQL, Python, ML, Frontend, PHP, C++, Go, Git, Linux, QA, Java, Vibe-coding, InfoSec и др.
Pii-Mask и его форк: что нам дал перекрёстный обмен тестами
Чел, который ведёт форк Pii-Mask, прикрутил туда фиксы и тесты для обработки Word и Excel. На нашей сборке 13 из его тестов легли. Разберу одну найденную дырку и покажу, как обмен тестами в обе стороны дал нам план правок и не дал потерять улучшения в обеих ветках.