Телеграм канал «QA-Логия»

Тестирование LLM‑фичи: а своему eval точно можно верить?

Eval рисует 96% качества, прогон зелёный — а после выката LLM‑ассистент косячит по-крупному. И корень, возможно, в самой системе оценки: она не отлавливает опасные ответы и дарит ложное чувство, что всё под контролем.

Дальше — семь косяков в тестировании LLM‑функций и то, как собрать eval, которому реально можно доверять. Проверить свой eval

👉 QA-логия

⚡️ В сети начали массово сливать IT-курсы и книги известных онлайн школ

Вот отсортированная база с тонной материала (постепенно пополняется):

(363 видео, 87 книги) — Python
(117 видео, 53 книги) — ВАЙБКОД
(174 видео, 91 книги) — DevOps
(415 видео, 68 книги) — Frontend
(137 видео, 93 книги) — DS/ML
(143 видео, 33 книги) — ИБ/Хакинг
(352 видео, 89 книги) — С/С++/C
(343 видео, 87 книги) — Java/QA
(176 видео, 32 книги) — Git/Linux
(167 видео, 53 книги) — PHP/1С
(227 видео, 83 книги) — SQL/БД
(114 видео, 77 книги) — Сисадмин
(107 видео, 43 книги) — BA/SA
(181 видео, 32 книги) — Go/Rust
(167 видео, 43 книги) — Kotlin/Swift
(112 видео, 24 книги) — Flutter
(113 видео, 82 книги) — GameDev
(183 видео, 37 книги) — Дизайн
(136 видео, 33 книги) — PM/HR

Скачивать ничего не нужно — все выложили в Telegram

Первый RAG комом: как в hh.ru учат LLM анализировать ошибки автотестов

Алексей — автотестер в hh.ru. В конторе у него порядка трёх тысяч классов с e2e (UI) тестами на Java. Гоняют их по несколько раз в сутки, и именно они — главный quality gate. Только вот тесты нет-нет да и флакнут. А с этим надо что-то делать.

Против нестабильности давно работает автокарантин: как только тест поплыл, крон выкидывает его из прогонов и заводит в Jira тикет на владельца — мол, разбирайся. Как всё это устроено, в hh.ru на Хабре уже писали. А теперь туда прикрутили LLM: тест уезжает в карантин, нейросеть смотрит на ошибку и подкидывает владельцу пачку гипотез о том, почему оно упало, плюс варианты починки — если косяк на стороне самих тестов.

В статье автор рассказывает, как задачу пилили, почему классический RAG с векторным поиском не вывез и как в итоге дошли до схемы, где LLM сама решает, какой код ей нужен для разбора. Читать далее

👉 QA-логия

АЙТИШНИКИ БЕСПЛАТНОЕ ОБУЧЕНИЕ

Проект «Terminal» стал крупнейшей библиотекой бесплатного образования. В одном канале собраны курсы, книги, полезные инструменты и практические тренажёры для всех разработчиков:

• Практические курсы и задания
• Книги и статьи известных авторов
• Полезные инструменты и ресурсы
• IT-новости и инсайды

Обучение по всем направлениям: SQL, Python, ML, Frontend, PHP, C++, Go, Git, Linux, QA, Java, Vibe-coding, InfoSec и др.

⌨️ подписаться

Pii-Mask и его форк: что нам дал перекрёстный обмен тестами

Чел, который ведёт форк Pii-Mask, прикрутил туда фиксы и тесты для обработки Word и Excel. На нашей сборке 13 из его тестов легли. Разберу одну найденную дырку и покажу, как обмен тестами в обе стороны дал нам план правок и не дал потерять улучшения в обеих ветках.

Читать далее

👉 QA-логия

Тестирование до релиза и после: когда пора менять стратегию

Хабр, салют! На связи Сергей Трофимов, старший инженер по автотестам в «Юзтех». Тут не будет занудства про то, как тестировать правильно, а как — нет. Вместо этого копнём в другое: одно и то же ли тестирование до релиза и после? Точнее так — корабль обязан держаться изначального курса или руль всё же пора крутить? И как научиться вовремя затаскивать полезное, а ненужное выкидывать.

Часть 1. Начало

Даже если ты не застал проект на старте активной разработки, вопрос «а как там было в самом начале?» в голове всё равно всплывал. В этой части автор по личному опыту рассказывает, чем заняться на первом этапе, когда кода ещё нет вообще. Так вышло, что он стал первым QA на новом проекте — и нет, это не стартап с голым полем. Со стартапом порой работы даже побольше, особенно если тебе доверили выбирать инструменты. Здесь же бизнес живёт давно, идея сервиса долго зрела где-то в недрах домена, и вот пришло время собирать команду и начинать разработку. Из вводных понятно: рабочая инфраструктура уже есть, требования есть, а нет только одного — кода, который можно гонять тестами.

Читать далее

👉 QA-логия

Генеративные тесты — серебряная пуля или костыль на подпорках: что говорят разработчики и учёные

Вокруг нейросетей, которые клепают тесты, кипит спор — и в рабочих чатах, и в академических кругах. За: они делают ровно то, ради чего вообще придумали ИИ-агентов — тащат работу, которую мало кто любит, и отжимают кучу времени и сил. Против: выдают сюрпризы — то тест-кейс подправят или вообще снесут, то пограничные сценарии просто проигнорируют.

Авторы прошерстили, какие мнения про генеративные тесты гуляют по ИТ-индустрии и что на этот счёт вещает наука — со свежими исследованиями по теме. А под конец накидали подборку открытых инструментов, чтобы можно было самому пощупать связку «нейросеть + юнит-тесты».

Читать далее

👉 QA-логия