Телеграм канал «QA-Логия»

Обычно под «у нас есть тесты на Playwright» все понимают классику: e2e, который открывает приложение, логинится, штурмует страницы и дергает настоящий или почти настоящий backend. А вот в Angular-мире основной пласт UI-автоматизации — CAT-тесты (component autotest), и это совсем другой замес.

Идея в том, что тест поднимает один компонент или даже бизнес-форму целиком в Storybook, открывает это в настоящем Chromium, потом имитирует действия юзера, управляет HTTP-ответами и сверяет интерфейс с эталонными скриншотами. В итоге имеем зверя, который не то unit, не то e2e — что-то посередине.

Читать далее

👉 QA-логия

Баги — это не просто мусор в трекере, а источник инфы о рисках продукта

Ты серьезно думаешь, что QA нужен, чтобы штамповать дефекты тоннами? Чем длиннее список в баг-трекере, тем «полезнее» тестировщик, да? А вот и нет. В статье разжевывают, почему QA — это не охотник за багами, а инженер качества.

В Modus такой инженерный подход к стабильности позволяет заворачивать риски еще до первой строчки кода. И отношение к процессам тестирования после этого меняется кардинально.

Читать далее

👉 QA-логия

Пагинация. Ошибки тестирования списков и курсоров

Пагинация ломается не только внутри запроса к базе. Это цепочка: бэкенд определяет порядок и границу страницы, фронт хранит курсор и объединяет ответы, а пользователь меняет фильтры, повторяет запросы и возвращается на экран.

Разберём шесть ситуаций, в которых локальные проверки зелёные, а список целиком работает неправильно.

Проверить пагинацию

👉 QA-логия

5ⁿ → 4n+1: сколько на самом деле дают редукции в explicit‑state model checking

Проверка модели полным перебором упирается в комбинаторный взрыв, и практически вся инженерия в этой области — не про сам поиск, а про то, как его избежать. Две классические техники — редукция по симметрии и редукция частичных порядков — описаны в литературе десятилетиями, но их эффект обычно приводится либо асимптотически, либо на одном показательном примере. Ниже — измерение на работающей реализации: во сколько раз каждая редукция сокращает пространство состояний, сколько она стоит в пересчёте на состояние, на каких спецификациях она не даёт ничего, и — главное — экспериментальная проверка того, что четыре условия ample‑множества действительно необходимы, а не унаследованы из статьи без разбора. Три результата, ради которых стоит читать дальше: Читать далее

👉 QA-логия

[Перевод] Сколько автономности нужно ИИ‑агенту

Не надо выдавать ИИ‑агенту больше свободы лишь потому, что он выглядит смышлёным. Расширять его полномочия стоит только тогда, когда внешняя система вокруг агента способна надёжно вылавливать его косяки.

Подробнее: Habr

👉 QA-логия

ГигаАгент от Сбера. Первый блин слопом

12 августа Сбер выпустил своего первого универсального ИИ-агента. Про новость написал ТАСС. Было заявлено, что это «первый в России автономный универсальный ИИ-агент».

Автор — основатель компании, запустившей ИИ-агентов в феврале на своем ядре, — решил протестировать решение. 14 августа он начал тестирование: на счету cloud.ru лежало 293 рубля еще с прошлогоднего проекта. Он кликнул на подсказку «Расскажи, что ты умеешь». Прошло почти 5 минут, агент задумался. Автор устал ждать и отошёл от компьютера. В апреле он получил грант от Яндекса на миллион рублей на токены ИИ-моделей и с этого месяца поддерживает Alisa Ai LLM и Yandex GPT Pro, но это тема отдельного поста.

Источник

👉 QA-логия

ОК или НеОК: как мы строили LLM‑судью и дважды меняли формулу вердикта

У AI‑агента поддержки было десять метрик и ноль ответов на главный вопрос: какую долю обращений он решает? Судья, который читал только текст диалога, ставил 18/20, а проверка по реальным вызовам инструментов давала 8/20. Текстовые проверки считали правдоподобный ответ верным и не могли отличить его от подтверждённого. Самодельный «процент фантомных эскалаций» оказался измерением того, насколько слова бота согласованы с его же внутренними флагами. Каждая метрика что‑то измеряла, и ничего продуктового.

Тогда мы решили: оценка качества станет отдельным сервисом с собственным источником истины. В статье два переписывания формулы вердикта, несколько пойманных слепот и один эталонный набор, который учил нас доверять неправильным ошибкам.

Читать далее

👉 QA-логия