Тестирование до релиза и после: когда пора менять стратегию
Хабр, салют! На связи Сергей Трофимов, старший инженер по автотестам в «Юзтех». Тут не будет занудства про то, как тестировать правильно, а как — нет. Вместо этого копнём в другое: одно и то же ли тестирование до релиза и после? Точнее так — корабль обязан держаться изначального курса или руль всё же пора крутить? И как научиться вовремя затаскивать полезное, а ненужное выкидывать.
Часть 1. Начало
Даже если ты не застал проект на старте активной разработки, вопрос «а как там было в самом начале?» в голове всё равно всплывал. В этой части автор по личному опыту рассказывает, чем заняться на первом этапе, когда кода ещё нет вообще. Так вышло, что он стал первым QA на новом проекте — и нет, это не стартап с голым полем. Со стартапом порой работы даже побольше, особенно если тебе доверили выбирать инструменты. Здесь же бизнес живёт давно, идея сервиса долго зрела где-то в недрах домена, и вот пришло время собирать команду и начинать разработку. Из вводных понятно: рабочая инфраструктура уже есть, требования есть, а нет только одного — кода, который можно гонять тестами.
Генеративные тесты — серебряная пуля или костыль на подпорках: что говорят разработчики и учёные
Вокруг нейросетей, которые клепают тесты, кипит спор — и в рабочих чатах, и в академических кругах. За: они делают ровно то, ради чего вообще придумали ИИ-агентов — тащат работу, которую мало кто любит, и отжимают кучу времени и сил. Против: выдают сюрпризы — то тест-кейс подправят или вообще снесут, то пограничные сценарии просто проигнорируют.
Авторы прошерстили, какие мнения про генеративные тесты гуляют по ИТ-индустрии и что на этот счёт вещает наука — со свежими исследованиями по теме. А под конец накидали подборку открытых инструментов, чтобы можно было самому пощупать связку «нейросеть + юнит-тесты».
Тест зелёный, а баг жив: что выяснил эксперимент Дэна Лу
Агент гонял разворот палиндрома, а очередь из четырёх потоков — на четырёх одинаковых входах. Тесты всё равно проходили, хотя ошибка никуда не делась. А в опыте Дэна Лу советы про TDD, фаззинг и формальные методы так и не дали внятного перевеса над контролем.
В разборе — три механики бесполезных проверок и пример, который реально запускается: как специально подложить конкретный баг и убедиться, что тест его ловит.
До читателя текст теперь частенько добирается через двух ИИ сразу: первый — тот, с кем автор его пишет, второй — тот, кто режет инфу в выжимку для читателя. В КИПиА такое зовут измерительным каналом, и у схемы есть паршивая черта: погрешности звеньев складываются.
Знания по такому маршруту проходят норм. А вот контекст — нет. В статье копают, где именно контекст теряется, чем ошибка модели, одинаковая для всех её читателей, страшнее обычного непонимания, и как проверять канал с двух сторон — на живом кейсе с собственным комментарием, который ушёл в минус.
Сканер 152-ФЗ выкатил нарушения Госуслугам, РЖД и Т‑Банку. Сейчас разберём, откуда ноги растут
Линтер ругнулся — потерял пять минут. Со сканером, который шерстит сайты на 152-ФЗ, так не прокатывает: на выходе получаешь «твой сайт вне закона». Сайт при этом чистый, зато отчёт уже уплыл к клиенту — и крайним окажется совсем не тот, кто его писал.
Мы такой сканер сами и пилим. Отчёт по нему уезжает не владельцу сайта, а веб‑студии — той, что тянет сотню клиентских проектов. А та уже отдаёт бумаги дальше, под своим логотипом. То есть за нашу придуманную находку краснеть будет она. Вот почему мы притормозили с новыми проверками и целый месяц занимались обратным: копали, где сканер врёт. Собрали три тулзы, которые выискивают косяки в нашем же коде, и прогнали через них полсотни самых неудобных сайтов Рунета. Трижды. Выловили восемь ловушек. Ни одной из них клиент так и не увидел — но увидел бы, выкатись мы просто так.
😅 Айтишник отправил в одну компанию три одинаковых резюме и только одно дошло до финала
Опыт везде был один и тот же, отличались только формулировки и ключевые слова. Первое резюме сразу ушло в помойку из-за алгоритмов, второе получило отказ после предварительной переписки и тестового, так как «опыт не совсем подходит», а вот третье дошло до финала.