🚀 Выложили SWE-rebench V2.1 RL: 13 337 бесплатных RL-сред для обучения кодинг-агентов. Это задачи из реальных GitHub-репозиториев на 20 языках, в формате Harbor Зачем это нужно. В RL модель решает одну задачу много раз и учится на разнице между удачными и неудачными попытками. Если задача сломана, например тесты не совпадают с описанием, окружение не поднимается или ответ утекает в Docker-образ, модель на ней ничему не учится, а компьют уходит впустую. В открытых датасетах таких задач много. Мы проверили и починили каждую задачу с помощью кодинг-агентов, в среднем за $0.24 на задачу. На одних и тех же 100 задачах число задач, на которых Qwen3.5-9B реально учится, выросло с 55 до 70. Если вы занимаетесь RL-посттрейном - должно быть полезно! готовим еще больше релизов для опен сорса. X: link Harbor: link

Проверил популярную идею: Opus думает и ревьюит, а код пишет дипсик или квен. Вроде должно выйти почти так же, но дешевле. Раньше я собирал сеты из своих сессий, но там задачи слишком лёгкие. В этот раз взял 12 сложных задач из открытых бенчмарков, самые похожие на мою работу, в основном hard ML/SWE. Сделал пару прогонов, поправил сами задачи. Больше половины задач в бенчмарках не честные: тесты либо валили рабочее решение, либо пропускали слабое. Потом прогнал разные связки моделей, там штук 7 разных сетапов включая из статьи дипсика про super agent и разные модели. tldr: Стало хуже и дороже: Один Opus: 81%, $1.20 за задачу Opus + DeepSeek Flash: 67%, $1.29 Из интересного: > Деньги в основном уходят на кеш промпта. кеш у Opus протухает, пока дешевая модель работает и пересобирать его дороже, чем вся работа дешёвой модели. > Сработала идея по мотивам статьи DeepSeek про Super-agent: не запрещать Opus писать код, а сказать ему, что его токены в 20 раз дороже. Скор тот же, а цена почти вдвое ниже ($0.71). > Дешёвые модели в одиночку обогнали все связки: Terra 78%, Sol 75%, по $0.17 за задачу. > Sol отлично ревьюит, Opus в этой роли так себе. Пайплайн ревью: диффы и если есть косяк, просит воркера переделать. ссылки: 1. Задачи лежат в Harbor, можете прогнать сами: линк 2. Полная таблица: линк 3. Тред в X линк 4. Пост на Reddit: линк

Из сессий с агентами получаются готовые evals Каждый раз, когда выбираю сетап для кодового агента, я немного гадаю. Лучше ли эта новая модель? Помогает ли больше reasoning? Помогают ли эти скиллы? Поэтому из ~1270 своих сессий в Claude Code, Codex и Pi я собрал 10 задач с автоматической проверкой и прогнал на них разные сетапы. Сделал пару публикаций про это, у меня спросили про то, как такое сделать самим. Поэтому вот! Написал гайд + скилл, который делает большую часть работы 📊 Гайд: https://teletype.media/@ibragim_bad/fm5jSJvYb_5 🛠 Скилл: https://github.com/ibragim-bad/evals-from-sessions 🏆 Лидерборд: https://ibragim.dev/leaderboard/ оригинал в X: https://x.com/ibragim_bad/status/2111102467924496721?s=20