Perception or Reasoning? Diagnosing and Tackling Reinforcement Learning Bottlenecks in VLMs Разбираем статью, в которой авторы исследуют, почему RL хорошо улучшает ризонинг мультимодальных моделей, но гораздо хуже справляется с визуальным восприятием. Исправить это предлагают через дистилляцию аттеншна. Первая интересная идея — ошибки на визуальных бенчмарках не обязательно связаны со способностями, которые они проверяют. Например, модель может ошибаться не из-за плохого ризонинга, а потому, что неправильно считывает информацию с изображения. Чтобы разделить эти случаи, предлагают PARA — метод оценки perception и reasoning headroom, то есть доли ошибок, которые можно исправить улучшением соответствующей способности. Для этого используют две сильные референсные модели — Claude Opus 4.8 и GPT-5.6-Luna — и проводят два эксперимента: • Perception Intervention. Сильная модель подробно описывает изображение, а исходная VLM повторно решает задачу с этим описанием (отдельно или вместе с оригинальной картинкой). • Reasoning Intervention. Исходная VLM описывает изображение, а сильная модель решает задачу только по описанию. Дополнительно проверяют, что референсная модель сама способна решить задачу по оригинальному изображению. Важный момент — PARA оценивают всего на 200 примерах каждого бенчмарка из-за вычислительных ограничений. Как конкретно отбирали эти примеры, описано в статье. При этом набор бенчмарков интересный: BLINK, PerceptionBench, VisNumBench, HallusionBench, LogicVista, MathVista, MathVerse и другие — всего 17. Оказывается, боттлнек зависит от конкретной модели: так, на MME у Qwen преобладает reasoning headroom, а у Gemma — perception. Дальше авторы показывают, что обычный RL лучше использует reasoning headroom. Прирост от RL снижается, когда больше ошибок исправимо улучшением perception, и растёт, когда преобладают боттелнеки в ризонинге. Авторы связывают это с тем, что награда за итоговый результат не различает ошибки восприятия и рассуждения. А методы вроде Vision-SR1 и VPPO влияют на визуальное внимание лишь косвенно, через изменение advantage и градиентов по логитам выходных токенов. Чинить это предлагают с помощью GRAD — Group-Relative Attention Distillation. В OPAD неуспешный роллаут отталкивается от своего предыдущего аттеншна. Но ведь модель могла правильно посмотреть на изображение и ошибиться уже в ризонинге! GRAD вместо этого заставляет роллауты с отрицательным advantage перенимать визуальный аттеншн лучшего роллаута из той же группы. Чем хуже роллаут, тем сильнее дистилляция. Внешний учитель и дополнительные аннотации не нужны. В результате GRAD улучшает средний score относительно GRPO на +2,9/2,5 пункта усреднённой метрики для Qwen3-VL-2B/4B и превосходит Vision-SR1, VPPO и OPAD по среднему результату. Perception headroom снижается на пять из семи бенчмарков против двух у GRPO. Если выбирать случайный роллаут вместо лучшего, Avg. падает с 49,4 до 45,5 — даже ниже GRPO. Лучше всего работает supervision только последнего слоя декодера с λ = 1. Что вызывает вопросы Лучший по реворду роллаут необязательно обладает лучшим визуальным аттеншном — правильный ответ может получиться благодаря ризонингу или случайной догадке. Кроме того, снижение PH после обучения может объясняться изменением состава оставшихся ошибок, а не только улучшением perception. Самое интересное в работе — использование собственных успешных роллаутов модели как источника supervision для визуального восприятия. Более общий вывод: научить VLM правильно отвечать и научить её действительно лучше воспринимать изображения — не одно и то же. Хочется отметить качество экспериментальной части: авторы провели подробные аблейшны, привели гиперпараметры и настройки обучения. А в приложении оставили достаточно деталей, чтобы разобраться в реализации метода и попробовать воспроизвести результаты. Разбор подготовила ❣ Арина Гертель CV Time

AgentSynth: Scalable Task Generation for Generalist Computer-Use Agents Сегодня разбираем статью о генерации данных для computer-use-агентов, которые умеют «тыкать кнопки» в графическом интерфейсе. Чтобы обучать такие модели, как на стадии cold star, так и на стадии RLVR, нужен датасет исходных задач, по которым будут генерироваться траектории для cold start и роллауты для RLVR. Соответственно, встаёт задача генерации задач. Статья предлагает одно из возможных решений. Авторы начинают с обзора разных способов генерации данных. Отдельно останавливаются на средах, таких как WebArena, OSWorld, WindowsArena и других. В работе концентрируются на OSWorld, так как она предназначена для десктопа, имеет браузер, то есть может работать в вебе. Что заявляют в основных результатах: • Сделали пайплайн генерации исходных задач для OSWorld — причём достаточно сложных и разнообразных. • За счёт пошаговой генерации могут добиться большей сложности задач, чем при генерации задачи за один шаг. • На основе сгенерированных данных построили бенчмарк. Пайплайн генерации состоит из нескольких агентов, которые реализованы одной и той же LLM (брали GPT-4.1), но с разным системным промптом (см. скриншот 1). 1. Чтобы получить более разнообразные задачи, используют датасет PersonaHub, где описаны разные люди, их социальное положение и другая информация. Task-proposal получает эту информацию вместе с промптом и генерирует исходную задачу. 2. Задача отправляется в task-executor, который по шагам выполняет её. Агент видит задачу и предыдущее действие, и на основе этого генерирует следующее. Таким образом создаётся траектория. 3. Task-verifier смотрит, выполнил ли task-executor задачу полностью. Если выполнил — переходим к дальнейшим шагам. Если нет, task-verifier оценивает, до какого шага она выполнена, и передает эту информацию дальше. 4. Задача может быть либо невыполнимой в принципе, либо слишком сложной для агента. Task-reviser переформулирует её так, чтобы она стала выполнимой. То есть фактически подстраивает под уже сгенерированную траекторию. 5. Сделанная валидной задача или изначально валидно сгенерированная отправляется в follow-up task proposal, который её усложняет. 6. Task-summarizer переформулирует последовательность всё более усложняющихся задач от самой простой до текущей в единую задачу. В работе делали шесть тёрнов усложнения, соответственно, в датасете получаются задачи шести уровней сложности. Авторы приводят анализ получившегося датасета. Берут 100 задач, примерно по 16 на каждый уровень сложности, и оценивают по четырём критериям: 1) разрешимость и реалистичность — можно ли решить эту задачу стандартными тулами; 2) когерентность — каждая последующая подзадача логически следует из предыдущей; 3) релевантность персоне; 4) точность верификатора — насколько правильно он определяет, решена ли задача. Отдельно авторы рассматривают калибровку верификатора. Приходят к выводу, что он сохраняет точность для разных уровней сложности (см. скриншот 2). В одном из экспериментов пытались «сломать» верификатор. Для этого брали проверенные траектории и делали два типа изменений: 1) немного и незаметно меняли цель в задаче таким образом, чтобы траектория переставала решать эту задачу; 2) меняли UI, но так чтобы вердикт оставался прежним. В первом случае, где все задачи должны были детектиться как fail, 12% определялись как success — не так уж мало, но в целом приемлемо. Во втором случае 94% случаев верно расценивались как успех. Сделали оценку на моделях GPT-4o-mini и Gemini и Claude Sonnet. Брали по 50 задач каждого уровня сложности и сравнивали с человеческой разметкой. Лучшие результаты получили у Claude Sonnet и GPT-4o-mini. Также проанализировали частые ошибки. В их числе неточный клик мышки, клик в другой элемент, а также “lack of recovery from error” — когда после мисклика модель зацикливается. Разбор подготовил ❣ Александр Шишеня CV Time

Denoising, Fast and Slow: Difficulty-Aware Adaptive Sampling for Image Generation При работе диффузионных моделей все участки изображения расшумляются одинаково, то есть на каждом шаге они находятся на одном таймстепе и получают одинаковое количество вычислений. При этом сложность у разных частей картинки сильно отличается. Так, небо или однородный фон генерируются легко, а текст, мелкие детали и границы между объектами — сложнее. Сегодня разбираем статью, в которой пробуют решить эту проблему. Авторы предлагают отказаться от общего таймстепа для всей картинки и расшумлять разные её части с разной скоростью. Изображение разбивают на патчи, у каждого из которых может быть свой уровень шума. Простые участки можно быстрее продвинуть вперёд, чтобы они раньше стали более чистыми и через аттеншн помогали расшумлять сложные. Но тут появляется следующая проблема. Просто независимо семплировать таймстеп для каждого патча на обучении не выходит. Почти в каждом примере появляются сильно расшумленные патчи, на которые модель может опираться при восстановлении остальных. На инференсе, который начинается с чистого шума, такого контекста нет. Чтобы уменьшить этот эффект, авторы предлагают LTG timestep sampler. Вместо независимого семплирования сначала выбирается максимальный таймстеп для всего изображения, а уже относительно него — таймстеп отдельных патчей. В статье t = 0 соответствует чистому шуму, а t = 1 — данным, поэтому больший таймстеп означает более чистый патч. Таким образом ограничивают количество чистой информации, которую модель видит на конкретном обучающем примере. Причём уже сам переход от одного таймстепа на изображение к patch-level-таймстепам с таким семплированием улучшает генерацию. Дальше надо понять, какие патчи можно расшумлять быстрее. Для этого к модели добавляют лёгкую голову, которая для каждого патча оценивает неопределённость предсказания. Если модель уверена в простом патче, его можно сильнее продвинуть вперёд. Сложные участки, где неопределённость выше, получают больше уточнений. Вместе с основной моделью голову обучают оценивать, насколько трудно восстановить каждый патч. Авторы показывают, что патчи с более высокой предсказанной неопределённостью в среднем действительно расшумляются с большей ошибкой. Вместе обучение с patch-level-таймстепами и оценка сложности образуют Patch Forcing. Для его применения модель нужно обучить или дообучить с поддержкой разных таймстепов у патчей и головой сложности. Для такой модели авторы предлагают два адаптивных семплера. • В dual-loop есть внешний цикл, где уверенные патчи сначала продвигают большим шагом, и внутренний, где сложные патчи догоняют их несколькими маленькими шагами, используя уже обновлённые уверенные патчи как контекст. Когда таймстепы снова совпадают, модель заново оценивает сложность патчей и повторяет цикл. • В look-ahead уверенные патчи продвигают вперёд, чтобы получить более чистый контекст для сложных. Величина этого опережения зависит от текущего таймстепа: чем дальше продвинулась генерация, тем дальше можно заглянуть вперёд, вплоть до чистого состояния. Судя по результатам, сам по себе Patch Forcing хоть и не даёт огромный буст, зато хорошо комбинируется с другими методами и показывает, что идея patch-level-расписания расшумления в целом полезное направление для генеративных моделей. Разбор подготовил ❣ Максим Банцевич CV Time