Transcription Policy as a Latent Variable: Activating Controllable Verbatim ASR with Word-Level Timing Разберём статью от лаборатории Nyra Labs. В работе можно выделить три основные части: 1. Как заставить ASR выбирать нужный стиль транскрипции. 2. Как получить word-level alignment из cross-attention. 3. Как восстановить verbatim-транскрипцию по аудио и хорошей intended-транскрипции, не испортив исходный текст. Остановимся на первом пункте. Verbatim в рамках работы — транскрипция, которая сохраняет междометия, обрывы слов, повторы и неречевые события: смех, кашель. Intended — более чистая транскрипция, близкая к привычной разметке в опенсорсных датасетах. В ней удаляются повторы и недоговоренные слова, не предсказываются неречевые теги. Главную гипотезу формулируют так: Model already knew. It just couldn't be asked. То есть ASR уже умел выдавать транскрипции в разных стилях, но не было интерфейса для выбора нужного режима. Decoding instability Если запустить обычный Whisper с beam search и посмотреть на несколько гипотез для одного аудио, они могут заметно различаться по CER и стилю. Одна гипотеза сохраняет междометия и повторы, другая удаляет их, третья иначе оформляет обрывы слов. При этом разные гипотезы могут выбирать разные transcription policies. Получается, что decoding uncertainty связана не только с акустикой, но и с неопределённостью стиля предсказания. Mode tags В качестве решения добавляют три группы управляющих тегов: sound — кашель, смех и другие неречевые события; verbatim — междометия, обрывы слов и повторы; intended — чистая транскрипция. Причём используется не один бинарный переключатель verbatim / intended, а несколько тегов разной интенсивности. Благодаря этому отдельными компонентами transcription policy можно управлять независимо, например, сохранять дисфлюенции, но не выводить неречевые события. Training fraction Чтобы проверить эффективность тегов, авторы меняли долю verbatim-примеров в обучающей выборке. Без тегов модель стабильно предсказывала verbatim только при высокой доле таких данных. В промежуточной зоне она смешивала разные стили транскрипции. С тегами качество оставалось высоким даже при небольшой доле verbatim-данных. Модель получала явный сигнал о том, какую policy нужно использовать, и переставала угадывать её по особенностям датасета. Основной эксперимент Базовый Whisper получил около 10% F1 при распознавании немецких дисфлюенций. Затем авторы заморозили все 764 млн параметров модели и обучили только десять новых эмбеддингов для тегов. Уже этого оказалось достаточно, чтобы повысить F1 до 79%. После разморозили декодер и провели небольшое дообучение, в результате чего F1 вырос до 94%. При этом немецких verbatim-данных в fine-tuning не использовали. Десять новых эмбеддингов едва ли могли с нуля научить 764-миллионную модель распознавать немецкие междометия, повторы и обрывы слов. Более вероятно, что соответствующая способность уже присутствовала во внутренних представлениях Whisper, а теги лишь предоставили к ней удобный интерфейс. Что ещё есть в статье Вторая часть работы — о том, как делают алайнмент через cross-attention. Оказалось, некоторые головы у Whisper уже содержат информацию, где в аудио находится слово. Авторы берут несколько таких голов, усредняют их и дообучают на алайнмент MFA. В итоге получают рабочий алайнер. Третья часть работы — задача Verbatimize: на вход подаются аудио и intended-транскрипция, а модель восстанавливает verbatim, добавляя в акустически обоснованных местах повторы, междометия, обрывы слов и неречевые теги. На ICSI rare-word set recall редких слов вырос с 6,8% (без промптирования) до 94,1%, а с casing perturbation — до 96,1%. Результат Главный результат выглядит убедительно: ASR уже умеет работать в разных стилях, а mode tags делают выбор управляемым. Обучение всего десяти эмбеддингов повышает German disfluency F1 с 10% до 79% без немецких verbatim-данных в обучении. При этом перенос показан только на немецком — нужны дополнительные эксперименты на других языках и моделях. Иван Бобошко ❣ Специально для Speech Info

Qwen3.5-Omni Technical Report Сегодня разбираем техрепорт Qwen3.5-Omni. Авторы репортят SOTA на множестве задач и рассказывают, что положили в трейн 100 миллионов часов аудиовизуального контента. Правда, к сожалению, модели не выложены в опенсорс и доступны только в API. По сути, здесь взяли текстовые модели Qwen3.5 и добавили к ним мультимодальные возможности. Начнём с того, чего удалось добиться по сравнению с предыдущей версией Qwen3 Omni, которую мы разбирали ранее. 1. Управляемый аудиовизуальный кепшенинг — модель умеет описывать аудиовизуальную информацию, понимает, что именно хотим узнать о звуковой дорожке или видео. 2. Хорошее реалтайм-взаимодействие — понимает структуру диалога, когда пора что-то сказать, когда прерывают. (Деталей реализации в репорте мало — сказано только, что это сделано на RL-стадии). 3. Способность нативно работать как омнимодальный агент — тоже получена на стадии RL. В плане архитектуры — это по-прежнему Thinker-Talker. Thinker — MoE-модель побольше, которая умеет получать информацию из аудио- и картиночного энкодеров и маппить разные модальности в единое эмбеддинговое пространство. Оттуда Talker, MoE-модель поменьше, генерирует текстовые и аудиотокены. Для аудио используется 16-уровневый RVQ-кодбук. Сам Talker генерирует только нулевой уровень RVQ, а настроенный поверх него MTP-модуль разворачивает его в остальные 16 уровней кодека. Thinker способен работать с последовательностями до 256К токенов. Туда помещается до 10 часов аудио или 400 секунд видео 720p с частотой 1 FPS. Видео при этом представлено отдельно кадрами и отдельно аудио — «честного» видео на вход модель не получает. Поверх конструкции есть декодер, который умеет «разговаривать». Несколько интересных технических деталей. Во-первых, аудиоэнкодер обучали на ASR-задачах на 40 млн часов аудио. Для длинных аудио и видео одного позиционного эмбеддинга оказалось недостаточно, поэтому в последовательность дополнительно вставляют текстовые временные метки — сколько секунд прошло от начала аудио или видео. Авторы говорят, это заметно улучшает качество на длинных контекстах. Во-вторых, для генерации речи добавили ARIA (Adaptive Rate Interleave Alignment). При совместной генерации текста и аудио возникает вопрос, сколько аудиотокенов должно приходиться на каждый текстовый токен. Фиксировать это число неудобно: соотношение зависит, например, от языка и токенизаторов. Поэтому в ARIA его определяют отдельно для каждого семпла и при генерации чередуют текстовые и аудиотокены так, чтобы сохранять нужную пропорцию. Так можно собрать оба потока в одну последовательность и при этом сохранить стриминг. Ещё одно отличие от предыдущей версии — собственный промпт у Talker. Благодаря ему можно управлять голосом и делать zero-shot voice cloning. Что касается обучения, сначала отдельно обучают мультимодальную часть, оставляя текстовую LM замороженной (адаптер, затем энкодеры). После размораживают всю модель и продолжают претрейн уже на 4 трлн токенов. На посттрейне отдельно обучают экспертов под выбранные задачи с помощью SFT и RL, а затем дистиллируют их в общую модель. Используют on-policy-дистилляцию, например, для audio-to-text пытаются перенести качество текстового эксперта в мультимодальную модель. На следующей стадии добавляют мультитёрн-диалоги и агентные сценарии, но подробностей этой части в репорте мало. Talker обучают отдельно на 20 млн часов речи. Здесь тоже несколько стадий: обучение на мультимодальном контексте, добавление промптов для управления речью, а затем посттрейн с DPO и RL. Из практически интересного — Qwen3.5-Omni-Plus показывает лучший результат на русском в ASR-бенчмарке FLEURS среди приведённых в таблице моделей, включая GPT-4o. Так что модель выглядит интересно в том числе как источник синтетической разметки для обучения ASR. Всеволод Ковшов ❣ Специально для Speech Info