DFlash — диффузионный метод спекулятивного декодинга Сегодня поговорим о DFlash — методе спекулятивного декодинга, использующем легковесную модель блочной диффузии для параллельной генерации драфтовых токенов. Но для начала о том, почему имеет смысл использовать диффузионные модели в спекулятивном декодинге. Средняя задержка генерации одного токена определяется суммой времени верификации и времени драфтинга, делённой на среднюю длину принятой цепочки, включая бонусный токен. Соответственно, ускорение в спекулятивном декодинге зависит не только от количества принятых токенов, но и от стоимости построения гипотезы. Главная проблема классического авторегрессионного спекулятивного декодинга в том, что время драфтинга линейно растёт с длиной генерируемой цепочки. Поэтому драфтеры обычно делают относительно небольшими, чтобы построение гипотезы занимало разумное время. Диффузионные подходы позволяют предсказывать блок токенов параллельно, за один forward pass, благодаря чему время драфтинга почти не скейлится от размера блока. Именно это — основная мотивация для применения диффузионных моделей в спекулятивном декодинге. С точки зрения архитектуры DFlash — это пятислойный трансформер, каждый слой которого работает с представлениями, полученными из основной модели, и с представлениями расшумляемого блока токенов. На входе первый слой получает последний декодированный токен основной модели, к которому добавляются маскированные токены, предназначенные для предсказания за один forward pass. Контекст основной модели формируется способом, похожим на предложенный в EAGLE-3: берутся скрытые представления с нескольких слоёв основной модели, конкатенируются, после чего к ним применяются линейная проекция и нормализация. Однако здесь, в отличие от EAGLE-3, фичи контекста, подаваемые в каждый из пяти слоёв, одинаковы — меняются только представления расшумляемого блока. Авторы называют это KV injection. Внутри спекулируемого блока используется полный attention, а по отношению к предыдущему контексту внимание остается каузальным. Теперь перейдём к обучению. Авторы не разделяют обучающий пример равномерно на блоки фиксированной длины, а семплируют якорные токены. Каждый из них рассматривается как последний уже декодированный токен, после которого добавляется необходимое количество маскированных. Ещё одно заимствование из EAGLE-3 — перевзвешивание лоссов для разных драфтовых позиций. Ошибка в первых токенах обходится дороже, чем в поздних, поэтому ранним позициям задаётся больший вес. Коэффициент, управляющий перевзвешиванием, авторы выбирают примерно равным половине размера блока. Эксперименты показывают пользу такого подхода. Авторы сравнивают модели с различным количеством слоёв и рассматривают как среднюю длину принятой цепочки, так и итоговое ускорение. Пятислойная конфигурация оказывается наиболее удачной — увеличение глубины до восьми слоёв несколько улучшает acceptance length, однако сам драфтинг становится медленнее. Отдельно изучается количество слоёв основной модели, с которых берутся скрытые представления для формирования контекста. Здесь использование большего количества слоёв в целом оказывается полезным. Авторы также проверяют, как модель адаптируется к разным размерам блока в зависимости от того, с каким размером она обучалась. Результат ожидаемый: модель, обученная на большом блоке, относительно хорошо работает с меньшими блоками, тогда как модель, обученная на маленьком блоке, заметно хуже переносится на большие размеры. Ещё один эксперимент посвящен адаптации к длинному контексту. Авторы сравнивают базовую модель, обучавшуюся на контекстах до 4 тысяч токенов в течение шести эпох, с моделью, которую дополнительно обучали ещё три эпохи на контекстах длиной до 10 тысяч токенов. Результаты показывают, что дополнительное обучение на длинных контекстах улучшает работу модели с ними во время инференса. В последней абляции сравниваются обычная подача представлений на вход трансформерных слоёв и KV-injection. Эксперименты проводятся как для авторегрессионного, так и для диффузионного драфтинга. Способ внедрения через KV-проекции оказывается лучше обычной подачи на вход. DFlash показывает более высокое ускорение относительно EAGLE-3. Также авторы проводят сравнения с MTP. Однако здесь стоит обратить внимание, что сравнение с EAGLE нельзя назвать полностью честным из-за разных длин драфтовых цепочек и используемых кернелов: для EAGLE используется дерево глубины 7, а для собственного метода — цепочка длины 10. Применение более сложного и тяжеловесного кернела tree-attention для EAGLE не позволяет изолировать влияние метода на ускорение от эффективности верификации. Разбор подготовил ❣ Даниил Маслов Душный NLP

Технический отчёт DeepSeek-V4.1-Flash — часть 2/2 Продолжаем разбирать техрепорт DeepSeek-V4.1-Flash. Сегодня поговорим об архитектуре, а ещё речь пойдёт об обучении.  В SWA прогоняется не весь контекст, а только последние 128 токенов для построения начального SWA KV. Это не сильно влияет на качество, но позволяет уменьшать общий размер кеша в восемь раз по сравнению с тем, что было у DeepSeek-V4-Flash. Также в версии 4.1 используется Single-Pass mHC. mHC — Manifold-Constrained Hyper-Connections — вариант hyper-connection, в котором спектральная норма всех проекций равна единице. В варианте Single-Pass матрица смешивания вычисляется по прошлому слою и не зависит от текущих активаций. Благодаря этому, её можно зафьюзить в один кернел и получить ускорение, а также снизить трафик активаций.  Engram со 196 миллиардами параметров «лежит» в энкодере на первом и 14-м слоях, поделённый поровну. Для хранения N-грам используются восемь независимых кеш-голов, в каждой из которых примерно 16 миллионов записей. При этом «нагрузка» распределена неравномерно — чтобы уменьшить коллизии берутся простые числа, близкие к 16 миллионам. Сами N-грамы хранят в FP8. Из исходного Engram убрали каузальную свёртку, потому что она осложняла инференс.  В DeepSeek-V4.1-Flash вместо MTP используют DSpark. Он внедряется на этапе генерации роллаутов, и DSpark динамически обновляется под меняющуюся политику. KV-кеш хранят в формате NVFP4. Кеш квантуется после RoPE, потому что так удобнее инферить и это избавляет от необходимости накладывать RoPE на квантизованный кеш. Для SWA KV кеш делают в FP8, но он достаточно лёгкий, поэтому не сказывается на скорости работы.  Что касается инфраструктуры, то зрительный энкодер запускается отдельно, чтобы не тормозить языковой конвейер. Батчи накладывают так, чтобы они распределялись равномерно по числу токенов, ведь на входе могут быть изображения как высокого, так и низкого разрешения.  Декодирование почти не дорожает с ростом контекста — подорожание с 4К токенов до 1М составляет примерно 25%.  При сборе данных для обучения отфильтровывали слабый синтетический машинный перевод и старую информацию — старались брать свежие данные. В мультимодальный набор вошли пары изображения-текст и документы. В итоге вышло примерно семь токенов текста на один мультимодальный.  На претрейне было 45 триллионов мультимодальных токенов. Батч составлял 100,6 миллиона токенов, а контекст увеличивали с 64 тысяч до миллиона, снижая LR. По качеству рассуждений и выполнению задач, связанных с программированием, после претрейна 4.1-Flash сопоставим с V4-Pro-Base. На посттрейне — стандартный SFT, объемный RL с большим числом сред и синтетическими задачами. Для тренировки агентского поведения брали агентские задачи из открытых источников, а также генерировали синтетические — имитации корпоративных систем, их ошибок. Большее число RL-шагов позволило получить лучшие результаты в стандартных бенчмарках на кодинг вроде SWE-Bench Pro и DeepSWE. Сам RL — асинхронный. Роллауты генерируются независимо и подаются в модель по готовности. Токены с чрезмерной давностью маскируются в лоссе, чтобы избежать off-policy.  В финале посттрейна проводят On-policy-дистилляцию. Здесь более 40 моделей-учителей, каждая из которых отдельно проходила этап посттрейна. Учителя асинхронно генерируют траектории. Данные ученику подаются динамически от разных учителей, что позволяет получить лучшее качество.  По бенчмаркам DeepSeek-V4.1-Flash на агентских задачах примерно равен Opus-5. Однако авторы отмечают уязвимости сред оценки и сообщают, что модели могли произвести reward hacking. Результаты можно посмотреть в таблице выше.  Разбор подготовил ❣ Денис Кузнеделев Душный NLP