Аналитика Telegram-канала
Подписчики
5 073
Охват за 24 ч
421
ER за 24 ч
8,30%
Публикаций
419

Динамика подписчиков

7 дней 30 дней 6 месяцев Больше
15 ноя18 ноя21 ноя
Показаны последние 7 дней Больше истории →

Охваты публикаций

27.1028.1006.1120.11
438
Средний охват
720
Лучший результат
Показаны 4 публикации — последние в канале Больше статистики →

Упоминания

258
Упоминаний
101
Из них репостов
78
Каналов
Все упоминания

Последние посты

3 из 419 2 из 419
Фото
Как из миллиардов веб-документов собрать качественный мультимодальный претрейн Веб-документы — богатый источник знаний для VLM. В них текст, изображения и подписи сохраняют структуру исходной страницы, поэтому модель учится связывать объяснения с иллюстрациями, понимать схемы и графики. Но интернет — ещё и очень зашумлённый источник. Вместе с полезной информацией встречаются реклама, повторы и служебный текст. А если речь о миллиардах страниц, вручную отделить полезные данные от мусора невозможно. Эдуард Альтшулер из подгруппы претрейна VLM в Яндексе рассказал на Data Fest 2026, как он с командой улучшали данные для претрейна. Пересказываем главное. CatBoost Начали с оценки связанности текста и изображений. Документ разбивали на абзацы после очистки Markdown. С помощью модели с текстовым и визуальным энкодерами получали векторы абзацев и картинок и считали их сходство. Так получалась матрица, в которой каждый абзац сравнивали с каждым изображением. Дополнительно проверяли совпадения и порядок пар на странице. На части документов большая VLM оценивала качество, а CatBoost обучали предсказывать эту оценку по рассчитанным признакам. Получили быстрый фильтр для большого корпуса. Результаты проверяли в эксперименте, меняя только веб-корпус. Получили +9 п. п. на распознавании и +5 п. п. на OCR. Но связанность текста и изображений не гарантирует, что документ содержательный, а один общий скор не даёт выбирать документы под конкретный навык. Например, для улучшения OCR пришлось бы пересобирать признаки и заново прогонять CatBoost. Мультимодальный судья Решили перейти от признаков связанности к оценке содержания всего документа. Для этого выделили 14 аспектов: девять описывают темы, ещё пять — общие свойства документа, включая рассуждения и прирост информации от изображения. Большая VLM может выставлять такие оценки, но для миллиардов документов её инференс слишком дорогой. Поэтому разметили выборку большой моделью, а затем перенесли её умения в компактную Qwen3.5-0.8B с регрессионной головой. На вход судья получает текст и изображения, на выходе сразу 14 чисел. Если меняется задача отбора, можно изменить сочетание аспектов и пороги, используя посчитанные оценки. При обучении столкнулись с тем, что у 90% документов по некоторым темам оценки ниже 2/10. Модель могла часто выдавать низкий балл и получать небольшой лосс. Но нам важно находить редкие содержательные документы. Поэтому усилили вклад высоких оценок в лосс. В результате MSE снизился с 0,53 до 0,42 (~21%). А компактный судья оказался примерно в 70 раз быстрее большой модели. Новый отбор дал приросты на бенчмарках по геометрии, математике и другим доменам. Вопросы и ответы Даже в шумных документах могут быть полезные факты, но при обучении на всём документе модель усваивает и полезную информацию, и шум. Поэтому решили извлекать содержательную часть и превращать её в пары «вопрос-ответ» (VQA). Генератор получает документ с текстом и изображениями, находит полезную информацию и формулирует вопрос, ответ на который должен содержаться в исходном документе. Чтобы модель не добавляла факты из собственных знаний, в 30% обучающей выборки взяли негативные примеры, для которых правильный результат — пустой список. Пользу VQA тоже проверили в эксперименте. Замена веб-документов на сгенерированные пары дала +6 п. п. на MathVista и +2,35 п. п. на геометрии. В результате из 4,1 млрд веб-документов с помощью мультимодального судьи отобрали 44 млн страниц, а генератор создал ещё 178 млн VQA-примеров. Эти данные использовали в большом обучении, где выросли показатели почти по всем навыкам. Правда, одновременно команда увеличила бюджет претрейна с 4 до 5 трлн токенов и изменила доли источников, поэтому весь прирост нельзя приписывать только новым данным. Главный вывод — отбор данных важно настраивать под нужные навыки. А даже зашумлённые документы необязательно выбрасывать, ведь из них можно извлекать полезные факты и превращать в качественные обучающие примеры. ML Underhood
ещё
421 9 14 20 ноя, 16:36
Фото
Как развивался рефразер промптов в Alice AI ART В Алисе есть модель для генерации и редактирования изображений Alice AI ART. Она может заменить лицо на фотографии или сгенерировать поздравительную открытку. Под капотом это — сложная многостадийная система. Самые важные стадии — рефразер и диффузия. Диффузия непосредственно генерирует изображение. А рефразер переписывает запрос пользователя так, чтобы диффузия хорошо его поняла. Алексей Кириллов из команды Alice AI ART рассказал на Data Fest в Новосибирске, как рефразер эволюционировал за два года, а мы пересказываем главное. Переводчик История началась в 2023 году. Тогда весь обучающий корпус для диффузии состоял исключительно из английский данных, из-за чего модель не понимала запросы на русском. Чтобы русскоязычный юзер мог пользоваться моделью, придумали простое решение: Яндекс.Переводчик. Переводчик существовал в этой роли достаточно долго и успешно. Однако со временем у него стали всплывать проблемы на стыке русского и английского языков. Дело в том, что существуют слова, у которых есть несколько переводов с разным смыслом. Так, запрос «большие синицы» (big tits) давал неожиданный результат. Решением стало добавлять уточняющий контекст, то есть сделать «умный переводчик». Например, писать: “bit tits are sitting on a tree”. Для обучения такого рефразера выработали пайплайн: собрать синтетический датасет с эталонными репромптами, сделать на нём SFT с Ptune, сверху шлифануть квантизацией для ускорения. Детальные кепшены Диффузионная модель обучается на парах «текст-картинка». Качество текста (кепшена) во много определяет качество модели, ведь если описание короткое или неточное, часть информации о картинке теряется, и модели сложнее научиться точно следовать промптам. В какой-то момент для улучшения модели решили перейти на длинные структурированные кепшены. От прошлой версии они отличались увеличившейся в несколько раза длиной, наличием внутренней структуры и логики повествования. Но качество просело. Родилась гипотеза, что проблема в расхождении промптов на инференсе и в обучении: модель привыкла видеть длинные промпты, а замеряем мы её на коротких. Для проверки гипотезы мы адаптировали рефразер к новому распределению кепшенов и — о чудо — всё завелось! Новый рефразер «вошел в резонанс» с новой диффузией, и метрики заметно выросли. Так, рефразер перестал быть обособленной моделью, став неотъемлемой часть end2end-пайплайна. Культурный контекст Алиса — русскоязычный продукт, и когда пользователь пишет «нарисуй полицейского» он, вероятно, ожидает получить фотографию с российским полицейским. В идеальной картине мира такое свойство должно закладываться на уровне диффузионной модели. Но это сделать сложно, потребуется пересборка всего корпуса для предобучения. Можно поступить проще, закрепив это свойство на уровне рефразера. А именно, в нужных местах точечно дописывать слово «российский»: «российский полицейский», «российский космонавт». Несмотря на простоту, идея сработала: собрали специальную доливку к SFT, обучили, и увидели ожидаемый эффект. Так рефразер взял на себя функцию продуктового алаймента. JSON-кепшены Ранее переход на длинные кепшены дал значительный прирост качества. У команды аналитики появилось желание пойти ещё дальше и уйти от текста к «машиночитамому» формату. Что если подавать в модель не текст, а JSON? Мы проделали кропотливую работу, перебрав 18 версий промпта, — и в результате смогли выбить большой прирост по качеству. Теперь модель получала максимально детальную инструкцию: что генерировать, с какими атрибутами и взаимодействиями объектов. Ошибиться стало практически нереально. Переход на новый формат кепшенов ожидаемо потребовал обновления рефразера. Одновременно удалось прийти к «обучению без обучения»: вместо подготовки датасета, SFT и квантизации — подбор системного промпта. Таким образом, с развитием технологии, рефразер брал на себя всё больше и больше задач. Он прошёл путь от Яндекс.Переводчика до неотъемлой частьи всей системы, сравнявшись по значимости с диффузионной моделью. ML Underhood
ещё
720 11 20 6 ноя, 16:42
Фото
EMNLP 2026: ещё две статьи Продолжаем рассказывать о работах, принятых на EMNLP в Венгрии. О статьях основного трека написали здесь. Ещё две работы от авторов из Яндекса будут представлены на воркшопах. Yandex at WMT26: Translation Adaptation at 235B and Hard-Label Distillation to 8B Над статьёй работали инженеры Яндекса: Дмитрий Попов, Елизавета Козлова, Екатерина Тарачева, Елизавета Махотина, Артём Мехралиев, Мирон Барателиа, Екатерина Еникеева и Николай Карпачёв. WMT — ежегодная конференция по машинному переводу, которая в последние годы проходит совместно с EMNLP. В рамках WMT проводится соревнование General Machine Translation. В нём сравнивают разные системы машинного перевода. Яндекс участвовал и в прошлом году — тогда исследователи представили специализированную 7B-модель для перевода. В этом году от Яндекса участвуют две модели: • Yandex — большая MoE-модель на 235 млрд параметров, которая соревновалась в unconstrained-треке (без ограничений). Команда использовала переводы прошлогодней 7B-модели как часть обучающих данных. Цель — соединить естественность переводов специализированной модели со способностью большой модели точнее учитывать смысл и контекст, не повторяя на большом масштабе весь многоэтапный процесс обучения небольшой модели. • Yandex-8B — компактная модель на основе YandexGPT-5-Lite-8B, дообученная на переводах, сгенерированных большой моделью Yandex. Её обучили переводить с английского на четыре языка (русский, белорусский, казахский и армянский). Участвовала в constrained-треке, где действовали два ограничения: модель должна содержать не более 20 млрд параметров и быть опубликована в открытом доступе. В статье подробно рассказано как обучали обе модели. Они показали хорошие результаты в переводе с английского на русский, а Yandex-8B заняла второе-третье место среди constrained-систем. Все результаты описаны в отдельной работе Findings of the WMT26 General Machine Translation Shared Task. Retrieval-Augmented Terminology Translation for English–Russian: A Multi-Domain Study Над статьёй работали Мария Сухарева из НИУ ВШЭ и Екатерина Еникеева из Яндекса. Авторы исследовали, как улучшить перевод специализированных терминов с английского на русский в десяти профессиональных областях. Сравнивали два подхода: RAG с поиском переводов в терминологической базе и дополнительное дообучение модели с помощью SFT и CPO. Оказалось, что основной прирост качества даёт именно RAG — даже без дообучения модели побили две коммерческие системы по качеству перевода терминов. Дополнительное обучение улучшает результат незначительно, причём ценой снижения беглости перевода. Также авторы опубликовали свою базу на 50 тысяч терминов и два тщательно отобранных тестовых набора данных. #YaEMNLP2026 ML Underhood
ещё
141 2 10 28 окт, 11:38
Больше постов

Похожие Telegram-каналы

эйай ньюз
Data Secrets
Техножрица 👩‍💻👩‍🏫👩‍🔧
Больше похожих каналов

Продолжить анализ этого канала

  • История роста подписчиков
  • Просмотры и охваты публикаций
  • Кто упоминает канал и кого упоминает он
  • Похожие каналы и подбор для рекламы
Открыть аналитику
Демо до 14 дней