Пламенный привет из Калининграда! Возвращаюсь из отпуска, а канал тем временем перешагнул первую сотню читателей. Спасибо, что читаете, спорите в комментариях и пересылаете посты коллегам. Пока меня не было, индийская Sarvam выложила Prism — открытую decision-модель для английского и десяти индийских языков. Внутри Sarvam-105B, это MoE со 128 экспертами. В FP8 веса занимают около 106 ГБ, поэтому модель помещается на одну B200 на 180 ГБ. Интересен их путь оптимизации, они прошли от 664 мс на двух картах до 44 мс на одной, в основном за счёт работы с GPU-ядрами, подробности в техблоге. Но 44 мс — это медиана, а p95 уже 420 мс, так что хвост длинный. Длины запросов они не раскрывают, но это не что-то длинное. Вообще интересно что Jev модельки делают все крупнее и крупнее, наблюдаем.

Насколько Jev хорош как реранкер? Qdrant и Hindsight показывают, что Jev реранжирует лучше маленьких кросс-энкодеров. Я решил это тоже проверить, тем более что спрашивали ;) Взял MIRACL-ru из MTEB: 300 случайных запросов, на каждый по 100 кандидатов. Одни и те же кандидаты я дал пяти реранкерам: Jev, BGE-reranker-v2-m3, Qwen3-Reranker, KaLM-Reranker и FRIDA-Decisions. По исходной разметке Jev оказался последним. Смотрим, что там внутри: разметка есть меньше чем для трети документов из топ-10 Jev. Я доразметил топ-10 всех моделей LLM-судьей, сверил судью со своей ручной разметкой, и рейтинг перевернулся (nDCG@10): Jev: 80.5 → 91.3 BGE-reranker: 87.4 → 79.0 😳 Самое интересное оказалось в режимах. Jev можно спрашивать про каждый пассаж отдельно, а можно дать ему список и спросить, какой подходит лучше. Списком на треть дешевле, и первый ответ он находит так же хорошо. Но остальной топ-10 расставляет хуже и теряет почти 4 пункта (87.6 против 91.3). Так что Jev и правда неплохой реранкер, особенно если спрашивать его про каждый пассаж отдельно. Код, промпт судьи и разметка лежат в репозитории.

UltraBERT потратил 97% претрейна впустую. У крошечного эмбеддера похожая история Принято считать, что претрейна много не бывает. Больше токенов, лучше модель. Решил проверить это на своем крошечном эмбеддере для поиска. Вышло, что 89% пользы он получил с первых 6% токенов. Повод дала статья про UltraBERT. Энкодеры на 150M и 1.3B там учили до 8.8 трлн токенов, а качество поиска на BEIR встало уже после 275 млрд (лосс при этом честно падал до самого конца). Стало интересно, что будет с совсем маленькой моделью. Схема такая: энкодер 5 слоев × 256, 2.8 млн параметров в слоях -> претрейн на 10 млрд токенов русского веба -> чекпы этой модели после 0.1, 0.25, 0.5, 1, 3, 6 и 9 млрд токенов -> каждый чекпоинт одинаково дообучаю под поиск, 3 000 шагов -> nDCG@10 на моем тесте: 2 324 запроса, корпус 2.7 млн пассажей Первые 0.5 млрд токенов претрейна дали +28.1. Следующие 8.5 млрд дали +3.5. Модель та же. Рецепт тот же. Данных в 17 раз больше. До 0.5 млрд каждое удвоение токенов давало около 4 пунктов, после меньше одного. Следующие +3.5 обошлись бы примерно в 160 млрд токенов проверять я это, конечно, не стал. Плато при этом нет. Между соседними чекпойнтами прирост тонет в шуме, от 6 до 9 млрд всего +0.4. Зато на всей дистанции +3.5 надежные: 575 запросов выиграли, 398 проиграли. Почему смотреть надо именно так, разбирали в прошлом посте. Модель учится и дальше, просто каждый следующий пункт стоит в разы дороже. Поэтому выгоднее вкладывать в обучение самого эмбеддера, но про это уже в другой раз :)