Телеграм канал «Data Portal | DS & ML»

Теперь собрать собственную reasoning-модель может практически любой желающий.

Себастьян Рашка выпустил полностью бесплатный курс и открыл исходный код всех материалов.

На примере небольшой модели Qwen3-0.6B он показывает, как на самом деле обучаются reasoning-модели и из каких этапов складывается этот процесс.

В ходе курса можно разобраться, как:

• научить модель искать разные пути решения одной задачи;
• автоматически проверять правильность полученных ответов;
• улучшать её поведение с помощью обучения по вознаграждению и GRPO;
• наблюдать за тем, как модель порой находит способы обойти саму систему вознаграждений;
• обучать более компактную модель на данных рассуждений DeepSeek-R1.

Весь код можно запускать самостоятельно, наблюдая за ходом обучения и постепенно замечая, как меняется поведение модели.

При этом начинать с самого нуля не придётся, так как в качестве исходной точки используется уже готовая небольшая модель, а не фундаментальная модель, которую пришлось бы обучать с нуля.

Если вам давно хотелось понять, как устроены модели вроде DeepSeek-R1, этот курс даёт редкую возможность не просто прочитать об этом, а пройти весь путь собственными руками.

https://github.com/rasbt/reasoning-from-scratch

Один и тот же отчёт, подготовленный Research Agent, два эксперта могут оценить совершенно по-разному. Возникает закономерный вопрос: насколько вообще надёжны наши Evals, если в роли оценщика выступает LLM Judge?

Недавняя статья Кэмерона Р. Вулфа как раз посвящена этой проблеме. В ней разбирается, как оценивать задачи агентов, где результат по своей природе во многом субъективен: например, Deep Research или творческое письмо.

Автор предлагает довольно практичный подход.

Сначала специалисты в предметной области определяют критерии оценки, после чего несколько экспертов независимо проверяют один и тот же набор результатов. Если их оценки сильно расходятся, сначала нужно пересмотреть сами критерии, а в некоторых случаях и вовсе отказаться от метрик, которые слишком субъективны для надёжной оценки.

Затем LLM Judge калибруют на данных, уже проверенных людьми. Повторные тесты и доверительные интервалы помогают не принять случайные колебания результатов за реальное улучшение модели.

И наконец, нужно вернуться к самому продукту: с помощью A/B-тестов и обратной связи от пользователей проверить, действительно ли рост показателей в офлайн-оценках приводит к улучшению пользовательского опыта.

Мне особенно близка мысль о том, что сначала нужно проверить самого оценщика.

При разработке Research Agents мы часто слишком внимательно следим за тем, растут ли показатели Eval, и гораздо реже задаёмся вопросом, насколько вообще надёжны критерии, по которым эти показатели считаются.

Эту статью определённо стоит сохранить тем, кто занимается Agent Eval. Особенно полезны разделы о выборке данных, калибровке экспертов и статистических методах.

https://cameronrwolfe.substack.com/p/subjective-evals

Claude Opus при проведении научных исследований может принять широко известный метод настройки гиперпараметров за настоящее научное открытие.

В новой статье Anthropic рассматривается одна из главных проблем современных исследовательских ИИ-агентов: они всё лучше справляются с экспериментами, но по-прежнему с трудом отличают действительно новые идеи от давно известных методов.

В рамках исследования Agent4Sci авторы протестировали Claude Code, Codex и Gemini на 20 реальных задачах из области машинного обучения для научных исследований.

Агенты самостоятельно изучали научные статьи, изменяли код, проводили эксперименты и пытались превзойти результаты, полученные авторами исходных работ.

В результате передовым агентам удалось добиться улучшений во всех 20 задачах, причём Claude Opus показал средний относительный прирост на 10,4%.

Однако дальнейший анализ выявил любопытную закономерность. Большинство улучшений достигалось благодаря хорошо известным приёмам машинного обучения: настройке гиперпараметров, замене оптимизаторов, объединению нескольких моделей и многократному локальному поиску.

При этом способность агентов самостоятельно оценивать научную значимость своих решений оставалась недостаточно развитой.

Они нередко переоценивали новизну собственных идей, не использовали доступные графические процессоры или, обнаружив перспективное направление, ограничивались дальнейшим подбором параметров.

Впоследствии исследователи добавили всего три небольших скилла:

- Генерация научных идей.
- Управление экспериментами.
- Периодическая самопроверка.

После этого средний прирост результатов Claude Opus увеличился с 10,4% до 20,1%, а Codex — с 4,4% до 8,1%.

Таким образом, главное ограничение современных исследовательских агентов заключается уже не столько в способности выполнять эксперименты, сколько в умении принимать обоснованные исследовательские решения.

Результаты показывают, что даже несколько простых скиллов, формирующих правильный подход к научной работе, способны почти вдвое повысить эффективность агентов без необходимости увеличивать вычислительные ресурсы.

Статья особенно полезна разработчикам, использующим Claude Code и Codex для проведения экспериментов.

https://arxiv.org/abs/2610.28763

Архитектуру Qwen4-27B начали изучать с помощью реверс-инжиниринга изменений в коде, попавших в основную ветку проекта.

Судя по всему, для запуска Qwen4-27B не потребуется кластер, рассчитанный на MoE-модели.

Intel недавно добавила в vLLM оптимизации ядер XPU для ещё не выпущенной плотной модели Qwen4-27B.

Среди обнаруженных особенностей:

- Поддержка INT4 для запуска на одной или двух видеокартах.
- MTP с предсказанием четырёх дополнительных токенов.
- FP8 с тензорным параллелизмом на двух устройствах (TP2).
- Четыре остаточных потока и гиперсоединения (Hyper-Connections).
- Ядра разреженного внимания QSA.

Сведения об архитектуре модели уже распространяются среди разработчиков.

Сообщество постепенно готовится к локальному запуску Qwen4-27B сразу после её выхода.

Теперь ИИ помогает повысить пропускную способность видеокарт Nvidia серий RTX 3000 и 4000.

https://github.com/Zagitta/gpu-unlock

https://github.com/JustAResearcher/gpu-unlock-ada

Я пока не тестировал эти решения, поэтому пробуйте на свой страх и риск.

«The Linear Algebra Behind Google» — небольшая научная статья, в которой объясняется математика, лежащая в основе оригинального алгоритма Google PageRank.

В статье рассматриваются собственные значения и собственные векторы, стохастические матрицы, цепи Маркова и итерационные методы. На численных примерах и графиках авторы показывают, как работает PageRank.

Помимо разбора самого алгоритма и оригинальной научной работы Ларри Пейджа и Сергея Брина, статья будет интересна всем, кто хочет разобраться, как линейная алгебра применяется в одном из самых влиятельных алгоритмов в истории интернета.

https://sites.cs.ucsb.edu/~gilbert/cs111/

ПОГОДИТЕ. Kimi K3.1 Pro настолько преуспела в эксплуатации уязвимостей, что Moonshot пришлось УРЕЗАТЬ её хакерские возможности, прежде чем открывать доступ к весам.

> Из обучения и обучения с подкреплением (RL) исключили данные по кибербезопасности.
> Доля успешных эксплуатаций уязвимостей снизилась с 90,5 до 81%.
> Но даже этот результат более чем ВДВОЕ превосходит показатель предыдущей модели — 33,3%.

При этом в будущих моделях компания намерена ПОВЫШАТЬ возможности в области кибербезопасности. Вот что сказано в блоге:

«Во-первых, мы стремимся не публиковать открытые веса моделей, которые установили бы новую планку возможностей в области кибербезопасности. Наступательные возможности K3.1 Pro намеренно ограничены: они ниже того уровня, которого позволяет достичь наш процесс разработки, и по-прежнему уступают возможностям передовых закрытых моделей.
Во-вторых, мы намерены постепенно расширять возможности в области кибербезопасности, доступные в моделях с открытыми весами. Мы считаем, что доступ к K3.1 Pro на равных условиях приносит пользу тем, кому возможности двойного назначения нужны для защиты систем. Когда мощная модель открыта и работает на инфраструктуре, подконтрольной самим пользователям, гораздо больше команд получают средства для аудита кода, который они поддерживают. Это касается и устаревших систем, редко проходящих целенаправленные проверки безопасности.
Мы убеждены, что постепенное распространение таких возможностей, а не их сосредоточение в нескольких закрытых системах, в конечном счёте делает всё программное обеспечение безопаснее».

https://www.kimi.ai/blog/kimi-k3-1-pro