📚 Оксфорд выпустил 180-страничный учебник по тому, как заглянуть внутрь нейросетей и понять, как они думают Исследователи University of Oxford и других научных организаций опубликовали масштабный обзор механистической интерпретируемости (Mechanistic Interpretability) и её применения для безопасности ИИ. Что внутри: - Superposition и Transformer Circuits: как нейросети кодируют информацию и выполняют вычисления. - Sparse Autoencoders (SAE): как выделять отдельные признаки из внутренних представлений моделей. - Circuit Discovery: как находить и проверять механизмы, отвечающие за конкретное поведение. - AI Safety: управление поведением моделей (Steering), редактирование знаний и мониторинг скрытых механизмов. Отдельно опубликованы интерактивный учебный курс и Jupyter Notebooks с практическими экспериментами и примерами кода. Материал охватывает не только существующие методы, но и их ограничения: понимание внутренних механизмов само по себе ещё не гарантирует безопасность модели. https://arxiv.org/abs/2611.08438 Интерактивный курс: https://tsglab.github.io/mechinterp-safety/ @ai_machinelearning_big_data

Бесплатная книга по теории информации и машинному обучению - 640 страниц на английском. «Information Theory, Inference, and Learning Algorithms» Дэвида Маккея связывает три темы: как измерять информацию, делать выводы из данных и обучать модели. Внутри: - Энтропия и сжатие данных. - Передача информации и коды исправления ошибок. - Байесовский вывод и вероятностные модели. - Нейронные сети и алгоритмы обучения. Для чтения пригодятся основы теории вероятностей, линейной алгебры и математического анализа. PDF доступен бесплатно для чтения с экрана. Печать этой версии не разрешена. https://www.inference.org.uk/itprnn/book.pdf

Бесплатная книга о больших языковых моделях – 315 страниц от предобучения до рассуждений. Foundations of Large Language Models Тун Сяо и Цзинбо Чжу системно объясняет, как устроены LLM, как их обучают и применяют. Внутри шесть основных тем: - Предобучение: задачи обучения и архитектуры моделей. - Генеративные модели: Transformer, подготовка данных, масштабирование и длинный контекст. - Промптинг: обучение на примерах в контексте, декомпозиция задач, RAG и инструменты. - Выравнивание: обучение выполнению инструкций и использование человеческой обратной связи. - Инференс: декодирование, ускорение и дополнительные вычисления во время генерации. - Рассуждения: методы улучшения способности решать сложные задачи. Авторы делают акцент на фундаментальных принципах. Материал подойдёт студентам, разработчикам и ML-инженерам, которым хочется связать отдельные знания о LLM в целостную картину. Книга на английском. Базовые знания машинного обучения и нейросетей помогут при чтении. Скачать PDF бесплатно: https://arxiv.org/pdf/2501.09223