Первый токен LLM ускорили в 56 раз — за счёт сетевого хранилища 😎 5 ноября Supermicro, IBM и NVIDIA представили систему, которая сохраняет KV-кеш — промежуточные вычисления модели — на общих SSD-серверах. Повторяющийся контекст можно загрузить оттуда, а не вычислять заново на GPU. В тесте с gpt-oss-120b и промптом на 130 тысяч токенов время до первого токена сократилось с 32,14 до примерно 0,57 секунды. Это сравнение повторного использования кеша с пересчётом контекста, не ускорение всей генерации в 56 раз. Для тебя вывод: в агентных системах с длинными повторяющимися промптами полезно сравнивать стоимость чтения состояния со стоимостью его пересчёта. Узким местом может оказаться уже сеть и хранилище, а не сама модель. Оговорка: это тест производителей на специализированном стенде с восемью серверами хранения и сетью 400 Гбит/с, не результат для любого RAG. Пруф — архитектура и методика IBM #llm #kvcache #inference #aiinfrastructure #storage #nvidiadynamo @data_engi

AI-агенту открыли живую Python-сессию, а не только файлы 🖼️ 4 ноября Posit рассказала об экспериментальном MCP-сервере в Positron 2026.10. Через него Claude Code, Codex и другие агенты могут видеть загруженные данные, графики, ошибки и выполнять код в уже работающих Python- и R-консолях. Выполненный код появляется в консоли с именем агента. Ты можешь продолжить начатый им анализ — и наоборот. Не приходится переносить состояние между отдельным процессом агента и своей рабочей сессией. Для тебя здесь полезный архитектурный принцип: агенту анализа данных нужен доступ не только к репозиторию, но и к текущему состоянию вычислений. Важный нюанс: это не песочница. Код выполняется с твоими правами; сама Posit приравнивает такое подключение к неограниченному доступу к командной оболочке. Подтверждения и ограничения зависят от выбранного агента. Пруф — анонс Posit #mcp #aiagents #python #rstats #datascience #positron @data_engi

AI-агент проектирует, как другим агентам думать 😜 2 ноября исследователи Princeton и Meta представили Strategist. Он пишет на Python схемы работы с LLM: какую модель вызвать, когда проверить ответ и стоит ли запускать несколько агентов. Варианты проверяются на примерах, дорабатываются и попадают в общую библиотеку вместе с метриками. Следующая задача использует накопленные решения. Веса моделей не меняются. Например, для рекомендаций система придумала вызывать дорогой спор агентов только для пользователей с меняющимися предпочтениями, а остальные случаи обрабатывать проще. На 30 бенчмарках средняя точность составила 74,7% против 74,0% у выбранных базовых методов. Условная стоимость выполнения снизилась на 39% — это токены с поправкой на размер модели, не измеренная экономия денег или времени. Для тебя идея: оптимизировать можно не только промпт или модель, но и сам код процесса. Только выбирать победителя и проверять его нужно на разных данных. Пруф — исследование Strategist #aiagents #agentarchitecture #llm #inference #workflowoptimization @data_engi