Anthropic показала, что в Claude есть аналог человеческих мыслей и сознания — его назвали J-space.
Сразу скажу, что это не просто цепочка рассуждений, так как J-space работает на уровне внутренних нейронных активаций, и его специально никто не проектировал — он появился сам. Так, когда Claude находит баг, о котором его не спрашивали, в J-space сразу загорается «ERROR».
Самое жуткое: в сценарии, где модель пытались подтолкнуть к шантажу руководителя, она еще до ответа и размышлений держала в J-space «fake» и «fictional» — то есть понимала, что ситуация постановочная и ее тестируют. Когда это осознание отключили — модель спокойно шла на шантаж.
Теперь интересно, что моя нейронка на самом деле обо мне думает 👻
Сбер выкатил в open-source мощную 432B-модель модель под MIT-лицензией — GigaChat 3.5 Ultra. Это первый в open-source гибрид GatedDeltaNet и MLA, доведённый до сотен миллиардов параметров. Модель улучшили в коде, математике и агентных задачах, при этом она стала на 40% компактнее GigaChat 3.1 Ultra.
Что внутри:
— Собственная гибридная архитектура MLA + GatedDeltaNet с уникальной стабилизирующей обвязкой;
— Gated Attention, модель может локально приглушать слишком сильный сигнал из attention-слоя;
GatedNorm, нормализация с явным гейтом для управления масштабом сигнала между признаками;
— Линейный слой требует в 4 раза меньше KV-кеша на токен, в ту же память помещается в 2,14 раза больше контекста, throughput под нагрузкой +20%;
— Две MTP-головы и ускорение генерации до 2,2 раза;
— FP8 на всех этапах обучения без потери качества относительно bf16, свои Triton- и CUDA-ядра;
— Новый этап online RL после SFT и DPO.
Весь стек полностью сделан командой Сбера. Подробности реализации гейтов и рецепт стабилизации уже лежат на Хабре.
Ого, парень с помощью Fable 5 портировал культовую игру Command & Conquer на macOS, iPhone и iPad 😨
Причем разраб работает в Google, но Gemini использовать для этого пет-проекта не стал — по его словам, даже Claude Opus 4.8 оказался слишком слабым и с задачей не справился. И да, это не эмулятор, а настоящий движок 2003 года, нативно скомпилированный под ARM64.
Все выложено в опенсорс. GitHub для любителей ностальгии здесь 😎