🍌Размер — это не главное. Видимо — самая желанная фраза разработчиков из Samsung. Но их работа может очень сильно повлиять на будущее нейросетей и устройств
Они сделали маленькую модель размером с игру для PlayStation 1. И она работает не хуже гигантов. Знаю, что заголовок спорный)) но перцы из Samsung реально удивили.
Пока весь мир наполняют мемы из Sora, а блогеры реально начали бить тревогу (даже Митер Бист высказал опасения), умные головы из гнусамас сделали крутую вещь. Они придумали новую архитектуру рекурсивного мышления (что это такое — ниже). Назвали её TRM Tyni (Крошечная рекурсивная модель)
Здесь именно прикол в том как она работает.
ЧТобы было понятно. LLM (большиая языковая модель) — это как огромная библиотека, где на каждый вопрос есть своя толстая книга. А TRM — это как очень умный эксперт с 1 методичкой, но прям очень умный и быстрый. В LLM есть так называемые слои, через них нейросеть прогоняет свои "мысли" и выдаёт ответ.
В TRM вместо слоёв — циклы. Вместо того чтобы прогонять данные через сотни разных слоёв, TRM использует один и тот же маленький набор "нейронов" много раз подряд, как бы прокручивая задачу в цикле. На каждом новом круге модель углубляет своё понимание. Типа как мы когда читаем один абзац несколько раз, чтобы лучше вникнуть в суть вопроса.
Самое крутое, что она сама решает сколько ей сделать таких кругов. Здесь завист от сложности задачи. Когда ей сложно, то и кругов (циклов) соответсвенно больше.
Насколько же она Tiny (дотеры прищурились), т.е. крошечная?
Всего 7 миллионов параметров. Чтобы был понятен масштаб:
Google Gemini Nano-2 (модель для смартфонов Pixel) — 3.25 миллиарда параметров
DeepSeek-Coder-V2-Lite (популярная модель для кодинга) — 16 миллиардов параметров
Старинный ChatGPT (GPT-3.5) — 175 миллиардов параметров
То есть, она в сотни, а то и в тысячи раз меньше даже тех моделей, которые мы считаем маленькими или средними.
Я сам сначала думал, что прямое сравнение с гигантами бессмысленно. Я ошибался.
Есть такой бенчмарк ARC-AGI — это один из самых сложных тестов на способность решать совершенно новые, незнакомые логические задачи. И вот результаты:
Samsung TRM (7 млн параметров): ~8%
Gemini 2.5 Pro: 4.9%
DeepSeek-R1 (671 млрд параметров): 1.3%
Да, вы всё правильно поняли. На этом конкретном, очень сложном тесте на чистую логику, 7-миллионная модель от Samsung напрямую обходит Gemini 2.5 Pro и другие гигантские модели.
Это не значит, что TRM умнее Gemini в целом. Gemini или ChatGPT напишут вам эссе или код гораздо лучше, потому что у них гигантский объём запомненной информации.
Но на задачах, где нужно не вспомнить, а «додуматься» — рекурсивная архитектура TRM оказывается эффективнее.
Короче говоря, всё это — хороший такой уверенный шаг к тому, чтобы нейросетки работали на наших телефонах, очках (в будущем наверное), холодильниках и прочих девайсах.
статья в форбс
ссылка на arxiv
ccылка на гитхаб
Самсунг, браво!!! Эпл, учитесь, бля (знаю вы меня читаете и слушаете)!
2
👍
183
🔥
90
❤
64
🤣
17
💯
6
🦄
5
🤯
3
🎉
1