Загадочный твит от Тибо и еще загадочнее лендос с какими-то зверьками poteto.com

Artificial Analysis обновили свой рейтинг моделей и выпустили версию V5. Теперь моделям нужно попотеть, чтобы решать задачи, с которыми они не сталкивались в сети при обучении. В новом рейтинге теперь 60% задач и тестов из закрытого датасета. Раньше модели часто проверяли на задачках по математике, логике и знаниям. Теперь всё больше смотрят, что они реально могут сделать и на сколько этот результат “ок”. Например, добавили тест, где модель должна написать код для настоящего проекта. Причём оценивают не просто работает ли код, а согласился бы разработчик проекта принять эти изменения. И пум-пум-пум, лучший результат пока всего 46%. Ещё добавили 70 научных задач, которые модели должны самостоятельно решать с помощью инструментов. Тут лучший результат 63%. Что ещё интересного: - Claude Opus 5.5 теперь на первом месте с 58 баллами. GPT-6 Astra совсем рядом с 57, а GPT-6.1 Sol набрал 55. - Разрыв между закрытыми моделями и моделями с открытыми весами в новом рейтинге вырос с 3 до 12 баллов. Правда, методику поменяли, поэтому напрямую сравнивать эти цифры не совсем правильно. - GPT-6.1 Sol всего на 3 балла отстаёт от лидера, но выполнение задач обходится почти в 8 раз дешевле. - 60% рейтинга теперь основано на закрытых тестах или скрытых ответах. Так сложнее натренировать модель специально под известные задания. И ещё забавный момент, чтобы получить максимальный результат, моделям приходится тратить всё больше токенов. В среднем на одну задачу теперь уходит 59 тыс выходных токенов против 35 тыс в предыдущей версии. Теперь снова соревновательных дух есть, а то смотреть постоянно, кто набрал 95%, а кто 97% на очередном наборе тестов, уже наскучило. Ну и судя по результатам, даже топовым моделям ещё есть куда расти. https://artificialanalysis.ai/articles/artificial-analysis-intelligence-index-v5

Вот для чего нам iPhone Duo!