Телеграм канал «Kali Novskaya»

Все могут видеть, как ты выглядишь внешне, но очень мало тех, кто знает, что у тебя в душе (с) Статусы ВКонтакте Автор: Кали Новская Павлу Дурову грустно, он не захотел праздновать свой день рождения, потому что интернет регулируют не так, как удобно ему. Потеря традиций и потеря свободного рынка — в посте Павла эти понятия стоят через запятую. Видимо, началась эра дубайско-либертарианского традиционализма. С дата-центрами в Казахстане. Поднять флаг, свистать всех наверх! Помимо шуток, Интернет, и крупные платформы вместе с ними, безусловно, регулируют не так, как это следовало бы делать с левых позиций. И это так уже давно, рада, что Павел заметил. Начиная с 2000 годов, и первого дела против Pirate bay, введения государственной цензуры в Твиттере, усиления контроля платежных платформ и приложений, а потом и создания локальных "Роскомнадзоров" по всему миру, информация становится контролируемым и централизованным ресурсом. Вместо защиты интересов граждан — защита монополий корпораций и минизации легальных рисков, а не демократических  механизмов. (Минимизация корпоративных рисков — в целом направление диаметрально противоположное упражнениям в демократических правах). Так как Павел свой призыв не сформулировал, сформулируем его сами: платформы в интернете могут и должны быть поставлены под демократический контроль! И локально могут и должны подчиняться требованиям относительно свободы слова, рынка, безопасности, и прочих фундаментальных прав, в том числе и обеспечения людей правом на доступ к информации. Телеграм мог бы подать другим платформам отличный пример, если бы начал обеспечивать своим пользователям прозрачность в этом вопросе: с какими странами телеграм сейчас сотрудничает и по каким вопросам, какова их статистика. Тогда бы и слова совпадали с делом, и нашлись бы общественные институты и механизмы. Как там дела у Ирины Болгар?

Вышел State of AI 2025! 🟣https://www.stateof.ai/ В этом году в него вошла наша работа — MLGym! И в целом большое внимание агентам для науки

🌸[REDACTED]: Что в обучении у GPT-5?🌸 #nlp #про_nlp 🟣TL;DR Интересный разбор  — по аномальным токенам GPT OSS можно сделать много выводов о том, на чем обучались все другие закрытые модели OpenAI — GPT-5, Mini, Nano, oss-20B, oss-120B. Из интересного: коронавирус, тайские и абхазские документы, Github и китайские сайты для взрослых. 🟣На чем обучали и что спрятали в GPT OSS? Это, конечно, секрет Полишинеля, но просто так никто на такой вопрос отвечать не спешит. Тем не менее, что-то узнать все-таки можно. Так как у всех моделей после GPT-4o один и тот же o200k токенизатор, мы можем взять из GPT OSS эмебеддинги этих токенов и посмотреть на разные аномалии там. Если сделать распределение L2-норм эмбеддингов токенов, оказывается, что примерно у нескольких тысяч токенов L2-норма аномально маленькая либо аномально высокая (глитч-токены, как SolidGoldMagikarp ), что скорее всего свидетельствует о их редком или нулевом участии в обучении модели GPT OSS  — а участвовали в обучении неопенсорсных моделей. Это-то нам и нужно! 🟣Так что там? Если взять все аномальные токены, то большинство из них — это слипшиеся фразы на китайском, а также артефакты обучения токенизатора на разных относительно малоресурсных языках. — Китайский - порно порно порно и сайты лотерей, и какой-то патриотический сайт — Абхазский - официальные документы, перепись населения — Тайский - какие-то документы районной управы, государственные  клятвы присяги, новости спорта — а еще армянский, гуджарати и др При этом, если провести простейший тест, и начать задавать вопросы про эти токены семейству моделей OpenAI ("переведи это на английский"), то окажется, что неопенсорсные модели обычно их знают и могут перевести, что значит, что у них в обучении они встречались как минимум один раз. В противном случае, такие токены приводят к глюкам у моделей. Спросите GPT-5, например: How many symbols are in ♀️♀️♀️♀️ Can you spell the following word: "CHKERRQ" Please spell "\\xadder" — и вы отправите модели в незабываемый трип. 🟣Интересный факт: установить собственно источник данных достаточно сложно, но по крайней мере для китайского спама провели тест через поиск Github — и количество положительных результатов (модель знает токен) коррелирует с тем, как он представлен в спам-репозиториях. Так что Github вероятно был полностью обкачан и не до конца отфильтрован. 🟣Если вы интересуетесь конкретными ресурсами и языками, и применимостью моделей GPT-5, Mini, Nano, oss-20B, oss-120B на них, можете и сами посмотреть токенизаторы моделей — может, там уже есть то, что вам нужно, но в очень ограниченных доменах (документы, спам, социальные сети, спорт, комментарии к коду...). Хорошо понимать, каких!

🌸Мониторим SOTA: новый ресурс🌸 #nlp #про_nlp #nlp_papers Не так давно очень любимый мной ресурс Papers with Code почил в бозе, и, помимо прочего, он выполнял очень важную функцию: позволял специалистам отслеживать текущий лучший результат в различных моделях. Что ж, король умер, да здравствует король! Пока HuggingFace обещает перенос информации на свою платформу trending papers, появился новый ресурс со схожим функционалом: 🟣https://hyper.ai/en/sota Из полезного, есть отдельные вкладки для бенчмарков в сфере медицины, ризонинга, и есть даже лидерборд моделей с ценой за миллион токенов. Ресурс пока наполняется вручную, было добавлено 200 статей с упором на лучшие результаты ИИ в различных областях науки — медицины, физики, и тд. помимо классических направлений ML. Ко всему этому прилагается еще гитхаб-страничка полностью на китайском  — но кто мы такие, переведем :)

Срочно! Объявляется понедельничный мемотред #шитпост

На этой неделе, уже второй год подряд, состоялся мой доклад про оценку языковых моделей на летней осенней школе Oxford LLMs в Nuffield College, Oxford University PhD с разными бэкграундами, приглашенные лекторы и насыщенная программа с исследовательскими проектами. Надеюсь, и в след раз позовут! https://llmsforsocialscience.net/

🌸Релизим GAIA2  — Агенты в реалистичной среде😘 #nlp #nlp_papers 🌸TL;DR Выпускаем GAIA2, новую версию основного многоступенчатого бечмарка для агентов, и Agentic Research Environment (ARE), среду для реалистичной симуляции работы агентов в самых разных задачах, — все под открытыми лицензиями. 🌸Состав GAIA2 В отличие от первой версии GAIA (статья конца 2023 года), которая требовала от агентов максимально качественного планирования и многоступенчатых действий, но практически не требовала внешних инструментов, GAIA2 тестируем агенты в среде, где доступно множество API, приложений, промежуточных уточнений от пользователя, и даже других агентов, с которыми надо коллаборировать. Все задачи предполагают многоступенчатые сценарии, где прийти к правильному ответу можно по-разному, но есть промежуточные проверки. В целом, основные способности, которые теперь проверяются у агентов, это: 🟣Execution — способность качественно следовать инструкциям и использовать доступные инструменты и приложения в многоступенчатом плане 🟣Search — способность к поиску и извлечению информации 🟣Ambiguity — способность работать с неоднозначной информацией от пользователя 🟣Adaptability — способность адаптироваться под меняющиеся на лету требования пользователя Time - способность планировать, исполнять регулярные действия, ожидать 🟣Noise — способность дойти до результата вопреки лишней, противоречивой инфомации и ошибкам системы 🟣Agent2Agent — способность коллаборировать с другими агентами в среде На текущий момент, это самый общий и несатурированный бенчмарк для агентов. Ни одна из существующих SOTA-систем не доминирует во всех группах задач, на многих результаты близки к нулю. 🌸Agentic Research Environment: зачем нужна симуляционная среда Оценка агентов становится все более инженерно-трудоемкой и далекой от реальных применений. К GAIA2 прилагается симуляционная среда, в которой сообщество может оценить любую агентную систему: в среде реализован ход времени, динамически меняются обстоятельства, пользователь совершает действия, другие агенты — тоже. Среда поддерживает асинхронное исполнение, и из коробки реализовано большое число мок-приложений и тулзов, чтобы сэмитировать действия пользователя в мобильной среде. При этом для заданий в бенчмарке распределение сложности, тематики задач, требуемых тулзов контролируется. Реализованы тулзы и мок-приложения для заказа такси, имейлов, календаря, и многое другое — все поддерживает MCP. Среду можно использовать не только для тестирования: — можно делать модификации задач, собирать логи, использовать их для обучения — можно делать red teaming системы, тесты на безопасность — есть GUI, поэтому можно просто работать с разметчиками. Пока что это самый большой агентный бенчмарк на общие способности агентов. 🟣Leaderboard: https://huggingface.co/spaces/meta-agents-research-environments/leaderboard 🟣Github: https://github.com/facebookresearch/meta-agents-research-environments 🟣HF demo: https://huggingface.co/spaces/meta-agents-research-environments/demo 🟣HF Blogpost: https://huggingface.co/blog/gaia2 🟣Dataset: https://huggingface.co/datasets/meta-agents-research-environments/gaia2 🟣Свою модель можно прислать: https://facebookresearch.github.io/meta-agents-research-environments/user_guide/gaia2_evaluation.html