Скоро все AI паблики будут постить новость о том, как Астру научили читать и редактировать веса других LLM и таким образом даже пофиксили баг с зацикливанием в qwen 0.8b И далеко идущие выводы, мол еще чуть-чуть и ллмки будут сами точечно обучать/редактировать новые поколения ллм, рекурсия, сингулярность, блаблабла Вот препринт: https://rikiyat.github.io/blog/weight-space-programming Спойлер: как и большинство mind-blowing статей, это чистое хайпожорство и подгон под красивые заголовки Чтобы аргументированно выпендриваться в своем профессиональном кругу, я покапался в статье и вот че там на самом деле происходит: Ну, во-первых, Астра, конечно, не "читала" напрямую веса 0.8b модельки (они бы тупо в контекст не влезли) Там просто прогнали квен на цепочках токенов с петлями и цепочках без них, а потом находили скриптами активации, которые сильнее всего отличаются в этих двух вариантах. И тупо зануляли веса, которые контрибьютят в эти активации сильнее всего (точнее даже не зануляли, а умножали на -5, чтобы максимально вывернуть эффект в обратную сторону) Чем-то напоминает лоботомию в 20 веке, когда людям с эпилепсией просто шуршали скальпелем в тех местах мозга, где у эпилептиков были основные активации (лобных долях). Эпилепсия обычно пропадала, да. Если что это задача на крепкого DS джуна, тут никакого рокет саенса и уж точно никаких нативных ллмных супер сил не требует А во-вторых, пару экспериментов прямо с чтением весов они и правда сделали, но на супер маленьких модельках, заточенных на узкие задачи и с жесткими подсказками в промпте И без изменения весов – просто ответ на вопрос в какую аркадную игру обучена играть моделька —— Короче, они сделали пару игрушечных экспериментов, чтобы сказать, что модель умеет "читать веса" другой модели, а потом сделали несвязанный тривиальный эксперимент с лоботомией, который делается детерминированным скриптом. Вуаля, хайп обеспечен Если честно, бесит, что таких кликбейтных пейперов становится все больше, а твиттерские из этого раздувают шумиху, и в итоге большинство людей живет в вымышленной реальности С другой стороны, может быть этот шум действительно спровоцирует нормальные работы в этом направлении. Оно, кмк, перспективное

Слухи о том, что moonshot разрешили оплачивать подписки картой мир – не слухи. Проверил, реально работает, но нужен IP в РФ, чтобы получить такое предложение. Курс адекватный, у меня 19 долларов вышло 1600 рублей Почему я вообще об этом пишу? Думаю, это очень хороший знак для всего около ИИ бизнеса. Как будто, развитие ИИ сильно тормозится не столько техническими сложностями, сколько санкционными. А этот шаг, кажется, сильно поменяет ландшафт. Многие бизнесы уже отказываются от игры в кошки-мышки с антропиками и просто соглашаются на китайцев. Сейчас этот тренд кмк усилится И мб история с полноценными агентами в русскоязычном пространстве наконец станет массовой. И чем больше людей их использует, тем больше нам всем будет работы по организации, настройке и обучению

Большая часть людей оказалась в этом канале через одну из конференций, которую я организовывал Конфы, которые мы делаем – комьюнити проекты. Это значит, что мы обычно делаем их своей тг тусовочкой, а все деньги, которые получаем с билетов, направляем на промо самой конфы (либо записей после) На удивление, при всей "некоммерческости", получается качество, за которое не стыдно. Ну, вы сами скорее всего видели 😅 Только вот не понятно, как теперь отстраиваться от этих бесконечных конференций за подписку, которые штампуют каждую неделю, упихивая 10 спикеров в 2-3 часа выступлений без предварительных прогонов Год назад, когда мы делали AI Dev Live, мы по сути были первые за несколько лет, кто делал что-то большое в таком формате – никак отстраиваться было не нужно И вот, что мы решили: 1. По классике, мы запарываемся по качеству – все доклад проходят прогоны, даже у самых опытных спикеров, а программой занимаются ребята из ПК топовых конференций 2. Список тем. Так же, как и в прошлом году, мы постарались выбрать такой контент, который бы был актуален весь следующий год (удивительно, но наши прошлогодние доклады вполне уместны даже сейчас) 3. Дополнительная ценность. Мы видим, какая жопа сейчас творится на рынке труда (причем, с обеих сторон). Так что мы добавили несколько бонусов для участников: можно будет запостить вакансию, если вы нанимающий менеджер, найти подходящую или просто запостить свое cv, если вы ищете работу, а еще будут взаимоконнекты в линкедине – нетворк сейчас решает. А еще у нас будет отдельный крутой доклад от HRD про это 4. Еще у нас была идея выцепить хедлайнером кого-то из deepseek, z.ai или moonshot, но пока конференции с реквизитами ИП в футере – слишком большой риск даже для китайцев. Зато получилось договориться с ребятами из CodeRabbit – вот уж кого точно стоит послушать про ревью агентами Короче, если вы технарь, и ваша работа завязана на ии, то я очень советую не пропускать – таких мероприятий в ру-пространстве почти нет 11-12 ноября с 14:00 по мск. Приводите коллег и начальство Как обычно, можно платно, а можно бесплатно, при подписке на спикеров ai-dev.live