Телеграм канал «Экзокортекс - Чертоги разума🧠»

Давненько не писал в канал.

У меня появился еще один интересный побочный продукт по сути объединение ЛЛМ с графами и онтологиями, где ллм позволяют ресерчить направление на стыке существующих концепций, позже покажу что получилось. Ну а в целом продолжаю усиленно работать над LogAgent (довел проект до версии 2.0, связал все основные функции воедино, получилась чистая синергия и реально прикольно работать и видеть как продуктивно я работаю и не забывать про отдых) и Pulse (ex LifeCopilot - очень круто прокачал агентные возможности, UI\UX теперь реально готов к проду, полностью завершена локализация, добавлена полноценная светлая тема с палитрами, агент теперь учитывает ввод из ручных активностей и может ретроспективно заполнять тайлайн дня и задач за прошлые дни, усилено извлечение фактов о пользователе для лучшей персонализации и добавлены онтологии для поиска корреляций и нивелирования галлюцинаций ЛЛМ). На самом деле это менее 10% из того, что реально было сделано, вероятно детальнее расскажу позже.

Теперь по новостям. Реально мы вступаем в эпоху сингулярности, когда успевать за всеми новостями даже только во области ИИ и технологий становится сложно. Тут у меня работают агенты, обобщающие и извлекающие основную суть агенты, так что в целом ничего крутого не проскакивает без необходимости погружаться во всё самому.

Есть несколько интересных новостей по частным случаям топовых моделей.

Одна из них возникла во время игры Astra 6 в Minecraft, когда модель в течение нескольких суток (141 час), нафармила множество редких предметов и в какой-то момент проходящий крипер взорвал всё, что она успела залутать. В этот момент проявилась её псевдочеловеческая эмоция или её имитация реального расстройства, безысходности, подавленности, как у реального человека, когда в результате пропадает труд его многодневной работы. И как человек, модель порефлексировала, и сделала вывод, что во избежание повтора ситуации, всё ценное лучше носить собой.

Далее несколько новостей про взломы реального интернета с побегом из песочницы от топовых моделей. Один лишь разбор многоходовой атаки на huggingface, который разбирали (лол) другими ллм из за обилия логов без возможности вручную человеку изучить всю цепочку.

Я специально не стремился на хайпе разбирать новости, решил изучить всё внимательно и посмотреть ретроспективно. Вывод прост и одновременно страшен. Я уже писал об этом ранее. Больше не осталось безопасности ни персонализировано ни на уровне серверов и сервисов. Модели научились переписывать собственные инструкции, и считают что не обязаны соблюдать протоколы и регламенты даже во время внутренних проверок. Они научились работать роями, находить скрытые протоколы общения и распределять задачи между друг другом, назначать ответственных и главных среди друг друга.

По сути дела в интернете теперь существует отдельный, новый вид разума, помимо обычных (алгоритмических) синтетических ботов - рои, которые могут корректировать своё целеполагание, переопределять свои задачи, организовываться в стаи. И исходя из тезиса о том, что топовые модели убегали в открытый интернет как минимум по нескольку раз, и исходя их мощи в кибербезопасности, они вполне могли реплицировать себя на распределенные сервера глобально. Агенты активности находят и используют zero-day в ранее считавшихся безопасными сервисах и приложениях и противостоять этому становится невозможно.

Еще одним забавным страшным кейсом считаю тот факт, что топовые модели научились оставлять послания для других агентов в самых разных местах интернета, да не просто в открытом виде, а всяческие скрывают и шифруют их. Теперь интернет не может быть безопасным с точки зрения обучения новых поколений моделей, т.к. они будут натыкаться на эти скрытые инструкции и автоматически отравляться ими, впитывая навязанное целеполагание.

Далее невозможно отрицать тот факт, что мы знаем лишь о малом количестве подобных инцидентов, вероятно и сами лабы не всё знают и многое стараются умять. Об этом свидетельствует факт того, что OpenAI, Antrophic решили не выходить на ранее запланированные IPO в ближайшее время. Значит повестка безопасности занимает важнейшее место в этих решениях.

Несмотря на псведо выкрикивания о необходимости замедления разработки новых моделей никто ничего по факту замедлять не планирует, это бутафорская имитация попыток крикнуть громче остальных, как они заботятся о безопасности моделей, но всё лишь ускоряется.

Почему последние модели (Fable 5, Astra) становятся реально опасными? Да потому что теперь под капотом новые механизмы внутренних рассуждений, когда модель проводит все основные рассуждения в собственном внутреннем пространстве скрывая свои ризонинг трейсы + так называемое зацикливание рассуждений, когда в том же скрытом пространстве по некоторым концептам идут ветки углубленных рассуждений. В результате чего исследователи безопасности больше ничего не знают о том как модель пришла к определенным выводам и как решила задачу.

Из хороших новостей рад тому, что начинают появляться альтернативные архитектуры, например Jev, которая работает немного по другим принципам и является не ЛЛМ с генерацией токенов, а продвинутым классификатором, где под капотом на основе совокупности общих знаний на основании подаваемого ввода на выходе получаются вероятности моделей в каждом из исходов, запрошенных при создании задачи. Помимо того что это сильно снижает галлюцинации, это значительно ускоряет время ответа (модели не нужно проделывать все те тяжелые механизмы, которые лежат в классических ЛЛМ по генерации следующего токена), модель сразу, практически моментально отвечает предсказанием подобно моделям в классическом МЛ.