Телеграм канал «AI Attacks»

НАПОМИНАЮ))

27 октября в Зале Физика в 11:45

Онлайн трансляция будет здесь: https://forumsoc.ru/program-2026/

«Disclosure Begets Disclosure: A Self-Reinforcing Privacy Loop in LLM Agents with Persistent Memory». В работе исследуется, как использование постоянной памяти агентами на основе больших языковых моделей (LLM) повышает качество ответов, но одновременно увеличивает утечку персональных данных пользователя.

Авторы провели симуляции с участием виртуального пользователя (с 24 персональными атрибутами) и агента поддержки. В ходе многосессионных диалогов выяснилось, что использование памяти агентом не только улучшает качество ответов, но и усиливает эмпирическую утечку — долю значений атрибутов, которые можно корректно вывести из накопленной записи диалога. При этом уровень утечки растёт с каждой новой сессией.

Утечка происходит из‑за самоусиливающегося цикла:
-агент, опираясь на память, включает в ответы ранее упомянутые значения атрибутов — часто в виде предпосылок;
-пользователь либо подтверждает эти значения, либо не исправляет их;
-в результате подсказки и догадки агента превращаются в зафиксированные данные, и цикл усиливается.

Если пользователь пытается скорректировать значение, это само по себе раскрывает атрибут. Отказ от обсуждения атрибута сдвигает последующие прогнозы в сторону чувствительных значений, а неверные данные закрепляются в памяти.

Наиболее эффективный способ ослабить цикл — скорректировать ответы агента: если запретить агенту упоминать или предполагать атрибуты, уровень утечки снижается почти до уровня, характерного для работы без памяти, при сохранении большей части прироста качества ответов, а также фильтрация или анонимизация пользовательских сообщений либо хранимых данных приводит к значительной потере качества ответов.

SecLog-Bench: A Scalable Benchmark for Cybersecurity Log Reasoning with Scaffolded Evidence.

Текущие датасеты для анализа кибербезопасных логов с помощью больших языковых моделей (LLM) имеют три ограничения:
-ограничены по масштабу;
-опираются в основном на доказательства из одного источника;
-содержат только бинарные или многоклассовые метки атак, без детальных аннотаций процесса рассуждений.

Авторы создали бенчмарк SecLog-Bench со следующими ключевыми особенностями:
-разработали расширяемую платформу симуляции — она охватывает 29 сценариев атак, поддерживает повторное выполнение и интеграцию новых сценариев, -позволяет масштабно генерировать логи с метками этапов атаки;
-используют логи из нескольких источников — включая аудит‑логи, логи приложений и сетевой трафик — для совместного анализа кибератак;
-аннотируют каждый образец ключевым контекстом для рассуждений по логам кибербезопасности и структурированной цепочкой доказательств шаг за шагом.


На бенчмарке оценили восемь основных LLM в задаче рассуждения о ходе атаки после её обнаружения. Результаты показали: лучшая модель достигла лишь 44,44 % точности и 45,07 % Macro‑F1, наивысший показатель Stage Reasoning F1 (SRF1) составил 54,87 %, даже верные прогнозы иногда сопровождаются ошибочными рассуждениями, а также качество рассуждений часто не соответствует точности прогнозов.

О преодолении проблем внедрения машинного обучения в кибербезопасность с помощью гибридного ансамбля TSK‑FCM на наборе данных BETH.

Контролируемые модели машинного обучения плохо справляются с новыми атаками с исходом из системы распространения (OwD). Неконтролируемые модели, напротив, часто выдают много ложных срабатываний из‑за плохой разделимости.

Авторы разработали гибридный ансамбль нечёткой логики. Он объединяет: оптимизированный по градиенту нечёткий классификатор Такаги — Сугено — Канга (TSK) — для работы с известными внутренними угрозами, а также параллельный модуль нечётких кластеров (Fuzzy C‑Means, FCM) — для обнаружения геометрических аномалий.

На тестовом наборе данных BETH система достигла показателя AUROC 0,9951 — это на 17,1 % лучше, чем у алгоритма Isolation Forest. Система эффективно обнаруживает атаки типа «отказ в обслуживании» и при этом остаётся интерпретируемой благодаря нечёткой логике.

Кажется книгу написал ИИ:
- судя по тексту, я немного прочитала, шаблонные связки, нет авторской индивидуальности,
- у "цисо" с 20летним стажем есть еще одна книга по Lean))
- 448 страниц!! Это многолетний труд должен быть,
- издан с помощью самиздата, т.е. рецензирования нет

Книжка бумажная почти 2500 стоит, ничесе

Скоро книг таких будет дофига)
Если уже нет

Архитектура безопасного ИИ. Риски, управление и защита искусственного интеллекта