Телеграм канал «Pattern AI»

ИИ диагностирует точнее врачей, но готов ли лечить пациентов

В журнале Science вышло исследование, показывающее прогресс применения ИИ в медицине.

👀 Microsoft представила MAI-DxO, систему, способную последовательно разбирать клинические случаи, запрашивать дополнительные сведения, выбирать обследования и пересматривать диагностические гипотезы.

Результаты впечатляют.
▪️ На 304 сложных клинических случаях система достигла точности 83,2%. У врачей общей практики этот показатель составил 36,1% с использованием интернета и справочных материалов.
▪️ На данных пациентов отделений неотложной помощи MIMIC-IV-ED точность системы составила 80,3% против 46,8% у врачей.
▪️ Система также учитывала стоимость обследований и искала способы получить диагностически значимый результат с меньшими затратами.
▪️ ИИ не просто выбирал диагноз из списка готовых вариантов. Это агентная система, где агенты собирали информацию, определяли, какие исследования нужны дальше, спорили и обновляли свои предположения по мере получения результатов.

😳Но другие исследования показывают, почему результаты тестирования ещё не означают, что медицинский ИИ готов к повседневной практике:
1️⃣ Правильный ответ не гарантирует безопасного применения.
Cпециалисты проверили, насколько хорошо молодые врачи распознают ошибки и вымышленные сведения в ответах GPT-4o.
Врачи выявили лишь 15,8% обнаруженных исследователями ошибок. Причём частота выявления не увеличивалась даже тогда, когда ошибки представляли более высокий клинический риск.
Это ставит под сомнение распространённое предположение, что достаточно оставить врача в контуре принятия решений, и он обязательно заметит опасный ответ ИИ.

2️⃣ В реальной клинике важна не только точность.
В исследовании, посвящённом применению системы поддержки решений в отделении неотложной помощи, наблюдали за 1 138 пациентами в течение четырёх недель.
Несмотря на положительную экспертную оценку 99 из 100 проверенных ответов системы, использование инструмента врачами снизилось с 68% до 30%.
Банальные причины: рабочая нагрузка и сложности интеграции в клинический процесс.
Продолжительность пребывания пациентов в отделении также не изменилась.
Авторы подчёркивают, что результатов пока недостаточно, чтобы обосновать широкое клиническое внедрение системы.

3️⃣Как сделать медицинский ИИ безопаснее.
Исследование Mount Sinai охватило 20 моделей и более 10 миллионов ответов. Краткое напоминание о безопасности уменьшило число потенциально опасных решений у 19 моделей.
Инструкции и контекст способны влиять на поведение ИИ, однако улучшение результатов в эксперименте не заменяет независимой клинической проверки.

Мнения и подходы регуляторов:
🔹Американский регулятор FDA опубликовал документ для дискуссий о медицинских изделиях с генеративным ИИ и предложил возможную модель оценки таких систем, включающую два этапа: проверку компетентности на основе испытаний вне клинической практики и клиническое подтверждение того, что система работает в соответствии с заявленным назначением. Также рассматривается оценка рисков и мониторинг после выхода изделия на рынок, в том числе применительно к базовым моделям и ИИ-агентам.
🔹В ЕС для программного обеспечения, предназначенного для медицинских целей, необходимо оценить применимость Регламента о медицинских изделиях (MDR) и AI Act. Если система подпадает под категорию высокорисковых, для неё предусмотрены специальные требования, включая управление рисками, качество данных, документирование, человеческий надзор и оценку соответствия.

❕Медицинский ИИ следует оценивать не только по тому, насколько часто он ставит правильный диагноз. Не менее важно, способен ли врач обнаружить его ошибку, улучшает ли система реальные результаты лечения и сохраняется ли её безопасность при повседневной нагрузке.
Между успешными тестами и безопасной медицинской практикой еще остаётся дистанция, которую предстоит преодолеть.

#LawAndDisorder #UXWatch
————
@pattern_ai | AI GDPR Navigator

Кому принадлежит авторское право на произведения, созданные ИИ

Исследовательская служба Европейского парламента опубликовала обзор Copyright and artificial intelligence-generated outputs, сравнивающий подходы в ЕС, США и Китае и их судебную практику.

👀 Изображения, тексты, музыка и видео, созданные ИИ, всё чаще неотличимы от произведений человека. Но это не означает, что они автоматически получают авторско-правовую защиту.

В разных юрисдикциях формируется консенсус о том, что контент, созданный исключительно с помощью ИИ, с минимальным или полным отсутствием человеческого творчества, не подлежит защите авторских прав.
Специального правового режима для таких результатов нет.

Произведения, созданные с использованием приложений ИИ, могут по-прежнему пользоваться защитой авторских прав, если в них был проявлен существенный человеческий творческий потенциал. Достигнут ли этот порог, необходимо оценивать в каждом конкретном случае.

Распространение ИИ-контента усиливает конкуренцию с произведениями людей и ставит под вопрос привычные способы получения дохода авторами и другими правообладателями.

#AIShelf #LawAndDisorder
————
@pattern_ai | AI GDPR Navigator

Умные очки и GDPR: кто отвечает за данные случайных прохожих

Европейский совет по защите данных (EDPB) выпустил Statement 1/2026 on smart glasses.

1️⃣ Производители и поставщики ИИ-сервисов не могут переложить ответственность на пользователя.
Производитель очков и поставщик связанного приложения или ИИ-сервиса могут быть самостоятельными или совместными контролёрами в зависимости от того, кто определяет цели и средства обработки. Даже если человек использует очки исключительно в личных целях и подпадает под исключение из GDPR, обязанности компаний сохраняются.

2️⃣Принцип прозрачности должен сохраняться все время ( работать в момент записи).
Обычного уведомления в приложении недостаточно, если прохожий не знает о сборе своих данных. EDPB рекомендует сочетать заметные светодиодные индикаторы, звуковые сигналы, уведомления на смартфонах и особенности дизайна, позволяющие распознать умные очки. Технические сигналы должны быть эффективными, их должно быть трудно обойти или отключить. При этом они дополняют, а не заменяют предусмотренное GDPR информирование.

3️⃣ Сложность выбора основания обработки
Получить действительное согласие людей, которые не пользуются устройством и не взаимодействуют с поставщиком сервиса, зачастую сложно. Согласие, полученное после сбора данных, не подходит в качестве правового основания для уже начавшейся обработки.
Законный интерес также требует тщательной оценки. Особенно сложно обосновать дальнейшее коммерческое использование записей или обучение ИИ, если люди не ожидали такой обработки. При использовании этого основания необходимо обеспечить право человека возражать против обработки.

4️⃣ Принципы приватности нужно закладывать в устройство и сервис.
EDPB рекомендует минимизировать непрерывную запись и сроки хранения, по возможности размывать лица прохожих непосредственно на устройстве, отключать постоянное хранение аудио и видео по умолчанию, а в чувствительных местах применять географические ограничения. Среди дополнительных мер задержки перед публикацией записей в социальных сетях, позволяющие снизить риск необдуманного распространения.

5️⃣ Проверять другое применимое законодательство
Умные очки могут затрагивать не только GDPR, но и национальное уголовное, гражданское и трудовое законодательство.
Особую осторожность следует соблюдать в школах, медицинских учреждениях и на рабочих местах, где возникают дополнительные риски для детей, сотрудников и конфиденциальной информации.

❕Если ваш продукт записывает окружающих или анализирует изображения и звук с помощью ИИ, необходимо оценивать каждую операцию обработки, определять роли участников, обосновывать правовое основание и проектировать прозрачность и защиту данных с самого начала.

#LawAndDisorder #UXWatch
————
@pattern_ai | AI GDPR Navigator

Anthropic предлагает свой собственный законопроект о безопасности ИИ

Представители Anthropic втайне представили законодателям проект закона, регулирующего безопасность и защиту передовых технологий ИИ.

👀 Ключевые моменты:
🔹 Область применения: модели, обученные с использованием более (10^{25}) FLOPs, включая последующее дообучение и обучение с подкреплением. Это числовой порог, используемый и в AI Act ЕС для оценки системных моделей общего назначения, но правовые критерии и последствия различаются.
🔹 Два уровня обязанностей. Базовые требования прозрачности распространяются на всех охватываемых проектом разработчиков. Расширенные обязанности предусмотрены для крупных компаний: доход от ИИ свыше $500 млн в год либо расходы на разработку ИИ свыше $1 млрд.
🔹 Узкий перечень рисков: биологическое оружие, выход модели из-под контроля разработчика или пользователя, наступательные кибероперации и автоматизированные исследования и разработки ИИ, способные существенно усилить эти угрозы.
🔹 Отчётность. Публикация рамок безопасности, отчёты об оценке рисков не реже одного раза в 180 дней и уведомление о критических инцидентах в течение 15 дней. Если возникает непосредственная угроза смерти или тяжёлого вреда здоровью, срок сокращается до 24 часов.
🔹 Независимая оценка. Крупные разработчики должны привлекать внешних экспертов, предоставлять им глубокий доступ к моделям и внутренним материалам и публиковать результаты проверок. Оплата оценщиков допускается, но не может зависеть от выводов проверки.
🔹 Защита осведомителей. Проект предусматривает защиту нынешних и бывших работников и подрядчиков, сообщающих о нарушениях или существенной угрозе общественной безопасности. Договорные условия, лишающие их этих прав, включая арбитражные оговорки, не будут иметь юридической силы.
🔹 Приостановка модели. Министерство торговли США сможет просить федеральный суд о приостановке разработки, выпуска или внутреннего использования модели при непосредственной угрозе массового вреда. Первоначальный срок судебного запрета до 45 дней; предусмотрены процессуальные гарантии и возможность обжалования.
🔹 Приоритет федерального регулирования. Проект ограничивает полномочия штатов устанавливать собственные требования к раскрытию информации разработчиками, независимой оценке и уведомлению об инцидентах. При этом нормы штатов о защите потребителей, несовершеннолетних, гражданских правах и конфиденциальности в целом сохраняются.

❕Проект сочетает обязательные проверки безопасности и независимую оценку с достаточно высоким порогом для государственного вмешательства в работу модели. Одновременно он предлагает заменить часть разрозненных требований штатов единым федеральным режимом. Однако это пока рабочий текст, его окончательная редакция и перспектива внесения в Конгресс не определены.

📌 Policy on the AI Exponential|Anthropic

#LawAndDisorder
————
@pattern_ai | AI GDPR Navigator

3 новых стандарта ИИ, которые стоит сохранить

1️⃣ ISO/IEC 27090:2026 Cybersecurity — Artificial intelligence (AI) — Addressing security threats and compromises to AI systems
Новый международный стандарт, содержащий рекомендации по противодействию специфическим для ИИ угрозам безопасности на всех этапах жизненного цикла технологий ( от «отравления» данных (data poisoning) до атак типа «уклонение» (evasion attacks) и кражи моделей).
По сути, этот стандарт дополняет ISO 27001 и ISO 42001, предлагая меры по обеспечению кибербезопасности, актуальные именно для систем искусственного интеллекта.

2️⃣EN 18286:2026 Quality management system for EU AI Act regulatory purposes
Этот стандарт, впервые представленный в июле, стал первым гармонизированным стандартом в поддержку закона.
Документ посвящен системам управления качеством прежде всего для разработчиков ИИ-систем с высоким уровнем риска (согласно статье 17 Закона). Он помогает подтвердить соответствие установленным регуляторным требованиям.

3️⃣ IEEE 2863-2026 IEEE Recommended Practice for Organizational Governance of Artificial Intelligence
Помогает превратить принципы ответственного ИИ (Responsible AI) в конкретные организационные процессы управления.
Речь идет об ответственности, надзоре, этических принципах и разрешении противоречий между различными приоритетами управления.

#AIShelf
————
@pattern_ai | AI GDPR Navigator

ИИ-агенты: почему разрешённое действие не всегда допустимо

Google опубликовала исследовательский доклад "Open and Emergent Problems in Agentic Privacy and Security: A Contextual Angle" о том, почему недостаточно привычных подходов к информационной безопасности и защите персональных данных для автономных ИИ-агентов.

👀Авторы выделили особенности, которые осложняют применение традиционных методов защиты:

1️⃣Неоднозначные инструкции и уязвимость к манипуляциям. Агент получает команды на естественном языке, анализирует изображения и другие неструктурированные данные, поэтому ему трудно однозначно определить, какое поведение ожидается, а злоумышленник может попытаться изменить его действия с помощью внедрения вредоносных инструкций.
2️⃣ Непредсказуемый ход выполнения задач. Агент динамически строит планы и может генерировать код в процессе работы. Последовательность его действий зависит от вероятностных ответов модели и меняется от ситуации к ситуации. Поэтому заранее проверить все возможные сценарии традиционными методами тестирования гораздо сложнее.
3️⃣ Автономность и делегирование. Когда агент выполняет длительную задачу и поручает отдельные действия другим агентам, человек теряет возможность контролировать каждый шаг. Если система постоянно запрашивает подтверждение на передачу данных или выполнение рискованных действий, пользователь начинает механически соглашаться. Это так называемая усталость от подтверждений, которая повышает вероятность нежелательных действий.

Авторы предлагают переосмыслить саму защиту, взяв за основу теорию Contextual Integrity («контекстуальная целостность»). Согласно этому подходу, конфиденциальность не только секретность информации или возможность контролировать её передачу, а важно, соответствует ли передача данных нормам конкретной ситуации.
Например, пользователь может разрешить помощнику по организации поездок передать авиакомпании необходимые паспортные данные. Но это не означает, что агент вправе отправить те же данные организаторам конференции, коллегам или другому ИИ-агенту без оценки необходимости и допустимости такой передачи.
Иными словами, разрешение использовать данные в одной ситуации не означает разрешения использовать их в любой другой.
Система должна оценивать не только доступность действия, но и его уместность в конкретном контексте.

Также обозначено несколько направлений для исследования и возможных решений:
▪️ на уровне системы: изолированная среда выполнения, динамическое ограничение возможностей агента, управление доступом к данным и инструментам с учётом текущей задачи.
▪️на уровне модели: способность распознавать неоднозначные запросы, уточнять намерения пользователя и оценивать допустимость действий при изменении обстоятельств.
▪️на уровне взаимодействия с пользователем: персонализированные механизмы контроля, учитывающие предпочтения человека и не сводящиеся к бесконечным запросам согласия.
▪️на уровне взаимодействия агентов: проверка надёжности других агентов, подтверждение человеческих и машинных идентичностей, обнаружение инцидентов и распределение ответственности.
▪️на уровне управления экосистемой: согласование правил между участниками, разрешение конфликтов между нормами и проверка их соблюдения.
▪️ создание специальных испытательных сред, в которых можно проверять безопасность взаимодействия нескольких агентов на протяжении длительных цепочек действий.

Модель согласия, при которой пользователь заранее разрешает определённые операции, плохо масштабируется на автономные системы. Человек не может предвидеть каждую передачу данных, каждый новый инструмент и каждый шаг агента, который самостоятельно разбивает задачу на подзадачи.
Поэтому авторы предлагают дополнить традиционные механизмы согласия контекстными правилами, учитывающими, какие данные передаются, кому, с какой целью и при каких условиях. Такие правила должны действовать не только на уровне модели, но и на уровне всей системы.

❕Авторы подчеркивают, что эти вопросы подлежат исследованию, а не являются точным решением.

#AIShelf
————
@pattern_ai | AI GDPR Navigator

Список из 500 вопросов по GDPR, Индия, AI для самообучения с ИИ (Claude, ChatGPT, Gemini).

25 тем по 20 вопросов (от базового к продвинутому уровню), с учетом Закона Индии о DPDP как сравнительного контекста.
Список ориентирован на глобальную аудиторию, поэтому релевантность отдельных вопросов зависит от юрисдикции.

#AIShelf
————
@pattern_ai | AI GDPR Navigator