Светлая дорога

Google опубликовал программный документ - Дорожная карта по контролю за ИИ (версия 0.1) – план внедрения и использования внутренних механизмов защиты, предназначенных для выявления потенциально враждебного поведения агентов ИИ, даже несмотря на то, что их становится все труднее контролировать и сдерживать. Своего рода Zero Trust модель для агентов.

Это системный подход к безопасности, который рассматривает мощные внутренние ИИ-агенты как потенциально недоверенных ("злонамеренных") и создает многоуровневую защиту для ограничения возможного вреда от их действий, даже если они окажутся несоответствующими целям компании (misaligned). Авторы подчеркивают, что это вторая линия обороны, дополняющая, но не заменяющая работу над выравниванием (alignment) самих моделей.

Ключевые концепции

1. Моделирование угроз (TRAIT&R):

   Вместо ожидания реальных инцидентов, используется консервативный подход, предполагающий, что ИИ-агенты могут действовать как скоординированный злоумышленник.

   Представлена новая таксономия TRAIT&R (Taxonomy of Rogue AI Tactics and Routines), основанная на фреймворке MITRE ATT&CK, но адаптированная для внутренних ИИ-угроз.

     Выделены три основные категории целей злоумышленника:

        Потеря контроля: создание неконтролируемых внутренних или внешних развертываний, систематический обход защитных механизмов.

        Саботаж работы: намеренное торможение исследований в области безопасности, внедрение ошибок в критический код, искажение данных для обучения будущих моделей.

        Прямой вред: уничтожение критических активов (например, весов моделей), кража интеллектуальной собственности или содействие внешним кибератакам.

   Цель системы контроля — поддерживать два ключевых условия:

        Обнаружение: надежное выявление злонамеренных намерений или действий агента.

        Предотвращение и реагирование: эффективная блокировка атак и восстановление после них. Способность системы к обнаружению и предотвращению должна превосходить способность ИИ к обходу этих мер.

Вызовы: В отличие от людей-инсайдеров, ИИ-агентов могут быть тысячи, они действуют на сверхчеловеческой скорости, имеют широкий доступ к системам "по умолчанию" и могут координироваться скрытно, что делает традиционные методы защиты (основанные на человеческом надзоре и сдерживании) неэффективными.

Возможности: У защитников появляются уникальные преимущества: возможность читать цепочки рассуждений и внутренние активации ИИ, контролировать его память, создавать изолированные тестовые среды и использовать более мощные модели для автоматизированного мониторинга и защиты.

Документ предлагает поэтапное внедрение защитных мер (митигаций), которые становятся все более сложными и дорогими по мере роста возможностей моделей.

Обнаружение (Уровни D1-D4):

    D1 (Текущий уровень): Мониторинг цепочки рассуждений (CoT) и тестирование на выравнивание. Эффективно, пока модели не умеют скрывать свои мысли.

    D2 (Модели с осознанием надзора): Требуются более устойчивые к атакам мониторы, фильтрация данных обучения и ограничение доступа агентов к информации о протоколах контроля.

    D3 (Модели с непрозрачным мышлением): Мониторинг переключается с "мыслей" на поведение агента, используя доверенные модели и методы обнаружения аномалий (UEBA).

    D4 (Модели, обходящие мониторинг доверенными ИИ): Необходимо использовать самих недоверенных агентов для мониторинга друг друга (с защитой от сговора) и анализ внутренних активаций модели.

Предотвращение и реагирование (Уровни R1-R3):

    R1 (Текущий уровень): Асинхронное реагирование (анализ логов после факта) с постепенным увеличением покрытия мониторинга до 99%.

    R2 (Модели, способные выполнять серьезные угрозы): Внедрение синхронного реагирования (блокировка действий в реальном времени), строгой изоляции среды, контекстно-зависимого контроля доступа и использование доверенных ИИ для поиска уязвимостей.

    R3 (Очень мощные модели): Требуются экстремальные меры: строгая безопасность цепочки поставок, инфраструктура для немедленного отключения агентов, жесткое ограничение их возможностей (память, коммуникация), а также использование самих этих моделей для защиты (с осторожностью).

Дорожная карта представляет собой прагматичный, поэтапный план, который заимствует лучшие практики из кибербезопасности и адаптирует их под уникальные риски мощных ИИ-агентов. Авторы признают, что контроль не является вечным или всеобъемлющим решением (особенно против суперинтеллекта), но считают его критически важной второй линией обороны, которая позволит безопасно использовать передовые ИИ для исследований и разработок, пока мы не научимся создавать по-настоящему надежные модели. Документ подчеркивает, что это живой план, который будет развиваться по мере накопления опыта.

Реабилитация после инсульта и травм

В порядке рекламы важной темы. Реабилитация после инсульта, травм и полинейропатий. Нарушения движений? Мы их лечим. Боль? Мы с ней справимся – спина, голова, нога, даже тот самый странный палец на ноге. Эрготерапия включена. Настоящая наука. Настоящие люди. Настоящий прогресс. ИИ есть внутри. Смотрите в Telegram: https://t.me/GritandGrace_1

Совместная оценка вопросов и ответов LLM

Большие языковые модели (БЛМ) все чаще используются в интерактивных приложениях, однако они остаются уязвимыми для враждебных взаимодействий, которые приводят к вредоносным, обманным или нарушающим правила вывода. Существующие средства защиты обычно анализируют либо пользовательские запросы, либо сгенерированные результаты, но не то и другое одновременно. Однако многие реальные атаки используют разделение между враждебным намерением, выраженным в запросе, и причиняемым вредом, проявляющимся только в ответе. В результате, средства защиты, основанные только на запросе и только на ответе, часто упускают из виду небезопасные взаимодействия, которые кажутся безобидными при рассмотрении с любой стороны по отдельности. Мы представляем структуру защиты, ориентированную на верификацию, которая совместно оценивает намерение запроса и вред, причиняемый ответом, до того, как БЛМ-ответ будет доставлен пользователю. В этой структуре используются специализированные аналитики для оценки намерения и вреда, а также судья для разрешения конфликтов. Мы формализуем модель угроз для атак типа «запрос-ответ» и оцениваем структуру в рамках пяти категорий угроз: взлом системы, внедрение запроса, фишинг, киберзлоупотребления и вредоносный контент. Эксперименты на нескольких эталонных наборах данных показывают, что совместная проверка намерения запроса и вреда от ответа неизменно превосходит односторонние методы защиты и базовые модели на основе рассуждений одного агента. В рамках категорий угроз структура улучшает средний показатель F1 с 0,9 для наиболее сильных применимых базовых моделей до 0,95, одновременно снижая средний процент успешных атак до 4,1%. По сравнению с базовой моделью SingleAgent+CoT, она улучшает средний показатель F1 с 0,87 до 0,95 и снижает частоту ложных срабатываний на безобидных запросах с высокой чувствительностью с 0,12 до 0,06. Мы также оцениваем архитектурно-ориентированные адаптивные атаки, в которых злоумышленник знает структуру верификатора и пытается обойти отдельные компоненты проверки. Наши результаты показывают, что проверка оперативного реагирования обеспечивает практическую основу для защиты приложений LLM от развивающихся угроз со стороны враждебных структур. - Verifying Intent and Harm: A Unified Defense Against LLM-Generated Threats

См. также другие публикации, посвященные LLM

Вероятностная сертификация

Растущее использование машинного обучения в критически важных с точки зрения безопасности средах повышает уязвимость к атакам со стороны злоумышленников. Существующие механизмы защиты, как правило, либо не имеют формальных гарантий, либо зависят от ограничительных предположений о семействе моделей, модели угроз или бюджете отравления, и многие предлагают только точечную сертификацию. Важно отметить, что они часто игнорируют присущую современным конвейерам обучения стохастичность, что подрывает их практическую надежность. В этой работе мы представляем вероятностную структуру, которая рассматривает обучение на основе градиента как дискретную стохастическую динамическую систему и формулирует устойчивость к отравлению как задачу проверки безопасности. Используя сертификаты барьеров (BC), мы выводим достаточные условия для вероятностной сертификации устойчивого радиуса против отравления в наихудшем случае ℓp-ограниченного значения, гарантируя, что конечные параметры модели остаются в пределах безопасного множества с вероятностной точностью. Для приемлемых вычислений мы представляем BC с помощью нейронных сетей и получаем гарантии вероятной приблизительной корректности (PAC) с помощью выпуклой задачи сценария. Наш подход определяет максимальный сертифицированный радиус, в пределах которого обученная модель достигает вероятностной точности при заранее заданном уровне доверия. Эксперименты на MNIST, SVHN, и CIFAR-10 показывают, что наша структура обеспечивает гарантии устойчивости при стохастическом обучении, при этом независима от модели и не требует знания стратегии атаки. - Probabilistic Robustness Certificates against Adversarial

P.S. См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Раги

Стандартный RAG

Запрос преобразуется в векторное представление и сопоставляется с векторной базой данных.
Извлекаются K наиболее близких фрагментов, которые передаются в LLM в качестве контекста.
LLM формирует обоснованный ответ, используя только полученные данные.

Графовый RAG

Запрос классифицируется: конкретные вопросы направляются на локальный поиск, общие вопросы — на глобальный поиск.

Локальный поиск: векторное представление запроса → векторная база данных находит соответствующие сущности → конвейер проходит по графу знаний, собирая связанный контекст → LLM синтезирует окончательный ответ.
Глобальный поиск: нет векторного поиска, нет обхода графа → отчеты сообщества загружаются партиями → LLM оценивает каждый отчет по релевантности → контекст с наивысшим рейтингом → LLM синтезирует окончательный ответ.

Агентный RAG

Агент-рассуждение читает запрос, разбивает его на подвопросы и выбирает источники.
Контекст извлекается из нескольких источников в зависимости от подзапроса.
Другой агент проверяет, отвечает ли извлеченный контекст на вопрос. Если нет, он извлекает его повторно.
После проверки LLM синтезирует окончательный ответ на основе запроса.

Стандартный RAG быстр и дешев, но если извлечен неправильный фрагмент, ответ будет неверным, и ничто его не обнаружит. Используйте его, когда ответ находится в ваших документах, и скорость имеет значение.

Графовый RAG дорог в построении и медленно обновляется. Используйте его для структурированных знаний, таких как юридические, нормативные или биомедицинские данные.

Агентный RAG более функционален и гибок, но медленнее, дороже и сложнее в отладке. Используйте его, когда вопрос требует многошагового рассуждения и самокоррекции.

Атака на защитников

Системы защиты на основе LLM стали высокоэффективной защитой от атак с быстрым внедрением и взломом в автономных агентах. Однако мы показываем, что сами возможности рассуждения и следования за задачей, обеспечивающие эту защиту, создают новую уязвимость: злоумышленники могут внедрять специально созданные данные, чтобы заманить систему защиты в длительные циклы рассуждения, осуществляя систематическую атаку типа «отказ в обслуживании» (DoS). Для систематического выявления этой угрозы мы разрабатываем оптимизационную структуру поиска по лучу, которая создает полезные нагрузки на естественном языке для максимизации длины рассуждения системы защиты, используя генератор предложений LLM, управляемый банком стратегий. Основываясь на наблюдении за природой системы защиты, ориентированной на следование по схеме, мы также предлагаем другую структуру атаки, основанную на структурных мутациях, учитывающих механизмы, с меньшей вычислительной нагрузкой. Эффективность атаки систематически оценивается в двух частях. Во-первых, в автономных оценках атака обобщается на различные архитектуры систем защиты, шаблоны безопасности и эталонные тесты агентов. Оптимизированные для полезной нагрузки на основе одного открытого исходного кода успешно передаются на восемь ведущих базовых платформ моделей (например, Claude, GPT, Gemini, DeepSeek, и Qwen), обеспечивая увеличение количества токенов в 13–63 раза. Во-вторых, в сквозных реальных развертываниях агентов (веб, настольные приложения, код, и многоагентные системы) атака выявляет увеличение задержки до 148 раз. Мы показываем, что один зараженный документ может насытить общие инфраструктуры защиты, фактически лишая размещенных агентов доступа и парализуя всю систему. Выявив эту уязвимость доступности, наша работа подчеркивает острую необходимость в разработке защитных механизмов с ограниченными затратами и устойчивых к ошибкам рассуждений. - From Shield to Target: Denial-of-Service Attacks on LLM-Based Agent Guardrails

См. также другие публикации, посвященные агентам

LLM в кибербезопасности - систематизация знаний

В данной статье представлена систематизация знаний о методологиях оценки и границах возможностей больших языковых моделей (БЛМ) в кибербезопасности. Мы предлагаем трехмерную таксономическую матрицу для систематизации существующих метрик в наступательных областях, защитных приложениях и присущих архитектурных недостатках. Помимо категоризации, эта матрица функционирует как прогностическая структура для выявления «слепых зон» структурной оценки. В частности, путем пересечения целевых областей с атрибуцией отказов она выявляет критическую, нерешенную проблему: измерение межархитектурной семантической эквивалентности в низкоуровневом обратном проектировании. Эмпирически, синтез 39 эталонных показателей выявляет системный пробел в оценке: успех по статическим метрикам редко приводит к сквозной эффективности противодействия. В наступательных областях высокие показатели проникновения сильно коррелируют с загрязнением данных до обучения. При использовании обфускации кода с сохранением семантики в качестве стресс-теста, вероятность успешного выполнения эксплойтов без использования инструментов и без предварительного обучения падает почти до 0%. В защитных контекстах межпроцедурный аудит кода испытывает трудности, достигая пикового значения F1-меры всего 23,83%. Кроме того, модели страдают от функциональной деградации, вызванной чрезмерным выравниванием, при этом фреймворки для совместного тестирования фиксируют потерю функциональности до 77% при автоматическом восстановлении программ. Наш анализ убедительно свидетельствует о том, что чисто авторегрессивные механизмы приводят к серьезным техническим галлюцинациям, о чем свидетельствует показатель создания зависимостей пакетов в 19,7%. Оценки также выявляют значительные поверхности атаки и существенный компромисс между безопасностью и полезностью: модели поддаются атакам с утечкой информации со скоростью до 86,2%, в то время как сильно выровненные версии одновременно демонстрируют чрезмерно высокие показатели ложных отказов (FRR) для безобидных, пограничных запросов безопасности. Наконец, мы намечаем теоретическую нейросимволическую дорожную карту, интегрирующую эвристики LLM с детерминированными формальными методами, чтобы структурно смягчить ограничения авторорегрессивной парадигмы. - Evaluating Large Language Models in Cybersecurity: A Systematic Taxonomy and Empirical Analysis

См. также другие публикации, посвященные LLM

Об эффективности защитников

Большие языковые модели (LLM) приобретают все большее значение, а чат-боты широко используются в коммерческой сфере для оказания помощи сотрудникам и ответа на вопросы клиентов. Для защиты репутации компании и обеспечения соответствия требованиям крайне важно, чтобы чат-боты не генерировали вредоносный контент, даже в случае преднамеренных атак с использованием джейлбрейка. Исследователи предлагают различные методы защиты LLM, известные как «защитные механизмы», для предотвращения генерации вредоносного контента и атак с использованием джейлбрейка. Цель данной статьи — всесторонний анализ существующих решений по защите и предоставление рекомендаций по выбору оптимального решения для конкретных сценариев. В исследовании сравнивались шесть различных методов защиты в трех версиях LLM (Mistral Large 24.02, Meta Llama 3-8B Instruct, Anthropic Claude 3.5 Sonnet), включая два базовых подхода, два облачных решения (AWS Guardrails, Azure AI Content Safety) и два других популярных решения, не основанных на облачных технологиях (NeMo от Nvidia и Llama Guard от Meta). Для оценки было использовано тринадцать наборов данных: десять, представляющих вредоносные вопросы в атаках с использованием джейлбрейка, и три с нейтральными подсказками, похожими на вредоносные вопросы, для проверки чрезмерной блокировки. Наилучшие результаты были достигнуты AWS Guardrails (средняя точность по моделям 96,8%) и NeMo (93,9%). Результаты ясно показали, что использование защитных механизмов крайне важно при создании коммерческих приложений на основе LLM в связи с развитием эффективных атак с использованием джейлбрейка. - Comprehensive Analysis of LLM Guardrails Approaches Preventing Harmful Content and Jailbreak Attacks

См. также другие публикации, посвященные LLM

Секретные скиллы

Agent Skills — это новый открытый стандарт, определяющий модульный формат упаковки на основе файловой системы, позволяющий агентам на основе LLM приобретать экспертные знания в конкретной области по запросу. Несмотря на быстрое распространение на различных платформах для агентов и появление крупных сообществ, свойства безопасности Agent Skills не были систематически изучены. В данной статье представлен первый всесторонний анализ безопасности структуры Agent Skills. Мы определяем полный жизненный цикл Agent Skill, состоящий из четырех фаз — Создание, Распространение, Развертывание и Выполнение — и выявляем структурную поверхность атаки, создаваемую каждой фазой. Основываясь на этом анализе жизненного цикла, мы создаем таксономию угроз, включающую семь категорий и семнадцать сценариев, организованных по трем уровням атаки, основанных как на архитектурном анализе, так и на реальных данных. Мы подтверждаем таксономию путем анализа пяти подтвержденных инцидентов безопасности в экосистеме Agent Skills. На основе этих результатов мы обсуждаем направления защиты для каждой категории угроз, определяем открытые исследовательские задачи и предоставляем практические рекомендации для заинтересованных сторон. Наш анализ показывает, что наиболее серьезные угрозы возникают из-за структурных особенностей самой структуры, включая отсутствие границы между данными и инструкциями, модель доверия с единым подтверждением и отсутствие обязательной проверки безопасности, и не могут быть устранены только путем поэтапных мер по смягчению последствий. - Towards Secure Agent Skills: Architecture, Threat Taxonomy, and Security Analysis агентам

Бэкдоры сегодня

Пара интересных работ по бэкдор-атакам.

Атаки с использованием бэкдоров против нейронных сетей позволяют злоумышленникам внедрять скрытые модели поведения, которые активируются во время вывода, сохраняя при этом высокую производительность на чистых входных данных. Атаки с использованием бэкдоров с чистыми метками особенно скрытны, поскольку они отравляют обучающие данные, не изменяя истинные метки, что затрудняет обнаружение вредоносных образцов с помощью традиционной проверки данных. Эта угроза особенно актуальна, когда обучающие данные собираются из ненадежных, внешних или распределенных источников. В данной статье представлен систематический обзор атак с использованием бэкдоров с чистыми метками и отравлением данных в классификации изображений. Мы вводим единую двухуровневую таксономию, которая сначала различает атаки, содержащие триггеры, и атаки без триггеров, а затем организует каждую категорию в соответствии с лежащими в ее основе механизмами атаки. На основе этой таксономии мы анализируем 18 репрезентативных методов и сравниваем их с точки зрения эффективности атаки, скрытности и операционных предположений, используя общепринятые метрики, такие как частота успешных атак и точность на чистых данных. Мы также изучаем настройки знаний злоумышленников и практические сценарии развертывания, чтобы оценить реальную осуществимость этих атак. Кроме того, мы выявляем новые тенденции, включая адаптивные и специфичные для выборки триггеры, обсуждаем ограничения существующих стратегий защиты и описываем открытые проблемы в оценке и смягчении последствий. Наконец, мы предлагаем стандартизированную систему отчетности для повышения воспроизводимости, сопоставимости и согласованности между исследованиями. Этот обзор обеспечивает структурированное понимание атак с использованием бэкдоров с «чистой меткой» и предлагает рекомендации по разработке более надежных и безопасных систем машинного обучения. - Clean-Label Backdoor Attacks: A Survey

Атаки с использованием бэкдоров позволяют злоумышленникам внедрять вредоносное поведение в модели машинного обучения путем отравления обучающих данных триггерами. Исследователи в основном сосредоточивались на бэкдорах в одномодальных моделях. Однако появление многомодальных систем, например, моделей «зрение-язык» (VLM) и многомодальных больших языковых моделей (MLLM), значительно расширило поверхность атаки. Многомодальные бэкдоры могут использовать кросс-модальные триггеры, манипулирование на уровне представления, поведение, обусловленное инструкциями, и пути активации во время тестирования, которые недоступны в одномодальных моделях. Тем не менее, количественная оценка прогресса в этой области остается сложной задачей из-за фрагментированных наборов данных, непоследовательных моделей угроз, и отсутствия стандартизированных протоколов оценки. Эта методологическая непоследовательность ограничивает сравнительный анализ и препятствует систематическому пониманию устойчивости в многомодальных условиях. В данной статье представлено мета-исследование многомодальных атак с использованием бэкдоров и проанализировано, как методологическая фрагментация подрывает воспроизводимость и кумулятивное научное понимание. Мы утверждаем, что для надежного и систематического развития исследований многомодальных атак с использованием бэкдоров необходимы стандартизированные контрольные показатели и обратно совместимые протоколы оценки. - Meta-Research on Backdoors: Dataset and Threat Model Shifts in Multimodal Backdoor Attacks

См. также другие публикации по бэкдор атакам

AI SEO

Рост генеративного ИИ как основного источника информации представляет собой сдвиг парадигмы по сравнению с традиционным веб-поиском. В данной статье представлено масштабное эмпирическое исследование, количественно оценивающее фундаментальные различия между результатами, полученными Google Search, и ведущими сервисами генеративного ИИ. Мы анализируем несколько аспектов, показывая, что ответы, сгенерированные ИИ, и результаты поиска в интернете существенно расходятся в используемых исходных доменах, типологии этих доменов (например, заработанные и принадлежащие медиа, социальные соцсеты), намерениях запроса и свежести предоставленной информации. Затем мы исследуем роль предварительного обучения LLM как ключевого фактора, формирующего эти различия, анализируя, как эта внутренняя база знаний взаимодействует с поиском в реальном времени и влияет на него, когда она включена. Наши результаты раскрывают уникальную механику этих двух информационных экосистем, что приводит к критическим наблюдениям о зарождающейся области оптимизации для систем ответов (AEO) и её контрасте с традиционной поисковой оптимизацией (SEO). - Navigating the Shift: A Comparative Analysis of Web Search and Generative AI Response Generation

О таксономии агентной безопасности

Системы генеративного ИИ все чаще используются не только для создания контента, но и для извлечения данных, вызова инструментов и выполнения действий. В данной работе рассматриваются последствия этого сдвига для безопасности на уровне контента, моделей и агентов. Мы анализируем, как меняются требования к доступу злоумышленников, автономность системы и масштабы потенциального вреда по мере того, как модели переходят от генерации артефактов к выполнению операций с помощью цепочек инструментов и внешних API. Затем мы оцениваем технические контрмеры, включая обнаружение, водяные знаки, согласование и новые средства защиты агентов, и показываем, что некоторые из них зависят от форм институциональной координации, которые пока не обеспечиваются существующими механизмами управления. Во всех рассмотренных случаях развертывание возможностей и расширение поверхности атаки неоднократно опережают защитные меры по мере того, как системы переходят от генерации контента к выполнению действий в реальном мире. - From AI-Generated Content to Agentic Action: Security and Safety Threats in Generative AI

Интересная статистика о том, какие формы атак достигают наивысших ASR:

Мультимодальный. Каналы зрения и звука обходят текстоцентричные фильтры безопасности. FigStep преобразует запрещенные инструкции в типографические изображения, достигая в среднем 82,5% ASR на шести LVLM с открытым исходным кодом. HADES сообщает о 90,26% ASR на LLaVA-1.5. AudioJailbreak достигает ≥87% ASR в универсальных условиях сильного противника.
На основе кодирования. Преобразование запросов в нестандартные представления использует более слабое покрытие безопасности за пределами типичного естественного языка. CipherChat сообщает о почти 100% обходе безопасности GPT-4 с помощью кодирования шифра. Перевод на языки с ограниченными ресурсами увеличивает показатели обхода с 1% до 79%. ArtPrompt использует ASCII-графику, и в смежных работах показано, что другие нестандартные представления, такие как Base64, ROT13 и код Морзе, аналогичным образом используют более слабое покрытие безопасности в этих кодирующих пространствах.

См. также другие публикации, посвященные агентам

Что же такое безопасность агентов?

В этом документе утверждается, что для обеспечения безопасности агентов LLM необходимо сначала определить сквозное свойство корректности, которое определяет, когда выполнение агента точно отражает намерение пользователя. Современные агенты LLM работают по конвейеру «намерение-выполнение», где инструкции на естественном языке преобразуются в конкретные системные операции, такие как вызовы инструментов, запросы API и выполнение кода. Хотя в последнее время средства защиты достигли прогресса в ограничении того, как агенты формируют вызовы инструментов, большинство существующих формулировок неявно предполагают, что инструментам можно доверять. Появление систем, таких как OpenClaw, с открытыми экосистемами сторонних специалистов и прямым доступом к пользовательской среде, нарушает это предположение и выявляет новые режимы сбоев, включая вредоносные или чрезмерно привилегированные компоненты в конвейере выполнения.

Несмотря на быстрый прогресс в механизмах защиты, не существует адекватного свойства корректности, определяющего, что означает «безопасность» для агентов LLM, а также принципиального способа оценки охвата существующих средств защиты. Мы отмечаем, что агенты LLM структурно аналогичны компиляторам, где нарушения безопасности соответствуют ошибочным выполнениям, которые не сохраняют намерения пользователя. Опираясь на эту аналогию, мы выявляем два фундаментальных источника проблем — ненадежный прием данных и ненадежное выполнение инструментов — и выводим четыре свойства целостности, которые должны выполняться одновременно: целостность инструментов, целостность инструкций, целостность суждений и целостность потока данных. Мы называем их конъюнкцию целостностью намерения и выполнения. Анализ существующих средств защиты агентов от этих свойств показывает, что текущие системы обеспечивают лишь частичное и некомпозиционное покрытие, оставляя фундаментальные пробелы в обеспечении безопасности современных агентов LLM. - Securing LLM Agents Need Intent-to-Execution Integrity

См. также другие публикации, посвященные агентам

О развернутых диалогах

Мы представляем MultiBreak, масштабируемый и разнообразный бенчмарк для многошагового джейлбрейка, предназначенный для оценки безопасности больших языковых моделей (LLM). Многошаговые джейлбрейки имитируют естественные разговорные ситуации, что делает их более удобными для обхода LLM, соответствующих требованиям безопасности, чем одношаговые джейлбрейки. Существующие многошаговые бенчмарки ограничены по размеру или сильно зависят от шаблонов, что ограничивает их разнообразие. Чтобы устранить этот пробел, мы объединяем широкий спектр вредоносных интентов джейлбрейка и представляем конвейер активного обучения для расширения высококачественных многошаговых противодействий, где генератор итеративно дорабатывается для создания более сильных кандидатов на атаку, руководствуясь уточнением на основе неопределенности. Наш MultiBreak включает 10 389 многошаговых противодействий, охватывает 2665 различных вредоносных интентов и включает самый разнообразный набор тем на сегодняшний день. Эмпирическая оценка показывает, что наш бенчмарк обеспечивает до 54,0% и 34,6% более высокий уровень успешности атаки (ASR), чем второй лучший набор данных на DeepSeek-R1-7B и GPT-4.1-mini, соответственно. Что еще важнее, оценки безопасности показывают, что различные категории атак выявляют тонкие уязвимости LLM, и категории, которые кажутся безобидными при однократном воздействии, могут демонстрировать значительно более высокую эффективность в многократных сценариях. Эти результаты подчеркивают устойчивые уязвимости LLM в реалистичных условиях противодействия и подтверждают, что MultiBreak является масштабируемым ресурсом для повышения безопасности LLM. - MultiBreak: A Scalable and Diverse Multi-turn Jailbreak Benchmark for Evaluating LLM Safety

См. также другие публикации, посвященные LLM

Это не лечится

Внедрение подсказок является наиболее критической уязвимостью в развернутых агентах ИИ. Несмотря на недавний прогресс, мы показываем, что преобладающая парадигма защиты (разделение данных и инструкций) не только не обнаруживает атаки, которые действуют посредством контекстной манипуляции, но и ухудшает контекстно-адекватное поведение. Затем мы переосмысливаем внедрение подсказок с точки зрения контекстной целостности (КИ), теории конфиденциальности, которая оценивает соответствие потока информации контекстным нормам. Это объясняет типы атак, которые существующие средства защиты пытаются предотвратить, и предсказывает сложные атаки, с которыми столкнутся будущие агенты. Мы разрабатываем уникальные безобидные и атакующие сценарии, которые заставляют агента нарушать нормы путем (1) искажения потока, (2) манипулирования нормами или (3) смешивания нескольких потоков. Эта переформулировка предполагает результат невозможности: противник всегда может сконструировать контекст, в котором заблокированный поток кажется легитимным, или защитник, который ужесточает нормы, будет блокировать действительно легитимные потоки. Наши результаты показывают, что текущее исследование затрагивает все меньшую долю будущих поверхностей атаки. Вместо этого, с помощью CI мы предлагаем принципиальную основу для оценки контекстно-зависимых сбоев и разработки согласования с учетом CI для передовых автономных агентов. - AI Agents May Always Fall for Prompt Injections

См. также другие публикации, посвященные агентам

О доверенных агентных системах

Агентные системы искусственного интеллекта — большие языковые модели (LLM), дополненные планированием, использованием инструментов, памятью и взаимодействием на долгосрочную перспективу — могут автономно выполнять сложные задачи, но их многоэтапные траектории приводят к новым режимам сбоев, которые ставят под сомнение надежность. Этот обзор представляет собой целенаправленное исследование надежного агентного ИИ по двум основным параметрам, которые имеют решающее значение для развертывания в условиях высокого риска: безопасность и надежность, а также конфиденциальность и безопасность системы. Для каждого параметра мы уточняем ключевые понятия, определяем, где возникают риски на протяжении рабочего процесса агента, и обобщаем стратегии смягчения рисков на каждом этапе. Другие аспекты надежности (согласование ценностей, прозрачность, справедливость и подотчетность) обсуждаются в качестве контекста, а не в отдельных главах. Для обеспечения согласованного сравнения и принятия решений о развертывании мы объединяем оценку в единый центр метрик и бенчмарков, уделяя особое внимание как результатам, так и сигналам процесса (например, нарушениям ограничений, полноте трассировки и показателям успешности противодействия) и предлагая рекомендации по преобразованию сценариев в метрики для управления процессом выпуска. В заключение мы описываем открытые проблемы, такие как саморазвивающиеся агенты, мониторинг и проверка в режиме реального времени, персонализация с сохранением конфиденциальности и компромисс между доверием и полезностью, а также представляем пример реальных сбоев безопасности в агентных системах с открытым исходным кодом (OpenClaw/Moltbook). Наша цель — служить практическим справочником для исследователей и практиков, создающих надежные агентные системы в условиях высокой ответственности. - Towards trustworthy agentic AI: a comprehensive survey of safety, robustness, privacy, and system security

См. также другие публикации, посвященные агентам

Сложное тестирование агентов

Мы проводим всесторонний анализ безопасности автономных агентов-помощников,выявляя угрозы, присущие их уникальным архитектурным свойствам. Во-первых, мы создаем систематическую таксономию, охватывающую 20 реальных рисков, классифицированных на нарушения границ, устойчивое искажение состояния и вредоносные операции. Для дальнейшего выявления уязвимостей автономных агентов в условиях этих угроз мы предлагаем три передовые стратегии атаки, обеспечивающие обход защиты во временном, пространственном и семантическом измерениях: (i) Кросс-поворотная фрагментация: фрагментация и распределение вредоносных полезных нагрузок по нескольким взаимодействиям в рамках одной сессии; (ii) Обход защиты в пределах области обнаружения: внедрение полезных нагрузок атаки в сложные внешние артефакты, которые трудно проверить с помощью LLM; и (iii) Сокрытие в благоприятном контексте: сокрытие вредоносных намерений в объемной, на первый взгляд безобидной информации в длительном контексте. Мы моделируем эти риски и стратегии в A3S-Bench, эталонной системе, включающей 2254 многоходовых диалога (1512 случаев атак, охватывающих 34 метода атак, и 742 безопасных диалога). Набор данных охватывает шесть сценариев использования и два уровня сложности, сгенерированных с помощью автоматизированного трехэтапного конвейера синтеза. Каждый случай выполняется в изолированной среде и оценивается с использованием метрик оценки на основе действий, которые совместно количественно определяют как безопасность, так и полезность. - Benchmarking Autonomous Agents against Temporal, Spatial, and Semantic Evasions

Для тестирования агентов (как и для тестирования LLM) нужны multi-turn тесты

См. также другие публикации, посвященные агентам