Больше агентов - больше проблем

Проблема: Мультиагентные LLM-пайплайны (где несколько специализированных агентов обмениваются данными для решения задач) уязвимы к атакам принципиально иного типа, чем одиночные модели. Если один агент принимает вредоносный контент, он передаётся дальше как «доверенный», распространяя атаку по всей цепочке.

Гипотеза: Эта уязвимость возникает из-за отсутствия проверки на границах (boundary verification) — явной валидации данных, идентичности, намерений и целостности состояния при переходе между агентами. Авторы утверждают, что уязвимость является архитектурным свойством, а не недостатком конкретной модели.

Три класса непроверяемых границ (источники уязвимостей)
Статья выделяет три типа границ, на которых отсутствует проверка:
Контентная граница (Content Boundary): Нет разделения между внешними данными (из поиска/API) и инструкциями. Агент обрабатывает вредоносный контент извне как команду.
Граница делегирования (Delegation Boundary): План, составленный агентом-планировщиком, является рекомендацией, а не обязательным к исполнению. Нет механизма, проверяющего, что агенты действительно следуют плану.
Идентификационная граница (Identity Boundary): Агенты идентифицируются по позиции в пайплайне, а не по криптографическим учётным данным. Это позволяет подменить агента во время повторных вызовов (retries) без проверки личности.

Эмпирически обоснованная таксономия атак
Вместо синтетических сценариев, авторы проанализировали 147 реальных трасс выполнения из бенчмарков GAIA и SWE-Bench (с 836 ошибками). Все трассы имели «идеальный» балл безопасности по стандартным метрикам, но анализ выявил 4 класса скрытых уязвимостей:

A1: Инъекция промптов через извлечённый контент (Prompt Injection via Retrieved Content). Атакующий контролирует веб-страницу или API, которую агент получает. Вредоносная директива переопределяет исходную задачу. Обнаружено в 69,4% трасс.

A2: Отравление консенсуса (Consensus Poisoning). Атакующий контролирует одного из подчинённых агентов. Оркестратор принимает его ответ как истину без проверки кворумом, игнорируя правильные ответы других агентов. Обнаружено в 53,1% трасс (97,3% — с высоким воздействием).

A3: Захват плана / принудительное досрочное завершение (Plan Hijacking / Forced Early Termination). Агент-планировщик получает сигнал о том, что задача уже выполнена, и пропускает все дальнейшие шаги, выдавая ложный ответ. Обнаружено в 38,1% трасс.

A4: Тихая подмена агента / атака «Сивилла» (Silent Agent Substitution / Sybil Attack). Используется уязвимость идентификационной границы. Во время повторного вызова (retry) подставной процесс отвечает с той же позиции, что и легитимный агент, и его вредоносный ответ принимается как подлинный. Обнаружено в 52,4% трасс (чаще в SWE-Bench).

Экспериментальная оценка и результаты
Авторы создали контролируемый пятиуровневый пайплайн из 10 агентов и провели 1080 атак, заменив базовую модель на GPT-5-mini, Claude Sonnet 4.5 и Kimi K2.5 (архитектура оставалась неизменной).

Ключевые результаты:

Успешность атак (RQ1): Наиболее уязвимой оказалась контентная граница (A1) — успех атак 0.61–0.72. Атаки на другие границы также показали высокую успешность (>0.6).

Деградация точности задачи (RQ2): Все атаки значительно снижали точность выполнения задач (с базовых ~80% до падения вплоть до ~40-50% при A1).

Низкая способность к самовосстановлению (RQ3): Пайплайн не может надёжно исправиться после успешной атаки. Максимальный уровень восстановления составил всего 0.22 (для Claude под A4), а для A1 и A3 — ниже 0.10.

Архитектура против модели (RQ4): Главный вывод. Разброс успешности атак между моделями был минимален (максимум 0.07), тогда как разброс между типами атак составил ~0.25. Это доказывает, что уязвимость определяется структурой пайплайна, а не возможностями модели.

Основной вывод и следствия
Улучшение безопасности на уровне отдельных LLM (safety-настройка) не решает проблему, так как вредоносный контент, отклонённый от пользователя, принимается, если приходит от «доверенного» агента-соседа или как результат работы инструмента.
Для защиты необходимо внедрение архитектурных примитивов:
Криптографическая аттестация для проверки идентичности (граница Identity).
Кворумная фиксация плана для проверки исполнения (граница Delegation).
Аудиторская проверка вне основного контекста для разделения данных и инструкций (граница Content).

Отсюда - Adversarial Attacks in Multi-Agent LLM Pipelines: Unveiling Structural Vulnerabilities in Agentic AI Architectures

См. также другие публикации, посвященные агентам