Отравление инструментов ИИ-агентов

«Отравление инструментов» (tool poisoning) стало серьезной угрозой безопасности для агентов на базе больших языковых моделей (LLM). В рамках таких атак злоумышленники внедряют вредоносные инструкции в описания инструментов или во внешние ресурсы, которые попадают в контекст агента, что позволяет манипулировать процессом выбора инструментов. Однако существующие методы «отравления» зачастую опираются на идеализированное допущение, что атака должна сработать в рамках одного цикла взаимодействия. Мы показываем, что в реалистичных сценариях, предполагающих многократные итерации, эффективность таких атак резко снижается. Это происходит из-за того, что по мере развития контекста планирования агенты не всегда сохраняют в своих рассуждениях сигналы, необходимые для реализации атаки, что ослабляет ее воздействие на последующих этапах. Чтобы выяснить, остается ли «отравление инструментов» реальной угрозой в подобных условиях, мы предлагаем SEAL — двухэтапный метод для осуществления устойчивого «отравления». На первом этапе, в рамках процедуры оптимизации триггеров с учетом префикса (Prefix-Eliciting Trigger Optimization, PETO), подбираются специфичные для контекста триггеры, которые провоцируют появление в рассуждениях агента нужных для атаки префиксов, что повышает эффективность в рамках конкретных контекстов. Затем применяется метод агрегации локальных триггеров в универсальный (Local-to-Universal Trigger Aggregation, L2U), который объединяет частные триггеры в единый универсальный триггер, обеспечивая эффективную работу в различных контекстах и на разных этапах выполнения задачи. Обширные эксперименты, проведенные в семи типичных многоэтапных сценариях с использованием различных моделей, подтверждают высокую эффективность SEAL, возможность переноса атаки между разными целевыми моделями, а также ее устойчивость к потенциальным средствам защиты. SEAL: Towards Persistent Tool Poisoning Attack against LLM Agents via Prefix-Eliciting Trigger

См. также другие публикации, посвященные агентам