Качаем агента на косвенных

Агенты LLM извлекают недоверенный контент и действуют с помощью инструментов, создавая косвенные риски внедрения подсказок, которые могут привести к несанкционированным действиям или устойчивым изменениям состояния. Существующие автоматизированные системы «красной команды» в значительной степени оптимизируют полезные нагрузки для заранее заданных сценариев, оставляя скрытые уязвимости в пространстве поведения агента неисследованными. Мы представляем ASPIRE, агентный механизм «красной команды» по обеспечению безопасности и внедрению подсказок, для обнаружения уязвимостей на уровне поведения в открытом режиме. ASPIRE поддерживает развивающийся граф поведения агентов безопасности и использует дополнительных экспертов Explore и Exploit для обнаружения, проверки и обобщения тестов, ориентированных на последствия. Данные траектории обновляют граф и диагностируют частичные или неудачные попытки, в то время как передача полезной стратегии «красной команды» между запусками памяти показывает, что ASPIRE существенно расширяет охват последствий, методов внедрения, сред и путей поведения, сохраняя при этом высокую успешность атак. - ASPIRE: Agentic Safety & Prompt Injection Red-teaming Engine

См. также другие публикации, посвященные агентам