Безопасный агентный веб

Большие языковые модели (LLM) все чаще используются в качестве агентных систем, которые планируют, запоминают и действуют в открытых средах. Этот сдвиг порождает новые проблемы безопасности: сбои — это уже не только небезопасная генерация текста, но и реальный вред, причиняемый использованием инструментов, постоянной памятью и взаимодействием с ненадежным веб-контентом. В этом обзоре мы предлагаем ориентированный на переход взгляд от безопасного агентного ИИ к безопасной агентной сети. Сначала мы суммируем таксономию угроз, выровненную по компонентам, охватывающую злоупотребление подсказками, внедрение среды, атаки на память, злоупотребление цепочками инструментов, подделку моделей и сетевые атаки агентов. Затем мы рассматриваем стратегии защиты, включая усиление защиты подсказок, декодирование с учетом безопасности, контроль привилегий для инструментов и API, мониторинг во время выполнения, непрерывную работу «красной команды» и механизмы безопасности на уровне протокола. Далее мы обсуждаем, как эти угрозы и меры по их смягчению усиливаются в агентной сети, где цепочки делегирования, междоменные взаимодействия и опосредованные протоколом экосистемы усиливают риски посредством распространения и композиции. В заключение мы выделяем нерешенные проблемы развертывания в масштабах сети, такие как интероперабельная идентификация и авторизация, происхождение и отслеживаемость, реагирование на уровне экосистемы и масштабируемая оценка в условиях адаптивных противников. Наша цель — связать последние эмпирические данные с требованиями системного уровня и наметить практические направления исследований в направлении создания надежных экосистем агентов. - From Secure Agentic AI to Secure Agentic Web: Challenges, Threats, and Future Directions

См. также другие публикации, посвященные агентам