О безопасности ИИ агентов

Большие языковые модели (LLM) быстро превращаются в автономных агентов, которые сотрудничают через организационные границы, обеспечивая совместное реагирование на стихийные бедствия, оптимизацию цепочки поставок и другие задачи, требующие децентрализованной экспертизы без передачи права собственности на данные. Тем не менее, междоменное сотрудничество разрушает унифицированные допущения доверия, лежащие в основе текущих методов согласования и сдерживания. Агент, безопасный в изоляции, может, получая сообщения от ненадежного партнера, выдавать секреты или нарушать политику, создавая риски, обусловленные возникающей многоагентной динамикой, а не классическими ошибками программного обеспечения. В этом позиционном документе описывается повестка дня безопасности для междоменных многоагентных систем LLM. Мы представляем семь категорий новых проблем безопасности, для каждой из которых мы также представляем возможные атаки, метрики оценки безопасности и будущие рекомендации по исследованиям. - Seven Security Challenges That Must be Solved in Cross-domain Multi-agent LLM Systems

P.S. см. также другие публикации по тегу агент