Безопасные коммуникации ИИ-агентов

Большие языковые модели (LLM) быстро эволюционируют в автономных агентов, способных взаимодействовать с внешним миром, значительно расширяя свои возможности за счет стандартизированных протоколов взаимодействия. Однако эта парадигма возрождает классические проблемы кибербезопасности, связанные с агентностью и авторизацией, в новом и нестабильном контексте. По мере того, как принятие решений смещается от детерминированной кодовой логики к вероятностному выводу, основанному на естественном языке, традиционные механизмы безопасности, разработанные для детерминированного поведения, перестают работать. Установление доверия к непредсказуемым агентам ИИ и обеспечение принципа наименьших привилегий в случае неоднозначных инструкций представляет собой принципиально сложную задачу. Несмотря на эскалацию угроз, понимание академическим сообществом этой новой области остается фрагментированным, без систематической структуры для анализа ее первопричин. В данной статье предлагается единый формальный подход к безопасности взаимодействия агентов. Мы обнаружили, что большинство угроз безопасности в этой области проистекают из фундаментального несоответствия между оценкой доверия и политиками авторизации. Мы представляем новую модель анализа рисков, ориентированную на разрыв между доверием и авторизацией. Используя эту модель в качестве объединяющего инструмента, мы рассматриваем и классифицируем пути реализации существующих, часто кажущихся изолированными, атак и средств защиты. Эта новая структура не только объединяет область исследований, но и позволяет выявить критические пробелы в исследованиях. Наконец, мы используем наш анализ, чтобы предложить систематическое направление исследований в направлении создания надежных, заслуживающих доверия агентов и динамических механизмов авторизации. - SoK: Trust-Authorization Mismatch in LLM Agent Interactions

См. также другие публикации, посвященные агентам