Пентестинг для ИИ-агентов

В традиционном тестировании на проникновение (пентестинге) на каждом этапе применяется разведка для выявления скрытых уязвимостей, подготовки более эффективных атак и продвижения к цели; мы утверждаем, что к ИИ-агентам следует применять аналогичный подход. Мы формализуем процесс разведки агентов, моделируя его и определяя информационные активы, которые пытается извлечь злоумышленник: что они собой представляют, как используются и какие уязвимости агента эксплуатируют, предоставляя атакующему преимущество при проведении атак типа «непрямая инъекция промпта» (indirect prompt injection). Эти идеи реализованы в KYA (Know Your Agent) — фреймворке, автоматизирующем тестирование на проникновение методом «черного ящика» с опорой на разведку; система зондирует агентов, формирует профили целей и использует их для создания более мощных атак. Мы оцениваем эффективность KYA с помощью специализированных наборов тестов (бенчмарков) и на примере реального агента для написания кода, а также публикуем сам фреймворк, бенчмарки и базовые реализации для обеспечения воспроизводимости результатов. - Know Your Agent: Reconnaissance-Driven Pentesting of AI Agents

См. также другие публикации, посвященные агентам