Аудит ИИ-агентов

Что должен проверить разработчик перед развертыванием агента LLM: модель, код инструмента, конфигурацию развертывания или все три? На практике многие сбои безопасности в агентских системах возникают не только из-за весов модели, но и из-за окружающего программного стека: функций инструмента, передающих ненадежные входные данные опасным операциям, раскрытых учетных данных в артефактах развертывания и чрезмерно привилегированных конфигураций протокола контекста модели (MCP). Мы представляем Agent Audit, систему анализа безопасности для приложений агентов LLM. Agent Audit анализирует код агента на Python и артефакты развертывания с помощью конвейера, учитывающего особенности агента, который объединяет анализ потока данных, обнаружение учетных данных, структурированный анализ конфигурации и проверки рисков привилегий. Система сообщает о результатах в форматах терминала, JSON и SARIF, что позволяет напрямую интегрировать систему с локальными рабочими процессами разработки и конвейерами CI/CD. На тестовой выборке из 22 образцов с 42 аннотированными уязвимостями Agent Audit обнаруживает 40 уязвимостей с 6 ложными срабатываниями, существенно улучшая полноту обнаружения по сравнению с распространенными базовыми показателями SAST, сохраняя при этом время сканирования менее секунды. Agent Audit является открытым исходным кодом и устанавливается через pip, что делает аудит безопасности доступным для агентских систем. В ходе живой демонстрации участники сканируют уязвимые репозитории агентов и наблюдают, как Agent Audit выявляет риски безопасности в функциях инструмента, подсказках и многом другом. Результаты связаны с местоположением исходного кода и путями конфигурации и могут быть экспортированы в VS Code и GitHub Code Scanning для интерактивного анализа. - Agent Audit: A Security Analysis System for LLM Agent Applications

См. также другие публикации, посвященные агентам