См. другие публикации, посвященные MCP
технические проблемы и идеи, родившиеся в бурных водах реки Abava (а равно как и на ее берегах, далеких и близких), выставленные на всеобщее обсуждение
Saturday, October 03, 2026
О безопасности MCP
Серверы Model Context Protocol (MCP) стали неотъемлемым элементом связи больших языковых моделей (LLM) с внешними инструментами, источниками данных и средами выполнения. Однако наличие у них привилегированного доступа и роль связующего звена создают серьезные угрозы безопасности. Несмотря на существование множества методов обнаружения уязвимостей с использованием LLM, остается неясным, способны ли они различать на уровне семантики пары «уязвимый сервер MCP — исправленный сервер MCP», а не просто выявлять рискованные вызовы API. В данной работе мы представляем специализированный бенчмарк для оценки обнаружения уязвимостей в таких парах серверов MCP; он включает 75 пар инструментов (уязвимых и исправленных), сгенерированных моделью Gemini-1.5-Pro и прошедших ручную перекрестную проверку. Для оценки методов обнаружения мы используем метрику точности на парных образцах (Matched Pair Accuracy, MPA). Модель Claude Haiku-4.5 демонстрирует лучший показатель MPA — 0,853, тогда как GPT-5-mini показывает F1-меру 0,842, но MPA лишь 0,653; это свидетельствует о том, что традиционные метрики могут завышать эффективность обнаружения в парных сценариях. Наш бенчмарк открывает новые возможности для систематической и воспроизводимой оценки безопасности, ориентированной именно на протокол MCP. - Benchmarking MCP Vulnerability Detection from a Paired Evaluation Perspective
Subscribe to:
Post Comments (Atom)
No comments:
Post a Comment