Защита LLM приложений

"Предварительно обученные генеративные модели, особенно большие языковые модели, предоставляют пользователям новые способы взаимодействия с компьютерами. Хотя исследования и приложения генеративной обработки естественного языка ранее были направлены на решения, ориентированные на узкую предметную область или задачи, современные LLM и приложения (например, диалоговые системы, агенты) универсальны и подходят для множества задач и областей. Несмотря на то, что LLM обучены быть полезными и соответствовать предпочтениям человека (например, безвредности), обеспечение надёжных защитных барьеров для LLM остаётся сложной задачей. И даже будучи защищёнными от элементарных атак, как и другое сложное программное обеспечение, LLM могут быть уязвимы для атак с использованием сложных вредоносных входных данных.

В этом руководстве представлен всесторонний обзор ключевых защитных механизмов, разработанных для LLM, а также методологий оценки и подробный протокол оценки безопасности, включая автоматическое объединение приложений на основе LLM. Наша цель — выйти за рамки обсуждения атак с использованием одиночных подсказок и фреймворков оценки и рассмотреть, как можно реализовать защиту в сложных диалоговых системах, использующих LLM.

Мы стремимся предоставить актуальный и полный обзор рисков развертывания, связанных с LLM в производственных средах. Основное внимание будет уделено эффективной защите от угроз безопасности, но мы также рассмотрим более актуальную тему обеспечения диалога и актуальных рельсов, включая соблюдение пользовательских политик. Мы также рассмотрим новые векторы атак, создаваемые диалоговыми системами с поддержкой LLM, например, методы обхода управления диалогом." - Защитные барьеры и безопасность для LLM: Безопасное, надежное и контролируемое управление LLM приложениями. Учебный материал с конференции ACL 2025

См. также другие публикации, посвященные LLM