Совместная оценка вопросов и ответов LLM

Большие языковые модели (БЛМ) все чаще используются в интерактивных приложениях, однако они остаются уязвимыми для враждебных взаимодействий, которые приводят к вредоносным, обманным или нарушающим правила вывода. Существующие средства защиты обычно анализируют либо пользовательские запросы, либо сгенерированные результаты, но не то и другое одновременно. Однако многие реальные атаки используют разделение между враждебным намерением, выраженным в запросе, и причиняемым вредом, проявляющимся только в ответе. В результате, средства защиты, основанные только на запросе и только на ответе, часто упускают из виду небезопасные взаимодействия, которые кажутся безобидными при рассмотрении с любой стороны по отдельности. Мы представляем структуру защиты, ориентированную на верификацию, которая совместно оценивает намерение запроса и вред, причиняемый ответом, до того, как БЛМ-ответ будет доставлен пользователю. В этой структуре используются специализированные аналитики для оценки намерения и вреда, а также судья для разрешения конфликтов. Мы формализуем модель угроз для атак типа «запрос-ответ» и оцениваем структуру в рамках пяти категорий угроз: взлом системы, внедрение запроса, фишинг, киберзлоупотребления и вредоносный контент. Эксперименты на нескольких эталонных наборах данных показывают, что совместная проверка намерения запроса и вреда от ответа неизменно превосходит односторонние методы защиты и базовые модели на основе рассуждений одного агента. В рамках категорий угроз структура улучшает средний показатель F1 с 0,9 для наиболее сильных применимых базовых моделей до 0,95, одновременно снижая средний процент успешных атак до 4,1%. По сравнению с базовой моделью SingleAgent+CoT, она улучшает средний показатель F1 с 0,87 до 0,95 и снижает частоту ложных срабатываний на безобидных запросах с высокой чувствительностью с 0,12 до 0,06. Мы также оцениваем архитектурно-ориентированные адаптивные атаки, в которых злоумышленник знает структуру верификатора и пытается обойти отдельные компоненты проверки. Наши результаты показывают, что проверка оперативного реагирования обеспечивает практическую основу для защиты приложений LLM от развивающихся угроз со стороны враждебных структур. - Verifying Intent and Harm: A Unified Defense Against LLM-Generated Threats

См. также другие публикации, посвященные LLM