Глубокое обучение в детекции атак на LLM

Быстрое внедрение больших языковых моделей (LLM) в корпоративные и государственные системы вызвало серьезные проблемы безопасности, в частности, атаки с внедрением подсказок, использующие неспособность LLM различать управляющие инструкции от ненадежных пользовательских входных данных. В этом исследовании систематически сравниваются архитектуры нейронных сетей для обнаружения вредоносных подсказок, с акцентом на устойчивость к состязательным возмущениям на уровне символов — аспект, который остается сравнительно малоизученным в конкретном контексте обнаружения внедрения подсказок, несмотря на его признанную значимость в общей состязательной обработке естественного языка. Используя набор данных для обнаружения вредоносных подсказок (MPDD), содержащий 39 234 размеченных экземпляра, были оценены восемь архитектур — Dense DNN, CNN, BiLSTM, BiGRU, Transformer, ResNet и варианты CNN и BiLSTM на уровне символов — на основе стандартных метрик производительности (точность, F1-мера и AUC-ROC), коэффициентов устойчивости к состязательным возмущениям, связанным с интервалами и омоглифами, а также задержки вывода. Результаты показывают, что BiLSTM на уровне слов (3_Word_BiLSTM) показала наилучшие результаты на чистых образцах (точность = 0,9681, F1 = 0,9681), в то время как Transformer продемонстрировал более низкую точность (0,9190) и значительную уязвимость к атакам с использованием пробелов (устойчивость к атакам ρ𝑠𝑝𝑎𝑐𝑖𝑛𝑔=0,61). Напротив, BiLSTM на уровне символов продемонстрировала превосходную устойчивость (ρ𝑠𝑝𝑎𝑐𝑖𝑛𝑔=1,0, ρℎ𝑜𝑚𝑜𝑔𝑙𝑦𝑝ℎ=0,98 ), сохраняя высокую точность (0,9599) и обобщающую способность на внешних наборах данных с падением производительности всего на 2–4%. Эти результаты подчеркивают, что представления на уровне символов обеспечивают внутреннюю устойчивость к атакам обфускации, что позволяет рассматривать Char_BiLSTM как надежный компонент в стратегиях многоуровневой защиты для систем, интегрированных с LLM. - Comparative Benchmarking of Deep Learning Architectures for Detecting Adversarial Attacks on Large Language Models

См. также другие публикации, посвященные LLM