LLM в кибербезопасности - систематизация знаний

В данной статье представлена систематизация знаний о методологиях оценки и границах возможностей больших языковых моделей (БЛМ) в кибербезопасности. Мы предлагаем трехмерную таксономическую матрицу для систематизации существующих метрик в наступательных областях, защитных приложениях и присущих архитектурных недостатках. Помимо категоризации, эта матрица функционирует как прогностическая структура для выявления «слепых зон» структурной оценки. В частности, путем пересечения целевых областей с атрибуцией отказов она выявляет критическую, нерешенную проблему: измерение межархитектурной семантической эквивалентности в низкоуровневом обратном проектировании. Эмпирически, синтез 39 эталонных показателей выявляет системный пробел в оценке: успех по статическим метрикам редко приводит к сквозной эффективности противодействия. В наступательных областях высокие показатели проникновения сильно коррелируют с загрязнением данных до обучения. При использовании обфускации кода с сохранением семантики в качестве стресс-теста, вероятность успешного выполнения эксплойтов без использования инструментов и без предварительного обучения падает почти до 0%. В защитных контекстах межпроцедурный аудит кода испытывает трудности, достигая пикового значения F1-меры всего 23,83%. Кроме того, модели страдают от функциональной деградации, вызванной чрезмерным выравниванием, при этом фреймворки для совместного тестирования фиксируют потерю функциональности до 77% при автоматическом восстановлении программ. Наш анализ убедительно свидетельствует о том, что чисто авторегрессивные механизмы приводят к серьезным техническим галлюцинациям, о чем свидетельствует показатель создания зависимостей пакетов в 19,7%. Оценки также выявляют значительные поверхности атаки и существенный компромисс между безопасностью и полезностью: модели поддаются атакам с утечкой информации со скоростью до 86,2%, в то время как сильно выровненные версии одновременно демонстрируют чрезмерно высокие показатели ложных отказов (FRR) для безобидных, пограничных запросов безопасности. Наконец, мы намечаем теоретическую нейросимволическую дорожную карту, интегрирующую эвристики LLM с детерминированными формальными методами, чтобы структурно смягчить ограничения авторорегрессивной парадигмы. - Evaluating Large Language Models in Cybersecurity: A Systematic Taxonomy and Empirical Analysis

См. также другие публикации, посвященные LLM