Малые модели в кибербезопасности

Большие языковые модели (LLM) преобразуют повседневные приложения, однако их внедрение в кибербезопасность отстает из-за отсутствия высококачественных, специализированных моделей и обучающих наборов данных. Для решения этой проблемы мы представляем CyberPal 2.0, семейство малых языковых моделей (SLM) для экспертов в области кибербезопасности, содержащих от 4 до 20 миллиардов параметров. Для обучения CyberPal 2.0 мы генерируем обогащенный набор данных инструкций по кибербезопасности, основанный на цепочке рассуждений, созданный с помощью нашего конвейера обогащения и форматирования данных, SecKnowledge 2.0, который интегрирует управление форматами рассуждений с участием эксперта наряду с многошаговым обоснованием на основе LLM, обеспечивая более точные, основанные на задачах трассировки рассуждений для задач безопасности. В различных тестах кибербезопасности CyberPal 2.0 неизменно превосходит свои базовые показатели и соответствует или превосходит различные передовые модели с открытым и закрытым исходным кодом, оставаясь при этом значительно меньше по размеру. В основных задачах анализа киберугроз наши модели превосходят почти все протестированные передовые модели, занимая второе место после Sec-Gemini v1. В основных задачах расследования угроз, таких как сопоставление уязвимостей и сообщений об ошибках с недостатками, наша лучшая модель с 20 миллиардами параметров превосходит GPT-4o, o1, o3-mini и Sec-Gemini v1, занимая первое место, в то время как наша самая маленькая модель с 4 миллиардами параметров занимает второе место. - Toward Cybersecurity-Expert Small Language Models

См. также другие публикации, посвященные LLM