Что же они знают за кибербезопасность?

Статья посвящена тестированию больших языковых моделей (LLM). В качестве предмета тестирования выбраны знания в области кибербезопасности. В работе приводится обзор тестовых датасетов (бенчмарков), которые могут использованы для проверки знаний LLM в области кибербезопасности. Технически – это десятки тысяч вопросов, охватывающих самые разнообразные области: мониторинг компьютерных сетей и планирование их топологии, проведение анализа сетей, создания отчетов и быстрого поиска и устранения сетевых неисправностей для обеспечения стабильности сети, управление сетевыми устройствами, тестирование сетевого оборудования (такого как коммутаторы, маршрутизаторы, межсетевые экраны и т. д.), устранение неполадок в сети, оптимизация производительности сети, безопасность сетей, резервное копирование и восстановление, управление идентификацией и доступом, безопасность IoT, криптография, безопасность беспроводных сетей, безопасность облачных технологий, тестирование на проникновение и аудит, уязвимости в программном коде. Рассматривается также вопрос о построении подобных тестов. - Что LLM знает о кибербезопасности