В постоянно меняющемся ландшафте угроз и уязвимостей ИИ оставаться впереди означает быть в курсе событий. Национальный институт стандартов и технологий (NIST) недавно опубликовал важное обновление своего основополагающего документа «Состязательное машинное обучение: таксономия и терминология атак и смягчения последствий» (AI 100-2 E2023) переходя от издания 2023 года к значительно улучшенному выпуску 2025 года (AI 100-2 E2023). В этой статье суммируются критические различия, предоставляя стратегические идеи для руководителей служб информационной безопасности и подробные технические перспективы для исследователей безопасности и специалистов AI Red Team.
NIST AI 100-2 E2025 VS E2023 — изменения высокого уровня для руководителей служб информационной безопасности
Поскольку системы ИИ становятся основной частью корпоративных технологических стеков, руководители служб информационной безопасности должны сохранять бдительность в отношении возникающих рисков. Недавнее обновление NIST предлагает существенные улучшения, отражающие быстрые достижения и возросшие угрозы, с которыми сталкиваются организации:
1. Всестороннее освещение атак
Отчет NIST 2025 года значительно расширяет свою таксономию состязательных атак МО, предоставляя расширенные определения и четкую категоризацию. В нем подробно описаны угрозы расширенного генеративного ИИ (GenAI), включая атаки ненадлежащего использования и быстрых инъекций, четко разграничивая различные типы атак, влияющих на целостность, доступность и конфиденциальность, что позволяет более четко оценивать риски и планировать смягчение последствий.
2. Акцент на практических и эксплуатационных воздействиях
Если в отчете 2023 года в основном обсуждались теоретические модели, то в последнем издании более подробно рассматриваются практические сценарии, наглядно иллюстрирующие реальные примеры враждебных атак. В нем добавлены специальные разделы, освещающие реальные развертывания, типичные сбои и успешные стратегии управления рисками безопасности ИИ, что является важным улучшением по мере того, как организации внедряют передовые инструменты ИИ.
3. Включение новых векторов угроз и корпоративной интеграции
Отражая текущие модели внедрения, документ 2025 года, в частности, включает в себя четкое руководство по обеспечению безопасности цепочек поставок ИИ, устранению рисков, создаваемых автономными агентами ИИ, и обеспечению безопасности интеграций GenAI корпоративного уровня с помощью подробных эталонных архитектур. Такой подход гарантирует, что руководители служб безопасности будут хорошо оснащены для управления этими меняющимися угрозами.
Подробные различия NIST AI 100-2 E2025 и E2023 для исследователей и практиков безопасности ИИ
Помимо стратегических идей, эксперты по безопасности и специалисты Red Team оценят детальную техническую эволюцию в состязательной таксономии ML NIST:
Расширенные категории атак и детализация
Таксономия в издании 2023 года в основном охватывала три основных типа атак (уклонение, отравление, атаки на конфиденциальность). Напротив, таксономия 2025 года значительно расширяется, чтобы включить четко определенные подкатегории, такие как:
Отравление с чистой этикеткой: атаки, которые тонко повреждают данные без изменения меток, поэтому их сложнее обнаружить.
Косвенное внедрение подсказок: сложные атаки, которые используют внешние или косвенные каналы для манипулирования поведением GenAI.
Неправильно согласованные выходы (в GenAI): атаки, побуждающие модели ИИ выдавать вводящие в заблуждение или вредоносные выходы, несмотря на то, что они кажутся работоспособными.
Атаки с задержкой энергии: новые опасения по поводу атак на истощение ресурсов, напрямую влияющих на стабильность на уровне инфраструктуры.
Расширенный реальный контекст
Отчет 2025 года намеренно включает подробные реальные примеры и практические примеры. Практические практические примеры включают атаки отравления против развернутых финансовых моделей машинного обучения, нарушения конфиденциальности со стороны корпоративных чат-ботов GenAI и сбои в работе из-за непрямых инъекций подсказок. Эти сценарии значительно улучшают практическое понимание и позволяют реализовать действенные сценарии тестирования Red Team.
Более сильный акцент на безопасности генеративного ИИ
Признавая быстрое принятие GenAI, издание NIST 2025 года всесторонне интегрирует GenAI в свою таксономию, подробно описывая атаки, характерные для больших языковых моделей (LLM), систем расширенной генерации поиска (RAG) и развертываний ИИ на основе агентов. Исследователи безопасности теперь могут получить доступ к подробным сведениям о защите GenAI от все более сложных противников.
Введение в неправильное использование ИИ и безопасность агентов
Новым важным включением является явная категоризация нарушений неправильного использования, направленная на выявление рисков безопасности, возникающих из-за злоумышленников, использующих возможности модели для обхода мер безопасности. Кроме того, особое внимание уделяется уязвимостям в агентах ИИ, автоматизированных системах, управляемых ИИ, способных к автономному взаимодействию — новый вектор атак, не рассмотренный в издании 2023 года.
Более широкое сотрудничество и экспертные мнения
Документ 2025 года опирается на международное сотрудничество между NIST, Институтом безопасности ИИ США и Институтом безопасности ИИ Великобритании, что значительно расширяет спектр опыта и идей. Эта международная экспертиза обеспечивает авторитетную точку зрения на мировые тенденции и передовой опыт в области безопасности ИИ.
NIST AI 100-2 E2025 VS E2023: Резюме
Обновленное издание руководства NIST по состязательному машинному обучению 2025 года является крупным шагом вперед, в котором особое внимание уделяется реальным сценариям, рискам развертывания на предприятии и проблемам безопасности GenAI. Благодаря значительно уточненным классификациям и новым рассмотренным практическим угрозам, таким как непрямое внедрение подсказок и уязвимости агентов ИИ, документ теперь тесно связан с текущими операционными потребностями. Эта эволюция предоставляет организациям критически важные знания для опережения противников в сегодняшнем быстро меняющемся ландшафте ИИ.
По мере развития угроз ваши стратегии красной команды ИИ должны развиваться вместе с ними. Использование этой новой таксономии позволит лучше вооружить вашу команду, значительно повысив устойчивость вашей организации к все более изощренным противникам.
/via adversa.ai
Новая версия документа NIST Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigations
No comments:
Post a Comment