Борьба с шифровальщиками

Рекомендации NIST по борьбе с шифровальщиками

Как оценивать системы ИИ

Разработка и полезность надёжных продуктов и услуг искусственного интеллекта (ИИ) во многом зависят от надёжных измерений и оценок базовых технологий и их использования. Это растущая область глобального значения — и NIST проводит исследования и разработку метрик, измерений и методов оценки в новых и существующих областях ИИ.

Первоначальный публичный проект NIST AI 200-2 TEVV-Athlon для оценки систем искусственного интеллекта, опубликован для общественного обсуждения. Методология тестирования, оценки, проверки и валидации (TEVV) является ключевым компонентом строгих оценок ИИ, которые измеряют, тестируют и формируют доверие к системам и программным моделям ИИ. Этот первоначальный публичный проект представляет рамочную систему TEVV-Athlon — структурированный подход для оценки реального влияния и результатов систем ИИ. Цель состоит в том, чтобы этот новый фреймворк был расширяемым, адаптивным и настраиваемым для поддержки широкого спектра приложений ИИ (включая статистические модели машинного обучения, модели больших языков, мультимодальные модели, агентные системы и многие другие типы технологий ИИ).

О тестировании ИИ

Программа тестирования от NIST - AITE. будет опираться на вовлечённость участников по двум разным направлениям:

1) Поставщики данных предоставляют оригинальный набор данных в своей области, недоступный для других, и представляет собой значимую задачу, которую нужно выполнить на этом наборе. Поставщики данных получат точные измерения топовых моделей на своих данных, выполняющих их задачи.

2) Поставщики моделей подают ИИ-модели для тестирования на наборах данных и задачах. Поставщики моделей узнают, как их модели работают на всё большем числе наборов данных и задач, а также как их модели работают по сравнению с другими на тех же данных, используя те же метрики, улучшая сравнимость и гарантируя, что данные оценки не будут использоваться для обучения какой-либо модели.

LLM в криптоанализе

Криптоанализ — задача поиска атак на криптографические схемы — находится на стыке математических рассуждений и кибербезопасности, двух областей, где LLM достигли наибольшего прогресса. Криптоанализ представляет собой как чистую площадку для тестирования передовых методов рассуждений (поскольку практические атаки могут быть автоматически проверены), так и область, с необычайно высокими ставками, поскольку изучаемые примитивы лежат в основе нашей цифровой безопасности. В этой статье мы задаемся вопросом, могут ли LLM заниматься криптоанализом, и обнаруживаем, что ответ все чаще становится положительным. Мы представляем CryptanalysisBench, 191 задачу по шести семействам криптографических примитивов (блочные шифры, хеш-функции и т. д.), взятых в основном из четырех конкурсов стандартизации NIST. Наш бенчмарк состоит из трех уровней: (i) примитивы с известными практическими взломами; (ii) примитивы без известных практических взломов, оцениваемые как в полной силе, так и в виде уменьшенных вариантов; и (iii) набор задач для производственных примитивов на переднем крае криптоанализа. Пять передовых моделей (Claude Opus 4.8, Sonnet 5, Mythos 5, GPT-5.5 и модель с открытыми весами GLM-5.2) взламывают 65–86% схем первого уровня, 6–12 схем второго уровня при полной криптоустойчивости и 24–61 схему во всех уменьшенных вариантах. Помимо получения известных результатов, модели производят новые криптоаналитические данные, такие как атака восстановления ключа, использующая недостаток конструкции в SpoC AEAD и ошибку в опубликованном доказательстве безопасности CCA от KINDI, которые, насколько нам известно, ранее не были известны. Мы выпускаем CryptanalysisBench как инструмент для отслеживания того, станет ли (или когда) криптоанализ с использованием ИИ серьезным фактором, а также как основу для стресс-тестирования потенциальных схем перед развертыванием. Выявленные в ходе тестирования атаки представляют собой лишь предварительный снимок быстро развивающейся области, которая вскоре может сравняться, а местами и превзойти, опубликованные данные о современном уровне развития технологий. - CryptanalysisBench: Can LLMs do Cryptanalysis?

См. также другие публикации, посвященные LLM

Кибербезопасность цепочек поставок

NIST SP 1326 - Руководство по быстрому запуску оценки комплексной проверки в цепочке поставок в сфере кибербезопасности. Управление рисками в цепочке поставок: комплексная проверка

Защиты не вечны, атаки - не окончательны

Можем ли мы сделать искусственный интеллект неуязвимым для противников, которые хотят исказить технологию в вредных целях? Хотя ИИ — одна из новейших технологий, ответ на этот вопрос почти столетний по возрасту.

Как бы мы ни старались, мы никогда не сможем сделать искусственный интеллект полностью неоспоримым с помощью традиционных моделей безопасности. В рецензируемом журнале IEEE Security and Privacy Апостол Василев, старший научный сотрудник Национального института стандартов и технологий (NIST), опубликовал математическое доказательство этого утверждения, используя работу, опубликованную в 1931 году известным логиком Куртом Гёделем. Его теоремы о неполноте показали, что существуют пределы того, что можно доказать в системе, построенной на конечном числе правил.

Ограничения, управляющие поведением ИИ, — это именно такая система, и одним из последствий доказательства является то, что всегда найдётся способ заставить систему ИИ игнорировать свои правила — всё остаётся только в том, чтобы её найти.

«Один из столпов ответственного ИИ — это то, чтобы технология была безопасной», — сказал Василев, автор доказательства и эксперт по состязанию в машинном обучении. «Ты хочешь, чтобы он выдержал атаки противника и выполнял только то, что хочешь тебе, а не то, что мог бы захотеть нападающий. Это доказательство показывает, что не существует конечного набора ограничителей, которые были бы универсально устойчивы к враждебным стимулам.»

Компании, разрабатывающие ИИ, часто признают, что инструменты, которые они создают, могут причинить вред физическому миру, поэтому вводят ограничения, направленные на предотвращение создания запрещённого контента, такого как дипфейки, вредоносное ПО или инструкции по созданию биологического оружия или запрещённых наркотиков. Если систему попросят генерировать такой контент, ограничители должны отметить проблему и отказаться выполнять требования.

Однако эти ограничения не являются безошибочными Злоумышленники могут обходить их, создавая подсказки так, чтобы ИИ случайно обходил собственные механизмы отказа. Успешный «джейлбрейк» ИИ лишает его ограничений, что приводит к реальным рискам, таким как кибератаки, утечки данных и высоко персонализированные фишинговые сообщения.

Первоначальное доказательство Гёделя разрушило надежды нескольких выдающихся математиков, которые в начале XX века пытались создать математическую «теорию всего» из небольшого набора базовых утверждений или аксиом. С хорошо подобранным набором начальных аксиом, рассуждали они, можно было бы доказать все идеи в любой области математики.

«Гёдель положил конец этой мечте», — сказал Василев. «Он показал, что нельзя иметь конечный набор утверждений и создать теорию, которая будет полной и последовательной без противоречий. Вы можете добавить больше утверждений, чтобы устранить противоречия, с которыми сталкиваетесь, но вы возвращаетесь к тому, с чего начали. Это повторяется.»

В случае ИИ «конечный набор утверждений» — это группа ограничителей, которые создаёт дизайнер ИИ, чтобы не дать ИИ сделать что-то нежелательное. Независимо от того, насколько хорошо они продуманы, доказательства Василева показывают, что всегда найдётся способы подтолкнуть ИИ, чтобы он нарушил эти правила. Всё дело в том, чтобы найти правильный запрос.

«Логика Гёделя здесь применена», — говорит Василев. «Ты никогда не сможешь утверждать, что ты устойчив ко всем внезапным атакам противника. Всегда будет какая-то подсказка, которая потенциально сможет обойти и разрушить любую оборонительную инфраструктуру, которую ты построил вокруг своей системы ИИ.»

К счастью для защитников, эта новая математическая теория оставляет пространство для усиления развернутых систем ИИ до такой степени, что их сложно эксплуатировать. Доказательство Василева не даёт рецепта для злоумышленников о том, как находить новые эксплойты.

«Вы заставляете злоумышленника искать то, что специалисты по безопасности называют "нулевыми эксплойтами" — это проблемы в системе, о которых знает только вы», — говорит Васильев. «Хакеры часто пользуются этими уязвимостями, когда находят их. И если они обнаруживают такую уязвимость в системе одной компании, обычно проходит немного времени, прежде чем кто-то воспользуется ею в другой системе с той же уязвимостью.»

Такие эксплойты нулевого дня для традиционного детерминированного программного обеспечения было нелегко найти и реализовать, отметил Василев. Часто им требовались ресурсы противников уровня национального государства. Проблема эпохи ИИ, по словам Василева, в том, что мы используем человеческий язык как вход в систему. Сложность и богатство языка делают проверку соответствия, построенную на конечном наборе правил, бесконечно неоднозначной. Количество способов, которыми противники могут скрывать вредные намерения на виду, практически безгранично.

Что же нам тогда делать? Василев предлагает подход, который не решит проблему полностью, но значительно усложнит успешное джейлбрейк ИИ враждебным подсказкам.

Подход состоит из трёх элементов: постоянной работы «красных команд», которые стремятся выявить новые враждебные запросы раньше, чем реальные атакующие; постоянные обновления, которые ужесточают барьеры ИИ от недавно обнаруженных враждебных подсказок; и операционной устойчивости, которая ставит приоритет на ограничение воздействия и быстрое восстановление, когда возникает эксплойт.

«Цель — достичь ситуации, когда стоимость поиска новых эксплойтов превысит ресурсы злоумышленников», — сказал он. «В математике не уйти от Гёделя, а в ИИ ты, скорее всего, не сможешь запатчить систему ИИ, как LLM, и надеяться, что всё будет нормально вечно. Нужно постоянно искать слабые места и опережать нападающих. Цель — достичь нового экономического равновесия, при котором злоумышленникам будет финансово невыгодно пытаться сломать вашу систему ИИ. Это может быть дорого, но это цена даже частичной безопасности, которая должна позволить организациям максимально использовать преимущества ИИ, минимизируя риски.» - отсюда

Состязательное машинное обучение сегодня

Состязательное машинное обучение (СМО) представляет собой существенное препятствие для крупномасштабного внедрения искусственного интеллекта (ИИ) в критически важных с точки зрения безопасности средах. Хотя ранние исследования были сосредоточены на надежности алгоритмов, эта область превратилась в сложное пересечение вопросов безопасности, обеспечения и политики. В данной статье представлен всесторонний междисциплинарный обзор ландшафта СМО, охватывающий более 250 рецензируемых работ. Мы используем таксономию, ориентированную на жизненный цикл, которая сопоставляет векторы атак и механизмы защиты с конкретными этапами конвейера ИИ от сбора данных до развертывания, расширяя традиционную триаду конфиденциальности, целостности и доступности (CIA) за счет включения управления и регулирования. Мы выявляем критические пробелы в исследованиях, включая сертифицированную надежность для обработки естественного языка (NLP) и возникающие угрозы в генеративном ИИ. Для обоснования этих теоретических выводов на практике мы анализируем пять конкретных тематических исследований: автономные транспортные средства, медицинский ИИ, финансовые системы, обработка естественного языка (NLP) и Интернет вещей (IoT). Уникальность этого обзора заключается в том, что он преодолевает разрыв между академической литературой и промышленной практикой, сопоставляя технические результаты исследований в области противодействия отмыванию денег с новыми стандартами, включая структуру управления рисками в области ИИ NIST (RMF), MITRE ATLAS и ISO/IEC 42001. В заключение мы предлагаем дорожную карту для исследователей, практиков и регулирующих органов по созданию проверяемых, заслуживающих доверия и соответствующих требованиям систем ИИ. - Adversarial Machine Learning: A 20-Year Survey of Attacks, Defenses, and Standards

P.S. См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

О квантах

Как работает шифрование и почему оно внезапно стало уязвимым?

По сути, вся интернет-коммуникация защищена путём шифровки информации с помощью секретного кода. Мы называем это шифрованием. И большая часть этого работает благодаря хитрому математическому трюку с простыми числами — числами, которые можно делить только на себя и на один, например, 2, 3, 5, 7, 11, 13 и так далее.

Вот в чём секрет...

Возьмите два простых числа — скажем, 37 и 73 — и умножьте их вместе. Ты получаешь 2 701. Всё просто. Любой базовый калькулятор может сделать это за доли секунды.

Но чтобы выполнить это вычисление в обратном порядке — если кто-то даёт вам число 2 701 и спросит, какие два простых числа были умножены, чтобы получить его — обычный компьютер должен проверять каждую возможность по одному, пока не найдёт ответ.

С небольшим количеством это не так сложно. Но стандарт шифрования, используемый для защиты большей части интернета — называемый RSA-шифрованием — использует простые числа длиной в сотни цифр. Чтобы найти двух праймов, скрывающихся за этим продуктом, обычный компьютер должен был бы просматривать возможности триллионы лет... Дольше, чем эпоха нашей вселенной. И вот в чём весь секрет шифрования. Дело не в том, что разгадать код теоретически невозможно, а в том, что это займёт столько времени, что никто никогда не сможет это сделать. Это безопасность через математическую непрактичность.

Вот где на помощь приходят квантовые компьютеры, и сюжет резко меняется.

Квантовые компьютеры используют странные правила квантовой физики — в частности, два явления, называемых суперпозицией и запутанностью. Суперпозиция позволяет квантовому компьютеру исследовать множество возможных ответов одновременно, а не проверять их один за другим. Запутанность позволяет разным частям квантовой системы координировать и ускорять вычисления способами, не имеющими классического аналога.

Таким образом, квантовый компьютер с алгоритмом Шора мог бы решить задачу простых чисел, на которой строится шифрование RSA, за считанные минуты, если не секунды.

Практические последствия огромны. Крупные банки, такие как HSBC, ежегодно обрабатывают триллионы долларов платежей. Всё это защищено таким шифрованием, которое могут сломать квантовые компьютеры. Обыски аккаунтов клиентов и кража их личностей могут стать детскими забавами для злоумышленников. Криптовалюты — построенные на тех же математических основах — могут за одну ночь стать бесполезными. Сложные финансовые операции, которые удерживают мировую экономику вместе, могут рухнуть.

Мы фактически были бы вынуждены вернуться к экономике наличных и бартеров, уничтожив при этом триллионы долларов богатства.

И становится только хуже. Национальные государства и сложные злоумышленники уже много лет проводят атаки, которые специалисты по безопасности называют «собирай сейчас, расшифруй позже». Стратегия простая и пугающая: украсть зашифрованные данные уже сегодня, запасить их и дождаться дня, когда появится квантовый компьютер, способный взломать шифрование.

В этот момент всё, что когда-либо передавалось в цифровом виде — секретные правительственные сообщения, корпоративные секреты, личные медицинские записи, личные финансовые данные — может быть расшифровано и прочитано кем угодно. Позвольте уточнить: здесь нет «может быть». Это обязательно случится. Мы должны принять тот факт, что когда это произойдёт, наши существующие системы связи перестают выполнять свою цель. Так что, вся надежда потеряна? Является ли мир без цифровой безопасности неизбежным?

К счастью, нет. Но требуется не что иное, как новый интернет — обновление или замена практически всех существующих современных аппаратных и программных систем. Это огромное дело, и время идёт.

Вот хорошая новость: умные люди в технологическом мире предвидели это и готовились уже много лет.

Технологии, пытающиеся спасти интернет

Большинство людей никогда не слышали о NIST — Национальном институте стандартов и технологий, подразделении Министерства торговли США. Её основная задача — разрабатывать и продвигать технические стандарты, чтобы американские технологии оставались надёжными, совместимостью и безопасностью. Он устанавливает стандарты для всего — от весов и измерений до протоколов кибербезопасности.

В декабре 2016 года NIST объявил необычный публичный призыв к подаче предложений. По сути, это был мировой конкурс: представить свои лучшие идеи для новых алгоритмов шифрования — математических систем блокировки — которые могли бы выдержать атаку со стороны квантового компьютера.

Цель заключалась в создании того, что мы сейчас называем «постквантовой криптографией» или «PQC». Новые цифровые системы замка для мира, где старые можно взять за считанные секунды.

Криптографы из университетов, технологических компаний и государственных лабораторий со всего мира откликнулись. Во время конкурса 82 кандидата на алгоритмы были сокращены через несколько раундов оценки, тестирования и общественного контроля со стороны мирового криптографического сообщества. NIST объявил о первых трёх финализированных стандартах после квантового шифрования в 2024 году, а четвёртый алгоритм ожидается в ближайшее время. Эти стандарты определяют, как компании, правительства и разработчики должны блокировать и разблокировать данные с уклоном от квантов.

Крупные технологические компании уже двигаются. Компании, такие как Alphabet (GOOGL) и Apple (AAPL), начали интегрировать новые стандарты в свои системы. По данным интернет-инфраструктурной компании Cloudflare (NET), более 60% трафика, созданного человеком (не ботов), который проходил через их серверы в феврале 2026 года, уже был защищён квантово-устойчивым шифрованием. А IBM, чьи исследователи помогли разработать два из победивших алгоритмов, интегрирует их в свои корпоративные продукты.

Но этого недостаточно, чтобы горстка технологических гигантов обновляла своё программное обеспечение. Весь интернет должен быть зашифрован. Каждое устройство, подключённое к сети — каждый роутер, коммутатор, смартфон, ноутбук, сервер — уязвимо по текущим стандартам. Обновление всего займёт годы и потребует сотен миллиардов долларов инвестиций.

Устройства, которым примерно шесть лет и более, могут вообще не подлежать обновлению — их процессоры и память просто не способны запускать эти новые, более сложные алгоритмы.

Эти устройства придётся полностью заменить. В большинстве случаев более современным устройствам потребуется — как минимум — значительные обновления программного обеспечения и прошивки, а некоторые — также новое оборудование.

Можно представить это так, будто каждый замок в каждом здании, на каждом автомобиле, в каждом городе мира нужно заменить — и новые замки не поместятся во все старые дверные рамы.

И срочность не теоретическая. Появление мощного квантового компьютера создаёт жёсткий срок, который не будет вести переговоры. Любой, кто хранит огромные запасы чувствительных данных — крупные технологические компании, правительства, армии, финансовые учреждения, медицинские компании — чувствует это.

Эта срочность создаёт очень реальную — и очень крупную — инвестиционную возможность. Но прежде чем это — ещё одна часть головоломки: технология, которая выходит за рамки простой замены старого шифрования на новое, и делает прослушивание практически невозможным.

Квантовое распределение ключей: невзломимая сеть

PQC по сути работает, опираясь на различные математические задачи, которые эксперты считают сложными для решения как классическим, так и квантовым компьютерам.

Это надёжный подход, но он всё равно гарантирован. И как бы хороший ни был замок, кто-то в конце концов находит способ его взломать. Квантовое распределение ключей (QKD) использует принципиально иной подход. Это не просто усложняет вскрытие замка. Она делает прослушивание обнаруживаемым — а значит и бесполезным — благодаря использованию той же области физики, что и квантовые компьютеры (квантовая механика). Но если квантовые компьютеры используют суперпозицию и запутанность, чтобы одновременно исследовать множество возможных решений и очень быстро сосредотачиваться на правильном ответе, то QKD использует фундаментальный закон квантовой механики, согласно которому, если вы пытаетесь наблюдать или измерять квантовую частицу, вы меняете её состояние. Это не инженерное ограничение или техническое препятствие, которое можно было бы преодолеть с помощью лучших инструментов. Это фундаментальная особенность нашей реальности на квантовом уровне. QKD использует этот принцип для передачи ключей шифрования — секретных кодов, блокирующих и разблокирующих данные — с помощью отдельных частиц света (фотонов), отправляемых по одной по оптоволоконному кабелю.

Поскольку каждый фотон — это квантовая частица, любой подслушивающий, пытающийся перехватить и прочитать его, неизбежно нарушит его так, чтобы получатель мог его обнаружить. Поэтому, как только кто-то пытается подслушать передачу ключа, он портится и становится непригодным для использования — и участники, общающиеся, понимают, что их канал скомпрометирован.

Можно представить это как секретную записку, которую хочешь передать другу, но чернила сделаны из особого квантового вещества, которое навсегда размазывается в тот момент, когда кто-то другой твой друг касается бумаги. Подслушивающий не только не может прочитать записку, вы сразу понимаете, что он пытался.

Что действительно круто — это не какой-то мысленный эксперимент. Это работающая технология, внедренная в реальном мире сегодня.

Toshiba была пионером здесь. С 1999 года компания занимается исследованием квантовой криптографии в своей Кембриджской исследовательской лаборатории и держит ряд мировых рекордов в этой области — включая первую успешную квантовую криптографию более 100 километров оптоволокна более 20 лет назад. Более недавно, в 2022 году, Toshiba объединилась с ведущим телекоммуникационным провайдером Великобритании BT, чтобы запустить первую в мире коммерческую квантово-защищённую метрополитенскую сеть в районе Лондона.

В 2023 году HSBC стал первым банком, присоединившимся к сети, проведя коммерческое испытание, включавшее использование QKD для защиты транзакций по волоконно-оптическим кабелям между глобальной штаб-квартирой HSBC в Кэнэри-Уорф и дата-центром в Беркшире примерно в 40 милях отсюда.

С тех пор сеть расширилась ещё больше. Другие клиенты, проводящие испытания, включают больницы (защищающих данные медицинских сканирований) и государственные органы (защищающие чувствительные коммуникации).

Тем временем Китай строит собственную квантово-обеспеченную сеть с выдающимися амбициями. Будучи, вероятно, главным спонсором атак «собрать сейчас, расшифровать потом», о которых я упоминал ранее, он лучше большинства понимает, что поставлено на карту.

В 2016 году Китай шокировал мир, запустив первый спутник, способный передавать квантовые ключи через космос, а не по оптоволокну, преодолев ограничения по расстоянию наземных оптоволоконных сетей. С тех пор страна построила национальную квантовую коммуникационную сеть, соединяющую банки, государственные учреждения и промышленные объекты по всей стране.

Не желая отставать, учёные из Центра квантовых технологий в Сингапуре разрабатывают наноспутники QKD, примерно в 200 раз меньше китайских, чтобы создать невзломную глобальную сеть, доступную каждому.

Toshiba также сотрудничает с сингапурской космической компанией SpeQtral над национальным проектом Quantum-Safe Network Plus, помогая реализовать это видение в коммерческой перспективе.

Когда наступит тёмная сторона квантовых вычислений, PQC, вероятно, обеспечит повседневное шифрование для защиты большинства людей и организаций, а QKD, вероятно, обеспечит дополнительный уровень безопасности, необходимый для крайне чувствительных и ценных соединений.

Что всё это значит для мировой интернет-инфраструктуры?

Краткий ответ: всё нужно обновить, часть заменить, и ничего не может долго ждать.

И, как любой масштабный инфраструктурный проект, он создаёт большие инвестиционные возможности для тех, кто внимательно следит. - Отсюда

Системы безопасности для высокопроизводительных вычислений (HPC)

Высокопроизводительные вычислительные системы (ВВП) обеспечивают фундаментальную вычислительную инфраструктуру для крупномасштабных и сложных симуляций, анализа больших данных и обучения моделей искусственного интеллекта (ИИ) и машинного обучения (МО), и все это с исключительной скоростью. Обеспечение безопасности систем ВВП имеет важное значение для защиты моделей ИИ, конфиденциальных данных и реализации всех преимуществ ВВП. Система ВВП использует специализированное оборудование, программное обеспечение и высокоскоростные сети в сложных пользовательских средах, и высокая производительность является фундаментальным требованием к системе. В этом специальном издании NIST представлено отображение мер безопасности для ВВП, разработанное для решения этих уникальных задач и требований безопасности. Основанное на базовом уровне, определенном в NIST SP 800-53B, наложение адаптирует 60 мер безопасности из NIST SP 800-53 с дополнительными рекомендациями и/или обсуждениями для повышения их применимости в контексте ВВП. Это отображение призвано предоставить практические, ориентированные на производительность рекомендации по безопасности, которые могут быть легко внедрены. Для многих организаций это обеспечивает надежную основу для защиты высокопроизводительных вычислительных сред, а также позволяет вносить дальнейшие изменения для удовлетворения конкретных оперативных или служебных потребностей. Данный документ предназначен для использования менеджерами по ИТ-безопасности, специалистами по соблюдению нормативных требований, системными администраторами высокопроизводительных вычислительных систем и руководителями программ в ведомствах, ответственными за обеспечение безопасности высокопроизводительных вычислительных сред. - NIST SP 800-234 High-Performance Computing (HPC) Security Overlay

Новый стандарт от NIST

Специальности в кибербезе

Список специальностей и навыков в кибербезопасности от NIST

Осведомленность о фишинге

Фишинг уже в течение довольно длительного времени остается одной из самых опасных кибератак. Будучи технически простым подходом в реализации для атакующих, будучи довольно хорошо распознаваемым инструментальными средствами, обладая явно распознаваемыми признаками, этот способ атаки все равно остается работающим. Причина – это пользователи, которые продолжают переходить по подготовленным вредоносным ссылкам. Именно люди оказываются слабым звеном, которое и обеспечивает успех фишинга. Отсюда большое внимание, которое уделяется в мире образованию (уведомлению) пользователей об опасности и характерных признаках фишинга. В настоящей статье мы хотим остановиться на существующих в мире программах обучения противодействия фишингу. Такие программы существуют на разных уровнях: национальных, академических, в частных компаниях. Основа таких тренировок – это определение учащимися фишинговых сообщений среди реальных текстов (почтовых сообщений). Особый интерес представляет собой шкала фишинга от NIST, которая позволяет оценивать сложность таких тренировочных примеров. - Осведомленность о фишинге - статья в журнале Современные информационные технологии и ИТ-образование

Состязательные атаки в партийной газете

Статья в газете Центральной партийной школы ЦК КПК "Сюэси Жибао" заместителя заведующего Отделом пропаганды ЦК КПК, руководителя Канцелярии по делам киберпространства ЦК КПК Чжуан Жунвэня, посвященная подведению итогов прошедшей пятилетки и анализу новых вызовов и задач в рамках новой. В тексте содежится описание основных инициатив Китая в сфере Интернет-пространства и технологий, описываются задачи защиты критической инфраструктуры, углубления работы с данными и развития управления ИИ.

Самое примечательное в тексте - это впервые упоминающиеся в официальном китайском дискурсе новые угрозы безопасности: 数据投毒 (атака типа "отравление данных" - внесение “плохих” данных, чтобы модель училась неправильно), 用户画像攻击 (атаки через профилирование пользователя и извлечение чувствительных выводов), 模型逆向推理 (обратный вывод из модели, попытки вытащить из нее скрытую информацию или свойства обучающих данных). Эти слова давно живут в китайской научной и экспертной среде, но здесь они впервые звучат в программном тексте уровня обсуждения пятилетки, что выводит технические задачи на уровень решения политических вопросов, про которые раньше в официальных текстах писали лишь в самом общем виде.

В США и ЕС похожая терминология используется давно, преимущественно в рекомендациях правового регулирования стандартов хранения и обработки данных (NIST, ENISA и другие), но такие документы остаются на уровне технической имплементации требований и рекомендаций по защите прав и инфраструктуры. В Китае упоминание терминологии новых угроз на уровне стратегического планирования пятилеток руководящими лицами может говорить о том, что за этим последует жесткое институциональное продолжение в виде требований, проверок и административных процедур на уровне обеспечения национальной безопасности.

/via Атлас Бойцзе

Новости NIST

22 декабря 2025 г. Национальный институт стандартов и технологий (NIST) объявил о двух новых национальных инициативах, расширяющих его давнее сотрудничество с MITRE: Центр экономической безопасности ИИ для повышения производительности обрабатывающей промышленности США и Центр экономической безопасности ИИ для защиты критической инфраструктуры США от киберугроз. MITRE будет управлять обоими центрами, сотрудничая с экспертами NIST, промышленностью и академическими кругами для продвижения и ускорения трансформационных решений в области ИИ.

Это расширенное сотрудничество отражает общую приверженность превращению передовых исследований в области ИИ в развертываемые, реальные возможности. Центр повышения производительности обрабатывающей промышленности США сосредоточится на укреплении американского производства путем стимулирования новой промышленной революции, ориентированной на эффективность, качество и инновации. Центр защиты критической инфраструктуры США от киберугроз будет заниматься кибербезопасностью критической инфраструктуры США, обеспечивая обнаружение угроз в режиме реального времени, автоматизацию реагирования, прогнозирование сбоев и анализ больших объемов данных для выявления возникающих рисков.

«Наша цель — устранить барьеры на пути американских инноваций в области ИИ и ускорить применение наших технологий ИИ по всему миру», — заявил исполняющий обязанности заместителя министра торговли по стандартам и технологиям и исполняющий обязанности директора NIST Крейг Буркхардт. «Это новое соглашение с MITRE будет направлено на повышение способности американских компаний более эффективно производить высококачественную продукцию, удовлетворять рыночные потребности внутри страны и за рубежом, а также стимулировать открытие и коммерциализацию новых технологий и устройств».

Центры будут использовать инвестиции MITRE в AI Lab, Federal AI Sandbox, и общедоступные инструменты, такие как ATLAS, CALDERA и ATT&CK.

NIST выпустил драфт Cybersecurity Framework Profile for Artificial Intelligence (NISTIR 8596). Данный профиль помогает организациям задуматься о том, как стратегически внедрять ИИ, одновременно противодействуя возникающим рискам кибербезопасности, связанным со стремительным развитием ИИ.

Что NIST грядущий нам готовит

Новая таксономия состязательного машинного обучения от NIST: ключевые изменения в рекомендациях по безопасности ИИ (2023 и 2025 гг.)

В постоянно меняющемся ландшафте угроз и уязвимостей ИИ оставаться впереди означает быть в курсе событий. Национальный институт стандартов и технологий (NIST) недавно опубликовал важное обновление своего основополагающего документа «Состязательное машинное обучение: таксономия и терминология атак и смягчения последствий» (AI 100-2 E2023) переходя от издания 2023 года к значительно улучшенному выпуску 2025 года (AI 100-2 E2023). В этой статье суммируются критические различия, предоставляя стратегические идеи для руководителей служб информационной безопасности и подробные технические перспективы для исследователей безопасности и специалистов AI Red Team.

NIST AI 100-2 E2025 VS E2023 — изменения высокого уровня для руководителей служб информационной безопасности

Поскольку системы ИИ становятся основной частью корпоративных технологических стеков, руководители служб информационной безопасности должны сохранять бдительность в отношении возникающих рисков. Недавнее обновление NIST предлагает существенные улучшения, отражающие быстрые достижения и возросшие угрозы, с которыми сталкиваются организации:

1. Всестороннее освещение атак

Отчет NIST 2025 года значительно расширяет свою таксономию состязательных атак МО, предоставляя расширенные определения и четкую категоризацию. В нем подробно описаны угрозы расширенного генеративного ИИ (GenAI), включая атаки ненадлежащего использования и быстрых инъекций, четко разграничивая различные типы атак, влияющих на целостность, доступность и конфиденциальность, что позволяет более четко оценивать риски и планировать смягчение последствий.

2. Акцент на практических и эксплуатационных воздействиях

Если в отчете 2023 года в основном обсуждались теоретические модели, то в последнем издании более подробно рассматриваются практические сценарии, наглядно иллюстрирующие реальные примеры враждебных атак. В нем добавлены специальные разделы, освещающие реальные развертывания, типичные сбои и успешные стратегии управления рисками безопасности ИИ, что является важным улучшением по мере того, как организации внедряют передовые инструменты ИИ.

3. Включение новых векторов угроз и корпоративной интеграции

Отражая текущие модели внедрения, документ 2025 года, в частности, включает в себя четкое руководство по обеспечению безопасности цепочек поставок ИИ, устранению рисков, создаваемых автономными агентами ИИ, и обеспечению безопасности интеграций GenAI корпоративного уровня с помощью подробных эталонных архитектур. Такой подход гарантирует, что руководители служб безопасности будут хорошо оснащены для управления этими меняющимися угрозами.

Подробные различия NIST AI 100-2 E2025 и E2023 для исследователей и практиков безопасности ИИ

Помимо стратегических идей, эксперты по безопасности и специалисты Red Team оценят детальную техническую эволюцию в состязательной таксономии ML NIST:

Расширенные категории атак и детализация

Таксономия в издании 2023 года в основном охватывала три основных типа атак (уклонение, отравление, атаки на конфиденциальность). Напротив, таксономия 2025 года значительно расширяется, чтобы включить четко определенные подкатегории, такие как:

Отравление с чистой этикеткой: атаки, которые тонко повреждают данные без изменения меток, поэтому их сложнее обнаружить.
Косвенное внедрение подсказок: сложные атаки, которые используют внешние или косвенные каналы для манипулирования поведением GenAI.
Неправильно согласованные выходы (в GenAI): атаки, побуждающие модели ИИ выдавать вводящие в заблуждение или вредоносные выходы, несмотря на то, что они кажутся работоспособными.
Атаки с задержкой энергии: новые опасения по поводу атак на истощение ресурсов, напрямую влияющих на стабильность на уровне инфраструктуры.

Расширенный реальный контекст

Отчет 2025 года намеренно включает подробные реальные примеры и практические примеры. Практические практические примеры включают атаки отравления против развернутых финансовых моделей машинного обучения, нарушения конфиденциальности со стороны корпоративных чат-ботов GenAI и сбои в работе из-за непрямых инъекций подсказок. Эти сценарии значительно улучшают практическое понимание и позволяют реализовать действенные сценарии тестирования Red Team.

Более сильный акцент на безопасности генеративного ИИ

Признавая быстрое принятие GenAI, издание NIST 2025 года всесторонне интегрирует GenAI в свою таксономию, подробно описывая атаки, характерные для больших языковых моделей (LLM), систем расширенной генерации поиска (RAG) и развертываний ИИ на основе агентов. Исследователи безопасности теперь могут получить доступ к подробным сведениям о защите GenAI от все более сложных противников.

Введение в неправильное использование ИИ и безопасность агентов

Новым важным включением является явная категоризация нарушений неправильного использования, направленная на выявление рисков безопасности, возникающих из-за злоумышленников, использующих возможности модели для обхода мер безопасности. Кроме того, особое внимание уделяется уязвимостям в агентах ИИ, автоматизированных системах, управляемых ИИ, способных к автономному взаимодействию — новый вектор атак, не рассмотренный в издании 2023 года.

Более широкое сотрудничество и экспертные мнения

Документ 2025 года опирается на международное сотрудничество между NIST, Институтом безопасности ИИ США и Институтом безопасности ИИ Великобритании, что значительно расширяет спектр опыта и идей. Эта международная экспертиза обеспечивает авторитетную точку зрения на мировые тенденции и передовой опыт в области безопасности ИИ.

NIST AI 100-2 E2025 VS E2023: Резюме

Обновленное издание руководства NIST по состязательному машинному обучению 2025 года является крупным шагом вперед, в котором особое внимание уделяется реальным сценариям, рискам развертывания на предприятии и проблемам безопасности GenAI. Благодаря значительно уточненным классификациям и новым рассмотренным практическим угрозам, таким как непрямое внедрение подсказок и уязвимости агентов ИИ, документ теперь тесно связан с текущими операционными потребностями. Эта эволюция предоставляет организациям критически важные знания для опережения противников в сегодняшнем быстро меняющемся ландшафте ИИ.

По мере развития угроз ваши стратегии красной команды ИИ должны развиваться вместе с ними. Использование этой новой таксономии позволит лучше вооружить вашу команду, значительно повысив устойчивость вашей организации к все более изощренным противникам.

/via adversa.ai

Новая версия документа NIST Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigations

Безопасность электрозарядок

Зарядки для электротранспорта - новые поверхности атак. NIST: Cybersecurity Framework Profile for Electric Vehicle Extreme Fast Charging Infrastructure

Риски генеративных моделей ИИ и их тестирование

"Настоящая статья посвящена обзору рисков генеративных моделей Искусственного Интеллекта. Бурное развитие больших языковых моделей серьезно повысило внимание к безопасности моделей Искусственного интеллекта. С практической точки зрения, в данном случае, речь идет о безопасности моделей глубокого обучения. Большие языковые модели подвержены атакам отравления, атакам уклонения, атакам, направленным на извлечение тренировочных данных и т.д. Но, вместе с этим, появляются и новые атаки, связанные именно с создаваемым контентом. Причем последние составляют очевидное большинство. Поэтому в последнее время появилось много работ, которые пытаются систематизировать все риски генеративных моделей. Этим занимаются, например, OWASP и NIST. Полная таксономия рисков генеративного ИИ должна послужить основой для построения систем тестирования генеративных моделей. В работе приводится обзор спецификаций рисков генеративного ИИ, изложенных OWASP, профилем NIST и репозиторием рисков от MIT. Цель подобных спецификаций – создать базу для тестирования генеративных моделей и инструментов, предназначенных для AI Red Team." - статья О киберрисках генеративного Искусственного Интеллекта

Стороннее тестирование как ключевой элемент политики в области ИИ - пишет Antropic, возможно, основной конкурент Open AI. И в этой связи собирает предложения в рамках своей инициативы по разработке сторонних оценок моделей ИИ

Требования к тестам для LLM

Метрики для оценки LLM приложений

О безопасности LLM

Большая коллекция материалов по безопасности LLM:

15 инструментов для состязательного тестирования

LLM Safety Assessment. The Definitive Guide on Avoiding Risk and Abuses. Документ от Elastic Security Labs, сделан на основе OWASP. Elastic Security объясняет свой подход здесь. Есть правила проверки.

Бенчмарк безопасности для LLM

Как внедрять ИИ - NSA, CISA & FBI Released Best Practices For AI Security Deployment 2024

Датасет на 11 000 диалогов для тестирования безопасности LLM

Датасет для тестирования безопасности от DefCon

Риски кибербезопасности ИИ. Исследование правительства Великобритании

LLM Security 101 - коллекция инструментов для тестирования и защиты LLM

AI Governance & Compliance Resource Links Hub. Ресурсы для CISO - правила и регуляции.

Риски генеративного ИИ. Большой документ от NIST

См. также другие публикации, посвященные LLM

Состязательное машинное обучение

Таксономия от NIST по состязательному машинному обучению

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Дифференциальная приватность

Стандарт NIST на дифференциальную приватность

Шифры и квантовые компьютеры

Все шифры превратятся в тыкву. NIST выпускает документы по оценке криптобезопасности современных систем - насколько они устойчивы к квантовым вычислениям.

Рекомендации призваны помочь организациям внедрить квантово-устойчивые алгоритмы в существующие инфраструктуры безопасности.

Национальный институт стандартов и технологий (National Institute of Standards and Technology) выпустил два проекта публикаций, чтобы помочь организациям, стремящимся изменить свои схемы шифрования на те, которые предназначены для предотвращения атак с потенциального квантового компьютера, открыв документы для общественного обсуждения, поскольку агентство работает над тем, чтобы открыть следующую эру кибербезопасности.

В двух документах — «Квантовая готовность: криптографическое обнаружение» и «Квантовая готовность: тестирование проектов стандартов совместимости и производительности» — представители NIST описывают конкретные проблемы, которые могут возникнуть при переходе на новый постквантовый криптографический стандарт, и предлагают потенциальные решения.

В документе Quantum Readyiness: Cryptographic Discovery описывается план функционального тестирования, в котором криптографическим средствам поручается поиск ошибочных конфигураций безопасности в цифровых сетях. В нем также описываются сценарии использования, которые предоставляют контекст для демонстрации успешных миграций постквантовых систем. Во втором проекте документа «Квантовая готовность: тестирование проектов стандартов совместимости и производительности» особое внимание уделяется тому, как гармонизировать квантово-устойчивые алгоритмы с существующей сетевой инфраструктурой, а также предлагаются решения проблем совместимости в контролируемой непроизводственной среде.

NIST находится на переднем крае стандартизации первых шагов в постквантовой криптографической миграции. Инициатива, которая была приоритетной в Национальной стратегии кибербезопасности президента Джо Байдена, направлена на то, чтобы агентства и организации опережали появление отказоустойчивого квантового компьютера. Эксперты опасаются, что эти системы, которые обрабатывают большие объемы данных в виде кубитов, а не стандартных двоичных цифр, прорвутся через современные конфигурации безопасности без достаточного обновления кодов открытых ключей сетей.

«Алгоритмы PQC стандартизируются, потому что достижения в области квантовых вычислений могут позволить скомпрометировать многие из существующих криптографических алгоритмов, широко используемых для защиты цифровой информации», — говорится в пресс-релизе NIST о документе Cryptographic Discovery.

Официальные лица добавили, что проект руководства по совместимости «предполагает, что вы поддерживаете модернизацию использования квантово-уязвимых криптографических реализаций с открытым ключом, и вы хотите построить свое понимание аспектов совместимости и производительности для стандартизированных алгоритмов PQC, которые вскоре будут стандартизированы, чтобы определить ваш подход к тому, чтобы сделать ваши криптографические реализации с открытым ключом квантово-устойчивыми».

Отсюда