LLM в криптоанализе

Криптоанализ — задача поиска атак на криптографические схемы — находится на стыке математических рассуждений и кибербезопасности, двух областей, где LLM достигли наибольшего прогресса. Криптоанализ представляет собой как чистую площадку для тестирования передовых методов рассуждений (поскольку практические атаки могут быть автоматически проверены), так и область, с необычайно высокими ставками, поскольку изучаемые примитивы лежат в основе нашей цифровой безопасности. В этой статье мы задаемся вопросом, могут ли LLM заниматься криптоанализом, и обнаруживаем, что ответ все чаще становится положительным. Мы представляем CryptanalysisBench, 191 задачу по шести семействам криптографических примитивов (блочные шифры, хеш-функции и т. д.), взятых в основном из четырех конкурсов стандартизации NIST. Наш бенчмарк состоит из трех уровней: (i) примитивы с известными практическими взломами; (ii) примитивы без известных практических взломов, оцениваемые как в полной силе, так и в виде уменьшенных вариантов; и (iii) набор задач для производственных примитивов на переднем крае криптоанализа. Пять передовых моделей (Claude Opus 4.8, Sonnet 5, Mythos 5, GPT-5.5 и модель с открытыми весами GLM-5.2) взламывают 65–86% схем первого уровня, 6–12 схем второго уровня при полной криптоустойчивости и 24–61 схему во всех уменьшенных вариантах. Помимо получения известных результатов, модели производят новые криптоаналитические данные, такие как атака восстановления ключа, использующая недостаток конструкции в SpoC AEAD и ошибку в опубликованном доказательстве безопасности CCA от KINDI, которые, насколько нам известно, ранее не были известны. Мы выпускаем CryptanalysisBench как инструмент для отслеживания того, станет ли (или когда) криптоанализ с использованием ИИ серьезным фактором, а также как основу для стресс-тестирования потенциальных схем перед развертыванием. Выявленные в ходе тестирования атаки представляют собой лишь предварительный снимок быстро развивающейся области, которая вскоре может сравняться, а местами и превзойти, опубликованные данные о современном уровне развития технологий. - CryptanalysisBench: Can LLMs do Cryptanalysis?

См. также другие публикации, посвященные LLM

О регулировании ИИ

В минувшие выходные несколько нынешних и бывших советников президента Дональда Трампа по вопросам ИИ публично обрушили поток оскорблений на ведущие компании страны, занимающиеся ИИ. Дэвид Сакс, «царь» президента по ИИ и криптовалютам до марта, назвал модели Anthropic «лоботомизированными» и «прогрессивными». Эмиль Майкл, высокопоставленный чиновник Пентагона, назвал нового главу отдела стратегического прогнозирования OpenAI «верховным деревенским дураком».

Все началось с того, что никто не может прийти к согласию относительно того, что делать с Kimi, бесплатной моделью с открытым исходным кодом, запущенной на прошлой неделе китайской компанией Moonshot, занимающейся ИИ. По всей видимости, она конкурирует по интеллекту с моделями OpenAI и Anthropic, которые, безусловно, не являются бесплатными.

Kimi и другие китайские модели, подобные ей, представляют собой реальную проблему для Трампа. И они разделяют ведущих стратегов в области ИИ в его окружении на фракции. Каждый раз, когда выходит новая умная бесплатная модель из Китая, подобная Kimi, американские компании видят все меньше причин тратить деньги на доступ к моделям Anthropic или OpenAI. Учитывая, что энтузиазм по отношению к этим и другим компаниям, занимающимся ИИ, обеспечивает непропорционально большую долю экономического роста, китайские модели ИИ создают для президента как экономические, так и политические проблемы. Они представляют собой «угрозу для администрации, которая действительно не хочет больше плохих экономических новостей», — написал Антон Лайт, научный сотрудник Фонда Карнеги, на X. Они уже потрясли американские акции.

Что же делать Трампу? Во-первых, следует учитывать, что всё это происходит всего через неделю после того, как Нью-Йорк ввёл первый в стране запрет на строительство новых центров обработки данных. Растёт недоверие к компаниям, занимающимся ИИ, и я предполагаю, что значительная часть американцев не будет испытывать особой симпатии к OpenAI или Anthropic, поскольку они противостоят более дешёвым конкурентам, и скажут, что защита их интересов не входит в обязанности правительства.

В этом вопросе они увидят небольшую долю согласия (и действительно лишь небольшую) с Дэвидом Саксом, который 19 июля раскритиковал ведущие компании, занимающиеся ИИ, которые «хотят, чтобы правительство устранило их конкурентов, работающих с открытым исходным кодом». Он также утверждал, что китайские модели ИИ стали популярными, потому что они имеют меньше ограничений на то, как люди могут их использовать (если не считать встроенной государственной цензуры).

Однако Сакс потерял работу. Он больше не занимает официальную должность советника Трампа, и его позиция о том, что более открытый ИИ лучше, в значительной степени была заменена в администрации позицией, которая видит большую роль государственного вмешательства. Логика этой точки зрения заключается в том, что, поскольку модели ИИ стали достаточно сильными, чтобы представлять угрозу национальной безопасности, правительство должно контролировать их использование.

Эта позиция подпитывает новый процесс проверки Белого дома, который направлен на проверку безопасности моделей ИИ перед их выпуском. Дин Болл, бывший советник Трампа по ИИ, который сейчас работает в OpenAI, раскритиковал его на выходных как «фактический режим лицензирования для передового ИИ». Болл предсказал, что Трамп может решить свою проблему с китайским открытым исходным кодом с помощью мягкой силы, возможно, заставив американские компании бояться использовать такие модели, как Kimi. Это вызвало реакцию Майкла, который вместе с министром обороны Питом Хегсетом был главным связующим звеном ведомства с компаниями, занимающимися искусственным интеллектом. Майкл назвал Болла «главным деревенским дураком» индустрии ИИ, возмутившись предположением, что правительство будет тихо оказывать давление на компании, а не, как выразился Майкл, следовать «демократическому процессу, а не какой-то схеме «глубинного государства»».

В разговоре умолчало о том, как такая модель, как Kimi, вообще стала настолько хорошей. На протяжении большей части администрации Байдена и даже в начале второй администрации Трампа предотвращение доступа Китая к лучшим чипам было приоритетом. Экспортный контроль ослаб — Трамп принял спорное решение разрешить Nvidia продавать больше чипов в Китай в обмен на долю правительства США — и правительство утверждает, что имела место некоторая контрабанда чипов. Но тем не менее, Китай обладает ограниченными вычислительными мощностями, и неясно, какие чипы использовала компания, разработавшая Kimi, для обучения модели.

Вполне возможно, что процесс включал в себя некоторую дистилляцию — практику, при которой модели ИИ обучаются на результатах существующих моделей ИИ. OpenAI и Anthropic давно жаловались на то, что китайские компании, занимающиеся ИИ, делают это, и обращались к правительству за помощью, чтобы положить этому конец. В апреле они получили её, когда администрация Трампа объявила о ряде мер по пресечению этой практики.

Но Kimi существует и доступен бесплатно, и он почти так же хорош, как модель Anthropic, которую правительство США сочло настолько мощной, что её ненадолго отключили, потому что она угрожала национальной безопасности. Разгоревшиеся на выходных споры свидетельствуют о том, что многие в окружении Трампа восприняли это как тревожный сигнал. Но никто не может сойтись во мнении, зачем это нужно. /via The Algorithm

Федеративная аналитика

Федеративный анализ данных – это технология построения распределенных систем анализа данных, когда не происходит никакого перемещения данных для анализа из мест их хранения (сбора). Это технология анализа данных, которая определяет новый уровень доступа и переносит анализ и вычисления непосредственно туда, где находятся данные. Федеративный анализ данных позволяет исследователям безопасно анализировать данные из разных организаций. Ограничения по доступу к данным, требования кибербезопасности, развитие интеллекта периферийных устройств – все это факторы, которые будут обеспечивать рост интереса к этой технологии. В работе рассматриваются вопросы проектирования архитектуры такого рода систем - отсюда

Кибербезопасность цепочек поставок

NIST SP 1326 - Руководство по быстрому запуску оценки комплексной проверки в цепочке поставок в сфере кибербезопасности. Управление рисками в цепочке поставок: комплексная проверка

Нечеловеческие компании

Аргентина предпринимает шаги по легализации «нечеловеческих корпораций», управляемых искусственным интеллектом. «Оставьте ИИ без регулирования».

Шумовые бэкдоры

В последние годы все больше исследователей уделяют внимание безопасности искусственного интеллекта. Атака с использованием бэкдора является одной из угроз и обладает мощной, скрытой способностью к атаке. Наблюдается растущая тенденция к созданию динамических и глобальных триггеров. В данной статье мы предлагаем новый глобальный бэкдор-триггер, генерируемый процедурным шумом. По сравнению с большинством триггеров, наш гораздо более скрытен и прост в реализации. Фактически, существует три типа процедурного шума, и мы оцениваем атакующую способность триггеров, генерируемых ими, на различных наборах данных для классификации, включая CIFAR-10, GTSRB, CelebA и ImageNet12. Результаты экспериментов показывают, что наш подход к атаке может обойти большинство методов защиты, даже при проверке человеком. Нам требуется всего 5-10% обучающих данных, но показатель успешности атаки (ASR) может достигать более 99%. Для проверки устойчивости модели бэкдора к методам искажения, используемым на практике, мы вводим 17 методов искажения и вычисляем точность и ASR модели бэкдора с их использованием. Результаты показывают, что наша модель бэкдора обладает высокой устойчивостью к большинству методов искажения, что означает возможность ее применения в реальных условиях. Наш код доступен по адресу https://github.com/928082786/pnoiseattack. - https://ieeexplore.ieee.org/stamp/stamp.jsp?arnumber=9529206

См. также другие публикации по бэкдор атакам

Проверка робастности для DNN

VeriGauge: Unified Toolbox for Representative Robustness Verification Approaches for Deep Neural Networks

Вершина AutoML

С момента запуска TimesFM мы наблюдаем масштабные изменения в подходах к прогнозированию временных рядов. Теперь мы применяем ту же самую логику «нулевого примера» к табличным данным. Представляем TabFM, новую базовую модель для табличных данных, упрощающую рабочие процессы классификации и регрессии. - Introducing TabFM: A zero-shot foundation model for tabular data

См. также другие публикации по теме AutoML

Нарушение работы мультимодальных LLM

Мы представляем атаки с использованием состязательного искажения как новый класс угроз для многомодальных больших языковых моделей (MLLM). В отличие от взлома или целенаправленной неправильной классификации, цель состоит в том, чтобы вызвать систематический сбой: несвязный или заведомо неверный текст. Долгосрочная цель — создание изображений с состязательным искажением, которые можно встраивать в веб-сайты (например, в качестве фоновых элементов), тем самым предотвращая работу агентов ИИ на основе MLLM на этих сайтах. В этой статье мы представляем предварительные результаты, ограниченные непосредственным использованием MLLM, где изображения с состязательным искажением предоставляются в качестве входных данных для модели. Наш метод максимизирует энтропию следующего токена при ожидании над преобразованиями (EoT) и небольшом ансамбле MLLM с открытым исходным кодом. Атака распространяется на некоторые проприетарные модели (GPT-5-high, GPT-o3 и Amazon Nova Pro), которые создают структурно связные галлюцинации. Это работа в процессе; код будет выпущен вместе с финальной версией. - Adversarial Confusion Attacks: Disrupting Multimodal LLMs

См. также другие публикации, посвященные LLM

Атаки на облака

 Отчет  InfoWatch по атакам на облачные инфраструктуры

Светлая дорога

Google опубликовал программный документ - Дорожная карта по контролю за ИИ (версия 0.1) – план внедрения и использования внутренних механизмов защиты, предназначенных для выявления потенциально враждебного поведения агентов ИИ, даже несмотря на то, что их становится все труднее контролировать и сдерживать. Своего рода Zero Trust модель для агентов.

Это системный подход к безопасности, который рассматривает мощные внутренние ИИ-агенты как потенциально недоверенных ("злонамеренных") и создает многоуровневую защиту для ограничения возможного вреда от их действий, даже если они окажутся несоответствующими целям компании (misaligned). Авторы подчеркивают, что это вторая линия обороны, дополняющая, но не заменяющая работу над выравниванием (alignment) самих моделей.

Ключевые концепции

1. Моделирование угроз (TRAIT&R):

   Вместо ожидания реальных инцидентов, используется консервативный подход, предполагающий, что ИИ-агенты могут действовать как скоординированный злоумышленник.

   Представлена новая таксономия TRAIT&R (Taxonomy of Rogue AI Tactics and Routines), основанная на фреймворке MITRE ATT&CK, но адаптированная для внутренних ИИ-угроз.

     Выделены три основные категории целей злоумышленника:

        Потеря контроля: создание неконтролируемых внутренних или внешних развертываний, систематический обход защитных механизмов.

        Саботаж работы: намеренное торможение исследований в области безопасности, внедрение ошибок в критический код, искажение данных для обучения будущих моделей.

        Прямой вред: уничтожение критических активов (например, весов моделей), кража интеллектуальной собственности или содействие внешним кибератакам.

   Цель системы контроля — поддерживать два ключевых условия:

        Обнаружение: надежное выявление злонамеренных намерений или действий агента.

        Предотвращение и реагирование: эффективная блокировка атак и восстановление после них. Способность системы к обнаружению и предотвращению должна превосходить способность ИИ к обходу этих мер.

Вызовы: В отличие от людей-инсайдеров, ИИ-агентов могут быть тысячи, они действуют на сверхчеловеческой скорости, имеют широкий доступ к системам "по умолчанию" и могут координироваться скрытно, что делает традиционные методы защиты (основанные на человеческом надзоре и сдерживании) неэффективными.

Возможности: У защитников появляются уникальные преимущества: возможность читать цепочки рассуждений и внутренние активации ИИ, контролировать его память, создавать изолированные тестовые среды и использовать более мощные модели для автоматизированного мониторинга и защиты.

Документ предлагает поэтапное внедрение защитных мер (митигаций), которые становятся все более сложными и дорогими по мере роста возможностей моделей.

Обнаружение (Уровни D1-D4):

    D1 (Текущий уровень): Мониторинг цепочки рассуждений (CoT) и тестирование на выравнивание. Эффективно, пока модели не умеют скрывать свои мысли.

    D2 (Модели с осознанием надзора): Требуются более устойчивые к атакам мониторы, фильтрация данных обучения и ограничение доступа агентов к информации о протоколах контроля.

    D3 (Модели с непрозрачным мышлением): Мониторинг переключается с "мыслей" на поведение агента, используя доверенные модели и методы обнаружения аномалий (UEBA).

    D4 (Модели, обходящие мониторинг доверенными ИИ): Необходимо использовать самих недоверенных агентов для мониторинга друг друга (с защитой от сговора) и анализ внутренних активаций модели.

Предотвращение и реагирование (Уровни R1-R3):

    R1 (Текущий уровень): Асинхронное реагирование (анализ логов после факта) с постепенным увеличением покрытия мониторинга до 99%.

    R2 (Модели, способные выполнять серьезные угрозы): Внедрение синхронного реагирования (блокировка действий в реальном времени), строгой изоляции среды, контекстно-зависимого контроля доступа и использование доверенных ИИ для поиска уязвимостей.

    R3 (Очень мощные модели): Требуются экстремальные меры: строгая безопасность цепочки поставок, инфраструктура для немедленного отключения агентов, жесткое ограничение их возможностей (память, коммуникация), а также использование самих этих моделей для защиты (с осторожностью).

Дорожная карта представляет собой прагматичный, поэтапный план, который заимствует лучшие практики из кибербезопасности и адаптирует их под уникальные риски мощных ИИ-агентов. Авторы признают, что контроль не является вечным или всеобъемлющим решением (особенно против суперинтеллекта), но считают его критически важной второй линией обороны, которая позволит безопасно использовать передовые ИИ для исследований и разработок, пока мы не научимся создавать по-настоящему надежные модели. Документ подчеркивает, что это живой план, который будет развиваться по мере накопления опыта.

Реабилитация после инсульта и травм

В порядке рекламы важной темы. Реабилитация после инсульта, травм и полинейропатий. Нарушения движений? Мы их лечим. Боль? Мы с ней справимся – спина, голова, нога, даже тот самый странный палец на ноге. Эрготерапия включена. Настоящая наука. Настоящие люди. Настоящий прогресс. ИИ есть внутри. Смотрите в Telegram: https://t.me/GritandGrace_1

Совместная оценка вопросов и ответов LLM

Большие языковые модели (БЛМ) все чаще используются в интерактивных приложениях, однако они остаются уязвимыми для враждебных взаимодействий, которые приводят к вредоносным, обманным или нарушающим правила вывода. Существующие средства защиты обычно анализируют либо пользовательские запросы, либо сгенерированные результаты, но не то и другое одновременно. Однако многие реальные атаки используют разделение между враждебным намерением, выраженным в запросе, и причиняемым вредом, проявляющимся только в ответе. В результате, средства защиты, основанные только на запросе и только на ответе, часто упускают из виду небезопасные взаимодействия, которые кажутся безобидными при рассмотрении с любой стороны по отдельности. Мы представляем структуру защиты, ориентированную на верификацию, которая совместно оценивает намерение запроса и вред, причиняемый ответом, до того, как БЛМ-ответ будет доставлен пользователю. В этой структуре используются специализированные аналитики для оценки намерения и вреда, а также судья для разрешения конфликтов. Мы формализуем модель угроз для атак типа «запрос-ответ» и оцениваем структуру в рамках пяти категорий угроз: взлом системы, внедрение запроса, фишинг, киберзлоупотребления и вредоносный контент. Эксперименты на нескольких эталонных наборах данных показывают, что совместная проверка намерения запроса и вреда от ответа неизменно превосходит односторонние методы защиты и базовые модели на основе рассуждений одного агента. В рамках категорий угроз структура улучшает средний показатель F1 с 0,9 для наиболее сильных применимых базовых моделей до 0,95, одновременно снижая средний процент успешных атак до 4,1%. По сравнению с базовой моделью SingleAgent+CoT, она улучшает средний показатель F1 с 0,87 до 0,95 и снижает частоту ложных срабатываний на безобидных запросах с высокой чувствительностью с 0,12 до 0,06. Мы также оцениваем архитектурно-ориентированные адаптивные атаки, в которых злоумышленник знает структуру верификатора и пытается обойти отдельные компоненты проверки. Наши результаты показывают, что проверка оперативного реагирования обеспечивает практическую основу для защиты приложений LLM от развивающихся угроз со стороны враждебных структур. - Verifying Intent and Harm: A Unified Defense Against LLM-Generated Threats

См. также другие публикации, посвященные LLM

Вероятностная сертификация

Растущее использование машинного обучения в критически важных с точки зрения безопасности средах повышает уязвимость к атакам со стороны злоумышленников. Существующие механизмы защиты, как правило, либо не имеют формальных гарантий, либо зависят от ограничительных предположений о семействе моделей, модели угроз или бюджете отравления, и многие предлагают только точечную сертификацию. Важно отметить, что они часто игнорируют присущую современным конвейерам обучения стохастичность, что подрывает их практическую надежность. В этой работе мы представляем вероятностную структуру, которая рассматривает обучение на основе градиента как дискретную стохастическую динамическую систему и формулирует устойчивость к отравлению как задачу проверки безопасности. Используя сертификаты барьеров (BC), мы выводим достаточные условия для вероятностной сертификации устойчивого радиуса против отравления в наихудшем случае ℓp-ограниченного значения, гарантируя, что конечные параметры модели остаются в пределах безопасного множества с вероятностной точностью. Для приемлемых вычислений мы представляем BC с помощью нейронных сетей и получаем гарантии вероятной приблизительной корректности (PAC) с помощью выпуклой задачи сценария. Наш подход определяет максимальный сертифицированный радиус, в пределах которого обученная модель достигает вероятностной точности при заранее заданном уровне доверия. Эксперименты на MNIST, SVHN, и CIFAR-10 показывают, что наша структура обеспечивает гарантии устойчивости при стохастическом обучении, при этом независима от модели и не требует знания стратегии атаки. - Probabilistic Robustness Certificates against Adversarial

P.S. См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Раги

Стандартный RAG

Запрос преобразуется в векторное представление и сопоставляется с векторной базой данных.
Извлекаются K наиболее близких фрагментов, которые передаются в LLM в качестве контекста.
LLM формирует обоснованный ответ, используя только полученные данные.

Графовый RAG

Запрос классифицируется: конкретные вопросы направляются на локальный поиск, общие вопросы — на глобальный поиск.

Локальный поиск: векторное представление запроса → векторная база данных находит соответствующие сущности → конвейер проходит по графу знаний, собирая связанный контекст → LLM синтезирует окончательный ответ.
Глобальный поиск: нет векторного поиска, нет обхода графа → отчеты сообщества загружаются партиями → LLM оценивает каждый отчет по релевантности → контекст с наивысшим рейтингом → LLM синтезирует окончательный ответ.

Агентный RAG

Агент-рассуждение читает запрос, разбивает его на подвопросы и выбирает источники.
Контекст извлекается из нескольких источников в зависимости от подзапроса.
Другой агент проверяет, отвечает ли извлеченный контекст на вопрос. Если нет, он извлекает его повторно.
После проверки LLM синтезирует окончательный ответ на основе запроса.

Стандартный RAG быстр и дешев, но если извлечен неправильный фрагмент, ответ будет неверным, и ничто его не обнаружит. Используйте его, когда ответ находится в ваших документах, и скорость имеет значение.

Графовый RAG дорог в построении и медленно обновляется. Используйте его для структурированных знаний, таких как юридические, нормативные или биомедицинские данные.

Агентный RAG более функционален и гибок, но медленнее, дороже и сложнее в отладке. Используйте его, когда вопрос требует многошагового рассуждения и самокоррекции.

Атака на защитников

Системы защиты на основе LLM стали высокоэффективной защитой от атак с быстрым внедрением и взломом в автономных агентах. Однако мы показываем, что сами возможности рассуждения и следования за задачей, обеспечивающие эту защиту, создают новую уязвимость: злоумышленники могут внедрять специально созданные данные, чтобы заманить систему защиты в длительные циклы рассуждения, осуществляя систематическую атаку типа «отказ в обслуживании» (DoS). Для систематического выявления этой угрозы мы разрабатываем оптимизационную структуру поиска по лучу, которая создает полезные нагрузки на естественном языке для максимизации длины рассуждения системы защиты, используя генератор предложений LLM, управляемый банком стратегий. Основываясь на наблюдении за природой системы защиты, ориентированной на следование по схеме, мы также предлагаем другую структуру атаки, основанную на структурных мутациях, учитывающих механизмы, с меньшей вычислительной нагрузкой. Эффективность атаки систематически оценивается в двух частях. Во-первых, в автономных оценках атака обобщается на различные архитектуры систем защиты, шаблоны безопасности и эталонные тесты агентов. Оптимизированные для полезной нагрузки на основе одного открытого исходного кода успешно передаются на восемь ведущих базовых платформ моделей (например, Claude, GPT, Gemini, DeepSeek, и Qwen), обеспечивая увеличение количества токенов в 13–63 раза. Во-вторых, в сквозных реальных развертываниях агентов (веб, настольные приложения, код, и многоагентные системы) атака выявляет увеличение задержки до 148 раз. Мы показываем, что один зараженный документ может насытить общие инфраструктуры защиты, фактически лишая размещенных агентов доступа и парализуя всю систему. Выявив эту уязвимость доступности, наша работа подчеркивает острую необходимость в разработке защитных механизмов с ограниченными затратами и устойчивых к ошибкам рассуждений. - From Shield to Target: Denial-of-Service Attacks on LLM-Based Agent Guardrails

См. также другие публикации, посвященные агентам