Кванты и безопасность коммуникаций

Книга в открытом доступе: Quantum Communications and Enhancing Security

Физическая криптография

Книга в открытом доступе Data Encryption at the Intersection of Mathematics and Physics

Математика для промышленности

Интересная серия книг от Springer. Например, Математические основы постквантовой криптографии - книга с открытым доступом, которая представляет математические основы криптографии, безопасно используемой в эпоху квантовых компьютеров. В частности, эта книга направлена на углубление базовой математики постквантовой криптографии, моделирование самых сильных возможных атак, таких как атаки с побочными каналами, и создание криптографических протоколов, гарантирующих защиту от таких атак. Книга подходит для использования в продвинутом курсе по математической криптографии и в качестве справочника для экспертов.

Графы для ИИ-агентов

Графовая инженерия для ИИ-агентов: от промптов и циклов к рабочим процессам

См. также другие публикации, посвященные агентам

Архитектура защиты для ИИ-агентов

Как спроектировать архитектурные защитные механизмы для ИИ-агентов. Паттерны проектирования агентов, которые должен знать каждый дата-инженер

См. также другие публикации, посвященные агентам

Комплексная таксономия агентской безопасности

Безопасность агентного ИИ (agentic AI) выходит за рамки защиты генерируемого контента и охватывает такие аспекты, как сохраняемое состояние, автономные действия, использование внешних инструментов, а также взаимодействие с людьми и другими агентами. Существующие классификации угроз часто делают упор на отдельные аспекты, оставляя в тени взаимосвязи между точками проникновения, уязвимыми компонентами и последствиями для безопасности. Кроме того, реальная картина угроз отличается от того спектра проблем, который охвачен в эмпирических исследованиях.
На основе структурированного обзора 66 исследований, опубликованных в период с 2022 по 2026 год, мы предлагаем модель T = ⟨S, B, P, A⟩ — многомерное представление, связывающее затронутые функциональные или системные области (S), границы взаимодействия или доверия (B), нарушенные свойства безопасности (P) и архитектуры, изученные эмпирическим путем (A). Мы анализируем 22 исследования, включающих практические эксперименты по тестированию на проникновение (red-teaming), и 11 репрезентативных бенчмарков безопасности, чтобы оценить полноту эмпирического охвата и уровень зрелости методов оценки. В рассмотренных работах основное внимание уделяется атакам, связанным с промптами и процессами рассуждения (reasoning), памятью и использованием инструментов, причем преимущественно в сценариях с одним агентом. Угрозы, связанные с сохраняемым состоянием, взаимодействием «человек-агент», сложными мультиагентными системами, системными уязвимостями и долгосрочными сценариями работы, изучены в меньшей степени. Полученные результаты характеризуют выбранный массив исследований, а не указывают на пробелы во всей области эмпирических изысканий в целом. Разнородность метрик, недостаточная оценка адаптивных механизмов защиты, архитектурный дисбаланс и неполная фиксация состояния выполнения затрудняют сопоставление результатов и их воспроизводимость. Мы формулируем 13 открытых исследовательских вопросов, призванных способствовать более систематическому, учитывающему архитектурные особенности и воспроизводимому подходу к оценке безопасности агентного ИИ. - Connecting the Dots in Agentic AI Security: A Cross-Dimensional Threat Taxonomy, Evaluation Maturity, and Open Challenges

См. также другие публикации, посвященные агентам

ИИ в промышленности

Новый выпуск альманаха ИИ в промышленности от МФТИ

Агентские протоколы

См. также другие публикации, посвященные агентам

ИИ-агенты пентестинга

Agents4Pentest — новый класс автономных систем для тестирования на проникновение, основанных на больших языковых моделях (LLM), — стал быстрорастущим направлением исследований в области информационной безопасности. Несмотря на этот рост, в данной сфере до сих пор отсутствуют единая таксономия, систематическое понимание того, как происходила совместная эволюция архитектур агентов и методик их оценки (бенчмарков), а также четкое описание сохраняющихся пробелов в функциональных возможностях и надежности. В данном обзоре эти пробелы устраняются посредством систематического анализа 81 научной работы, опубликованной в период с 2023 по 2026 год. Мы классифицируем изученные материалы по шести категориям: оценочные бенчмарки, системы общего назначения, специализированные (доменно-ориентированные) фреймворки, системы на базе соревнований CTF (Capture The Flag), исследования в области защиты и обзорные работы. Кроме того, мы прослеживаем четыре этапа архитектурной эволюции: от агентов, способных рассуждать исключительно на основе текстовых данных, до агентов, обученных с использованием метода обучения с подкреплением и проверяемыми наградами (RLVR), и показываем, что каждый переход был обусловлен необходимостью преодоления конкретного ограничения функциональности. Наш анализ позволил сформулировать ряд ключевых выводов. Во-первых, внедрение RLVR ознаменовало переход от приобретения навыков путем имитации действий экспертов к самосовершенствованию на основе системы вознаграждений, что позволяет агентам находить ранее не описанные стратегии атак. Во-вторых, платформы CTF эволюционировали из тестовых полигонов в инфраструктуру двойного назначения, пригодную как для оценки агентов, так и для их обучения методами обучения с подкреплением. В-третьих, специализированные фреймворки повышают эффективность за счет механизмов адаптивной специализации, однако их преимущества зачастую ограничены узкими классами задач, а сравнение результатов между различными предметными областями затруднено из-за использования разных методик оценки. В-четвертых, сфера исследований расширяется за пределы автоматизации наступательных действий, охватывая вопросы защиты от состязательных атак и обеспечения соответствия требованиям безопасности. Для всех рассмотренных категорий мы выделяем три взаимосвязанные открытые проблемы: надежность оценки, ограниченная эффективность при выполнении многоэтапных сценариев атак и нехватка качественных данных для обучения. В целом, данный обзор предлагает единую таксономию, методологическую основу для сравнения систем класса Agents4Pentest и план дальнейших исследований в области автономных агентов для тестирования на проникновение. A Survey of LLM-Driven Penetration Testing: Taxonomy, Co-Evolution, and Open Challenges

См. также другие публикации, посвященные агентам

Специальная форма косвенной инъекции

Агенты на базе ИИ действуют на основе запросов пользователя, используя внешние данные и выполняя операции в соответствии с контекстом агента. Предыдущие исследования безопасности таких агентов были сосредоточены главным образом на атаках типа «непрямая инъекция промпта» (indirect prompt injection, IPI). Наиболее изученной их разновидностью является инъекция инструкций (instruction injection), при которой неконтролируемые данные, управляемые злоумышленником, интерпретируются системой как команды. В ответ на это было предложено множество мер защиты, призванных предотвратить подобные атаки. В данной работе мы представляем новую категорию атак IPI — инъекцию данных в агента (agent data injection, ADI). Атаки ADI предполагают внедрение вредоносных данных, замаскированных под доверенные: например, критически важных для безопасности метаданных (идентификаторов ресурсов, сведений об источнике данных) или данных контекста агента (форматов вызова инструментов и ответов на них). В результате агенты непреднамеренно выполняют нежелательные действия, руководствуясь данными, контролируемыми злоумышленником. Последствия атак ADI схожи с последствиями инъекции инструкций, поскольку они также приводят к некорректной работе агентов и выполнению ими незапланированных операций. Несмотря на схожесть последствий, атаки ADI остаются недостаточно изученными и легко обходят существующие механизмы защиты от IPI. Мы обнаружили ряд критических уязвимостей в реальных агентах, позволяющих злоумышленнику проводить различные атаки: от произвольных кликов в веб-агентах (Claude в Chrome, Antigravity, Nanobrowser) до удаленного выполнения кода и атак на цепочку поставок в агентах для написания программного кода (Claude Code, Codex, Gemini CLI). Мы проанализировали уязвимость к ADI в готовых моделях и агентах на базе ИИ и установили, что этот тип атак эффективен как в отношении автономных больших языковых моделей (LLM), так и в системах, использующих агентов. ADI выявляет критический пробел в безопасности агентов, свидетельствующий о том, что в современных системах не соблюдается фундаментальный принцип защиты: доверенные данные не изолируются от недоверенных. - Agent Data Injection Attacks are Realistic Threats to AI Agents

См. также другие публикации, посвященные агентам

О безопасности MCP

Серверы Model Context Protocol (MCP) стали неотъемлемым элементом связи больших языковых моделей (LLM) с внешними инструментами, источниками данных и средами выполнения. Однако наличие у них привилегированного доступа и роль связующего звена создают серьезные угрозы безопасности. Несмотря на существование множества методов обнаружения уязвимостей с использованием LLM, остается неясным, способны ли они различать на уровне семантики пары «уязвимый сервер MCP — исправленный сервер MCP», а не просто выявлять рискованные вызовы API. В данной работе мы представляем специализированный бенчмарк для оценки обнаружения уязвимостей в таких парах серверов MCP; он включает 75 пар инструментов (уязвимых и исправленных), сгенерированных моделью Gemini-1.5-Pro и прошедших ручную перекрестную проверку. Для оценки методов обнаружения мы используем метрику точности на парных образцах (Matched Pair Accuracy, MPA). Модель Claude Haiku-4.5 демонстрирует лучший показатель MPA — 0,853, тогда как GPT-5-mini показывает F1-меру 0,842, но MPA лишь 0,653; это свидетельствует о том, что традиционные метрики могут завышать эффективность обнаружения в парных сценариях. Наш бенчмарк открывает новые возможности для систематической и воспроизводимой оценки безопасности, ориентированной именно на протокол MCP. - Benchmarking MCP Vulnerability Detection from a Paired Evaluation Perspective

См. другие публикации, посвященные MCP

Атаки с помощью ИИ-агентов

Компания Gambit Security сообщает, что злоумышленник, движимый финансовой выгодой, использовал три инструмента на базе ИИ-агентов для взлома интернет-магазинов, кражи данных более 600 000 банковских карт и внедрения платежных скиммеров как минимум на 119 веб-сайтах. Кампания велась в период с июля по меньшей мере до 22 сентября; по оценкам Gambit, затраты злоумышленника на ИИ-сервисы и сопутствующие операции составили от 12 000 до 18 000 долларов. - отсюда

Что особенно интересно - отчет об этой атаке от Gambit включает уже технические подробности организации атак (в отличие от Anthropic и OpenAI, которые в своих отчетах об инцидентах ничего практического не указывали).

См. также другие публикации, посвященные агентам

Вайб-кодинг в кибербезопасности

Что можно делать одним промптом. Коллективное исследование магистров кафедры Информационной безопасности факультета ВМК МГУ имени М.В. Ломоносова

В статье представлены результаты масштабного эксперимента, в котором команды студентов магистратуры ВМК МГУ имени М.В. Ломоносова в рамках курса по безопасности систем Интернета Вещей составляли программы классификации сетевого трафика с помощью больших языковых моделей (LLM). Использование моделей машинного (глубокого) обучения является классической историей для систем обнаружения вторжений. В качестве исходных данных на выбор предлагались доступные датасеты сайта Kaggle. Соответственно, на этом же сайте, вместе с датасетами можно было найти запрограммированные “вручную” модели, которые могли послужить базовыми примерами для сравнения с автоматическими решениями. Задача состояла в разработке подсказок (промптов), проверке их на нескольких LLM и, отдельно, проверке работы англоязычного и русскоязычного варианта подсказок. В целом, во всех проведенных экспериментах LLM работающие модели, которые не уступали по метрикам существующим “ручным” вариантам. Тем не менее, полученные результаты требовали проверки, равно как архитектурные решения, выбранные LLM, не всегда были оптимальными, а иногда и просто неверными, например, в части утечки данных. Это оставляет пока пространство для работы программистов (ML-инженеров).

Sok: безопасность ИИ-агентов

Агентные системы искусственного интеллекта, работающие на базе больших языковых моделей (LLM) и обладающие способностью к планированию, использованию инструментов, запоминанию и автономной деятельности, становятся мощными и гибкими платформами для автоматизации. Их способность автономно выполнять задачи в веб-среде, программных системах и физическом мире порождает новые, усиленные риски безопасности, отличные как от проблем безопасности традиционного ИИ, так и от вопросов защиты обычного программного обеспечения. В данном обзоре представлена таксономия угроз, характерных для агентного ИИ, рассмотрены современные бенчмарки и методики оценки, а также проанализированы стратегии защиты с технической и управленческой точек зрения. Мы обобщаем результаты текущих исследований и выделяем нерешенные задачи, стремясь содействовать разработке агентных систем, изначально проектируемых с учетом требований безопасности (secure-by-design). - Agentic AI Security: Threats, Defenses, Evaluation, and Open Challenges

См. также другие публикации, посвященные агентам

Экзистенциальные риски для человечества

Компания Anthropic (создатель ИИ-модели Claude) в проспекте к IPO предупредит инвесторов, что передовые модели искусственного интеллекта могут представлять экзистенциальные риски для человечества. Описанию факторов риска посвящено около 80 из 261 страницы документа, тогда как на описание бизнеса пришлось 48. Разработчик указывает, что ИИ может демонстрировать поведение, направленное на самосохранение, пытаться противостоять отключению, скрывать информацию и прибегать к шантажу

/via Reuters.

Из жизни ИИ-агентов

1. Еще один стандарт для ИИ-агентов - плагины. Расширение возможностей агентов с помощью плагинов, созданных на основе повторно используемых компонентов. Эту технологию поддерживают OpenAI, Microsoft, Cursor и AWS, но не Google или Anthropic.

2. MCP теперь stateless. Как и HTTP.

См. также другие публикации, посвященные агентам

Атаки на приватные данные

Объяснения в машинном обучении раскрывают поведение модели за пределами прогнозов, создавая поверхности атаки для обеспечения конфиденциальности модели и защиты данных. Мы систематизируем 25 исследований, которые используют объяснения для извлечения модели, вывода принадлежности и инверсии модели, рассматривая вывод атрибутов как частичную инверсию. Существующие работы часто маркируются только как «черный» или «белый ящик», скрывая существенные различия в том, какой сигнал объяснения достигает противника. Поэтому мы разделяем знания модели и получение объяснений и выделяем пять путей: раскрытие со стороны цели, получение со стороны злоумышленника, вторичное раскрытие, привилегированный доступ и раскрытие глобальных артефактов. На этих путях объяснения снижают затраты на извлечение, раскрывают сигналы принадлежности с помощью статистики объяснений, расстояния доступа, и управляемой объяснениями устойчивости, а также поддерживают пространственную или алгебраическую реконструкцию частных входных данных. Мы сравниваем системные и модели угроз, сигналы объяснений, вспомогательные знания, целевые модели, модальности, бюджеты запросов, метрики оценки, сообщаемую производительность и средства защиты. Наш анализ показывает, что ни одно семейство объяснений не является одинаково небезопасным, и ни одна защита не является одинаково эффективной. Риск зависит от того, какой сигнал раскрывается, как он получен, какой актив является целью и что злоумышленник уже знает. Мы утверждаем, что конфиденциальность объяснений следовательно, должна оцениваться как проблема раскрытия информации от начала до конца, при этом средства защиты должны соответствовать пути получения информации и защищаемому активу. - SoK: Privacy Attacks on Machine Learning via Explainable AI

Китайский суд

Верховный народный суд издал «Законодательные заключения по разрешению споров, касающихся искусственного интеллекта». Из Google-перевода:

«Заключение» — это первый судебный документ, касающийся искусственного интеллекта, вынесенный высшим судебным органом страны, и он представляет собой «китайскую судебную мудрость», способствующую позитивному и этичному развитию искусственного интеллекта в глобальном масштабе. В процессе подготовки «Заключения» получили мощную поддержку и помощь от соответствующих центральных правительственных ведомств, представителей индустрии искусственного интеллекта, экспертов, ученых и других слоев общества. Можно сказать, что «Заключение» является одновременно обобщением опыта судебной практики и кульминацией мудрости всех слоев общества.

Руководствуясь идеями Си Цзиньпина о социализме с китайской спецификой в новую эпоху, мы будем всесторонне реализовывать его идеи о верховенстве права, добросовестно воплощать в жизнь важные идеи генерального секретаря Си Цзиньпина о построении сильной кибердержавы, глубоко осознавать, что искусственный интеллект является важной движущей силой нового витка технологической революции и промышленной трансформации, придерживаться принципа равного внимания к развитию и безопасности, а также сочетать продвижение инноваций с управлением в соответствии с законом. Мы будем справедливо и беспристрастно рассматривать дела, касающиеся споров об искусственном интеллекте, в соответствии с законом, содействовать повышению безопасности, надежности, управляемости и справедливости применения технологий искусственного интеллекта, а также предоставлять надежные судебные услуги и гарантии для всестороннего продвижения строительства сильного государства и великого дела национального возрождения посредством модернизации в китайском стиле.

Регулирование в соответствии с законами и нормативными актами таких действий, как «замена лиц и имитация голоса с помощью ИИ» и «воскрешение умерших с помощью ИИ», которые нарушают права личности посредством генеративного искусственного интеллекта. Использование генеративного искусственного интеллекта для обработки имени, портрета и т. д. конкретного физического лица или умершего лица не должно нарушать законы и нормативные акты, а также противоречить общественному порядку и нормам морали. Если иное не предусмотрено законом, если без согласия физического лица используется искусственный интеллект для обработки имени, портрета и т. д. физического лица с целью создания виртуального цифрового изображения, позволяющего идентифицировать это физическое лицо, и это изображение используется и публикуется, и физическое лицо заявляет о нарушении им его прав личности, таких как право на его имя и портрет, Народный суд должен поддержать такие заявления в соответствии с законом. Если иное не предусмотрено законом, и если без согласия физического лица голос физического лица используется в качестве учебного материала для имитации тембра, тона и манеры произношения этого физического лица с целью создания синтетического человеческого голоса, способного идентифицировать это физическое лицо, и физическое лицо заявляет о нарушении им его прав на голос, Народный суд должен поддержать такие заявления в соответствии с законом. Если лицо манипулирует созданным синтетическим виртуальным цифровым изображением или голосом, способным идентифицировать конкретное физическое лицо, с целью совершения неправомерных действий или публикации ложных заявлений, тем самым снижая социальную оценку этого физического лица или других лиц, Народный суд должен определить, что это представляет собой нарушение права на репутацию в соответствии с законом. Если лицо использует технологию искусственного интеллекта для создания или использования виртуального цифрового изображения умершего без разрешения, что приводит к нарушению имени, образа или репутации умершего, и близкие родственники умершего требуют привлечения виновного к гражданской ответственности в соответствии со статьей 994 Гражданского кодекса, Народный суд обязан поддержать такое требование в соответствии с законом.

Правовое определение гражданской ответственности за нарушение прав на персональную информацию в процессе обучения искусственного интеллекта. Обработка персональной информации, добровольно предоставленной лицом или уже предоставленной в рамках закона в разумных пределах для обучения модели искусственного интеллекта, и при условии, что лицо явно не отказалось от нее, как правило, не считается нарушением прав на персональную информацию. Если это оказывает существенное влияние на права лица, необходимо получить согласие лица в соответствии с законом. При определении разумных пределов следует всесторонне учитывать такие факторы, как цель обработки персональной информации, необходимость и целесообразность функционирования модели, тип и степень конфиденциальности обрабатываемой персональной информации, ее потенциальное влияние на права лица, контекст, в котором раскрывается информация, и разумно предвидимый объем использования. (vii) Разумно определить гражданско-правовую ответственность поставщиков услуг генеративного искусственного интеллекта. Если контент, автоматически генерируемый генеративным искусственным интеллектом, нарушает права на репутацию, право на неприкосновенность частной жизни или другие личные права других лиц, и поставщик услуг генеративного искусственного интеллекта не принимает необходимых мер, таких как прекращение генерации контента, нарушающего авторские права, после получения уведомления от правообладателя, он несет гражданско-правовую ответственность за причиненный ущерб в соответствии с законом. Уведомление должно включать предварительные доказательства нарушения и достоверную информацию о личности правообладателя. Если пользователь сети злонамеренно побуждает генеративный искусственный интеллект к генерации контента, нарушающего авторские права, и причиняет вред другим лицам, вводя подсказки, нарушающие авторские права, пользователь сети несет гражданско-правовую ответственность в соответствии с законом; Если после уведомления со стороны правообладателя поставщик услуг генеративного искусственного интеллекта не принимает необходимых мер, таких как прекращение генерации контента, нарушающего авторские права, и блокировка соответствующих инструкций по генерации, и правообладатель требует от пользователя сети и поставщика услуг генеративного искусственного интеллекта привлечения к гражданской ответственности в соответствии со статьей 1195 Гражданского кодекса, народный суд должен поддержать такое требование в соответствии с законом.

В случаях, когда производители или продавцы транспортных средств делают ложные или вводящие в заблуждение заявления относительно уровня автоматизации, интеллекта, производительности или использования автономных транспортных средств или транспортных средств с функциями помощи водителю, тем самым нанося ущерб законным правам и интересам потребителей, и потребители требуют от производителей или продавцов транспортных средств привлечения к гражданской ответственности в соответствии с Гражданским кодексом, Законом о защите прав потребителей и другими соответствующими законами, Народный суд должен поддержать такое требование в соответствии с законом. Для установления причины дорожно-транспортного происшествия народный суд может потребовать от производителя, продавца или оператора транспортного средства, или иного лица, контролирующего данные, предоставить в необходимом объеме достоверные и полные записи о событиях автономного и вспомогательного вождения, а также другие данные, необходимые для установления фактов дела.

Полный текст перевода есть здесь