Выявление и противодействие неправомерному использованию ИИ

Перевод отчета компании Anthropic за сентябрь 2026

В данном отчете освещается деятельность, которую компания пресекла в период с декабря 2025 года по август 2026 года в семи областях, представляющих угрозу: кибероперации, операции по оказанию влияния, слежка, мошенничество и фальсификации, злоупотребление биологическими средствами, разработка обычных вооружений и дистилляция.

Безопасна ли криптография?

"Как уже отмечали многие, криптография — это область, чье отсутствие в списке из 376 научных работ OpenAI бросается в глаза! Однако, по сведениям моих источников, компании, занимающиеся искусственным интеллектом, начали — осторожно и не привлекая лишнего внимания — выяснять, способны ли их новейшие внутренние модели взламывать важные криптографические протоколы и примитивы. И если это возможно, то, безусловно, было бы разумно сыграть на опережение, прежде чем к такому же выводу придет остальной мир." - отсюда

Изменение требований ФСТЭК к ИИ

Защита информации в ГИС при использовании искусственного интеллекта скоро будет регулироваться иначе. ФСТЭК России вынесла на обсуждение проект изменений в Требования, утверждённые приказом от 11 апреля 2025 года № 117: проект 170500 на regulation.gov.ru - отсюда

См. также другие публикации по теме ФСТЭК

ИИ в сетевой кибербезопасности

Отчет от InfoWatch - Искусственный интеллект в сетевой кибербезопасности

Наценка для токенов

1 сентября вступил в силу ФЗ №243-ФЗ «О поддержке развития технологий искусственного интеллекта». Под него попадают большие фундаментальные модели от 1 млрд параметров. Закон делит их на «суверенные», то есть полностью российские и «национальные». В последних допускаются зарубежные компоненты под открытыми лицензиями. Эти нормы заработают с 1 марта 2027 года. Первое следствие появилось через неделю.

8 сентября «Коммерсантъ» сообщил о проекте постановления правительства: в госуправлении, КИИ, образовании, здравоохранении и ряде других сфер суверенную модель придется использовать, если она дороже национальной не более чем в полтора раза. В Минцифры подтвердили, что обсуждение идет, но называют перечень «сводным» и говорить о нем — «преждевременно». Для рынка это значит, что у токена в регулируемых отраслях может появиться регуляторная наценка до 50%.

Военные применения Интернета Вещей

Книга в открытом доступе: Military Applications of Internet of Things

Кванты и безопасность коммуникаций

Книга в открытом доступе: Quantum Communications and Enhancing Security

Физическая криптография

Книга в открытом доступе Data Encryption at the Intersection of Mathematics and Physics

Математика для промышленности

Интересная серия книг от Springer. Например, Математические основы постквантовой криптографии - книга с открытым доступом, которая представляет математические основы криптографии, безопасно используемой в эпоху квантовых компьютеров. В частности, эта книга направлена на углубление базовой математики постквантовой криптографии, моделирование самых сильных возможных атак, таких как атаки с побочными каналами, и создание криптографических протоколов, гарантирующих защиту от таких атак. Книга подходит для использования в продвинутом курсе по математической криптографии и в качестве справочника для экспертов.

Графы для ИИ-агентов

Графовая инженерия для ИИ-агентов: от промптов и циклов к рабочим процессам

См. также другие публикации, посвященные агентам

Архитектура защиты для ИИ-агентов

Как спроектировать архитектурные защитные механизмы для ИИ-агентов. Паттерны проектирования агентов, которые должен знать каждый дата-инженер

См. также другие публикации, посвященные агентам

Комплексная таксономия агентской безопасности

Безопасность агентного ИИ (agentic AI) выходит за рамки защиты генерируемого контента и охватывает такие аспекты, как сохраняемое состояние, автономные действия, использование внешних инструментов, а также взаимодействие с людьми и другими агентами. Существующие классификации угроз часто делают упор на отдельные аспекты, оставляя в тени взаимосвязи между точками проникновения, уязвимыми компонентами и последствиями для безопасности. Кроме того, реальная картина угроз отличается от того спектра проблем, который охвачен в эмпирических исследованиях.
На основе структурированного обзора 66 исследований, опубликованных в период с 2022 по 2026 год, мы предлагаем модель T = ⟨S, B, P, A⟩ — многомерное представление, связывающее затронутые функциональные или системные области (S), границы взаимодействия или доверия (B), нарушенные свойства безопасности (P) и архитектуры, изученные эмпирическим путем (A). Мы анализируем 22 исследования, включающих практические эксперименты по тестированию на проникновение (red-teaming), и 11 репрезентативных бенчмарков безопасности, чтобы оценить полноту эмпирического охвата и уровень зрелости методов оценки. В рассмотренных работах основное внимание уделяется атакам, связанным с промптами и процессами рассуждения (reasoning), памятью и использованием инструментов, причем преимущественно в сценариях с одним агентом. Угрозы, связанные с сохраняемым состоянием, взаимодействием «человек-агент», сложными мультиагентными системами, системными уязвимостями и долгосрочными сценариями работы, изучены в меньшей степени. Полученные результаты характеризуют выбранный массив исследований, а не указывают на пробелы во всей области эмпирических изысканий в целом. Разнородность метрик, недостаточная оценка адаптивных механизмов защиты, архитектурный дисбаланс и неполная фиксация состояния выполнения затрудняют сопоставление результатов и их воспроизводимость. Мы формулируем 13 открытых исследовательских вопросов, призванных способствовать более систематическому, учитывающему архитектурные особенности и воспроизводимому подходу к оценке безопасности агентного ИИ. - Connecting the Dots in Agentic AI Security: A Cross-Dimensional Threat Taxonomy, Evaluation Maturity, and Open Challenges

См. также другие публикации, посвященные агентам

ИИ в промышленности

Новый выпуск альманаха ИИ в промышленности от МФТИ

Агентские протоколы

См. также другие публикации, посвященные агентам

ИИ-агенты пентестинга

Agents4Pentest — новый класс автономных систем для тестирования на проникновение, основанных на больших языковых моделях (LLM), — стал быстрорастущим направлением исследований в области информационной безопасности. Несмотря на этот рост, в данной сфере до сих пор отсутствуют единая таксономия, систематическое понимание того, как происходила совместная эволюция архитектур агентов и методик их оценки (бенчмарков), а также четкое описание сохраняющихся пробелов в функциональных возможностях и надежности. В данном обзоре эти пробелы устраняются посредством систематического анализа 81 научной работы, опубликованной в период с 2023 по 2026 год. Мы классифицируем изученные материалы по шести категориям: оценочные бенчмарки, системы общего назначения, специализированные (доменно-ориентированные) фреймворки, системы на базе соревнований CTF (Capture The Flag), исследования в области защиты и обзорные работы. Кроме того, мы прослеживаем четыре этапа архитектурной эволюции: от агентов, способных рассуждать исключительно на основе текстовых данных, до агентов, обученных с использованием метода обучения с подкреплением и проверяемыми наградами (RLVR), и показываем, что каждый переход был обусловлен необходимостью преодоления конкретного ограничения функциональности. Наш анализ позволил сформулировать ряд ключевых выводов. Во-первых, внедрение RLVR ознаменовало переход от приобретения навыков путем имитации действий экспертов к самосовершенствованию на основе системы вознаграждений, что позволяет агентам находить ранее не описанные стратегии атак. Во-вторых, платформы CTF эволюционировали из тестовых полигонов в инфраструктуру двойного назначения, пригодную как для оценки агентов, так и для их обучения методами обучения с подкреплением. В-третьих, специализированные фреймворки повышают эффективность за счет механизмов адаптивной специализации, однако их преимущества зачастую ограничены узкими классами задач, а сравнение результатов между различными предметными областями затруднено из-за использования разных методик оценки. В-четвертых, сфера исследований расширяется за пределы автоматизации наступательных действий, охватывая вопросы защиты от состязательных атак и обеспечения соответствия требованиям безопасности. Для всех рассмотренных категорий мы выделяем три взаимосвязанные открытые проблемы: надежность оценки, ограниченная эффективность при выполнении многоэтапных сценариев атак и нехватка качественных данных для обучения. В целом, данный обзор предлагает единую таксономию, методологическую основу для сравнения систем класса Agents4Pentest и план дальнейших исследований в области автономных агентов для тестирования на проникновение. A Survey of LLM-Driven Penetration Testing: Taxonomy, Co-Evolution, and Open Challenges

См. также другие публикации, посвященные агентам

Специальная форма косвенной инъекции

Агенты на базе ИИ действуют на основе запросов пользователя, используя внешние данные и выполняя операции в соответствии с контекстом агента. Предыдущие исследования безопасности таких агентов были сосредоточены главным образом на атаках типа «непрямая инъекция промпта» (indirect prompt injection, IPI). Наиболее изученной их разновидностью является инъекция инструкций (instruction injection), при которой неконтролируемые данные, управляемые злоумышленником, интерпретируются системой как команды. В ответ на это было предложено множество мер защиты, призванных предотвратить подобные атаки. В данной работе мы представляем новую категорию атак IPI — инъекцию данных в агента (agent data injection, ADI). Атаки ADI предполагают внедрение вредоносных данных, замаскированных под доверенные: например, критически важных для безопасности метаданных (идентификаторов ресурсов, сведений об источнике данных) или данных контекста агента (форматов вызова инструментов и ответов на них). В результате агенты непреднамеренно выполняют нежелательные действия, руководствуясь данными, контролируемыми злоумышленником. Последствия атак ADI схожи с последствиями инъекции инструкций, поскольку они также приводят к некорректной работе агентов и выполнению ими незапланированных операций. Несмотря на схожесть последствий, атаки ADI остаются недостаточно изученными и легко обходят существующие механизмы защиты от IPI. Мы обнаружили ряд критических уязвимостей в реальных агентах, позволяющих злоумышленнику проводить различные атаки: от произвольных кликов в веб-агентах (Claude в Chrome, Antigravity, Nanobrowser) до удаленного выполнения кода и атак на цепочку поставок в агентах для написания программного кода (Claude Code, Codex, Gemini CLI). Мы проанализировали уязвимость к ADI в готовых моделях и агентах на базе ИИ и установили, что этот тип атак эффективен как в отношении автономных больших языковых моделей (LLM), так и в системах, использующих агентов. ADI выявляет критический пробел в безопасности агентов, свидетельствующий о том, что в современных системах не соблюдается фундаментальный принцип защиты: доверенные данные не изолируются от недоверенных. - Agent Data Injection Attacks are Realistic Threats to AI Agents

См. также другие публикации, посвященные агентам

О безопасности MCP

Серверы Model Context Protocol (MCP) стали неотъемлемым элементом связи больших языковых моделей (LLM) с внешними инструментами, источниками данных и средами выполнения. Однако наличие у них привилегированного доступа и роль связующего звена создают серьезные угрозы безопасности. Несмотря на существование множества методов обнаружения уязвимостей с использованием LLM, остается неясным, способны ли они различать на уровне семантики пары «уязвимый сервер MCP — исправленный сервер MCP», а не просто выявлять рискованные вызовы API. В данной работе мы представляем специализированный бенчмарк для оценки обнаружения уязвимостей в таких парах серверов MCP; он включает 75 пар инструментов (уязвимых и исправленных), сгенерированных моделью Gemini-1.5-Pro и прошедших ручную перекрестную проверку. Для оценки методов обнаружения мы используем метрику точности на парных образцах (Matched Pair Accuracy, MPA). Модель Claude Haiku-4.5 демонстрирует лучший показатель MPA — 0,853, тогда как GPT-5-mini показывает F1-меру 0,842, но MPA лишь 0,653; это свидетельствует о том, что традиционные метрики могут завышать эффективность обнаружения в парных сценариях. Наш бенчмарк открывает новые возможности для систематической и воспроизводимой оценки безопасности, ориентированной именно на протокол MCP. - Benchmarking MCP Vulnerability Detection from a Paired Evaluation Perspective

См. другие публикации, посвященные MCP

Атаки с помощью ИИ-агентов

Компания Gambit Security сообщает, что злоумышленник, движимый финансовой выгодой, использовал три инструмента на базе ИИ-агентов для взлома интернет-магазинов, кражи данных более 600 000 банковских карт и внедрения платежных скиммеров как минимум на 119 веб-сайтах. Кампания велась в период с июля по меньшей мере до 22 сентября; по оценкам Gambit, затраты злоумышленника на ИИ-сервисы и сопутствующие операции составили от 12 000 до 18 000 долларов. - отсюда

Что особенно интересно - отчет об этой атаке от Gambit включает уже технические подробности организации атак (в отличие от Anthropic и OpenAI, которые в своих отчетах об инцидентах ничего практического не указывали).

См. также другие публикации, посвященные агентам