ИИ-червь

Исследование Frontier Red Team компании Anthropic показывает, что небольшие ИИ-модели могут быть способны к автономному самовоспроизводству без доступа к дата-центру. Они могут распространяться по коммерческим IoT-устройствам (умные печи, дешёвые Android TV-приставки), создавая распределённый «ИИ-червь», который крайне сложно остановить из-за отсутствия централизованной точки отключения.

Ключевые выводы
1. Уже сегодня возможно частичное воспроизводство. Модели до 30 млрд параметров способны выполнять многие отдельные шаги для самовоспроизводства, хотя ошибаются при их объединении в цепочку. В упрощённых тестах модели GLM-5.2 и сильнее уже способны к сквозному воспроизводству. Если небольшие модели продолжат улучшаться историческими темпами, они достигнут нужного уровня к концу 2026 года.

2. IoT-устройства — недооценённая угроза. Демонстрация: модель Gemma4-26B-A4B распределённо работала на 15 дешёвых Android TV-приставках (~$55 каждая) со скоростью 0,39 токена/сек. Модель 9B запускалась на 8 из 9 протестированных типов оборудования. Устройства вроде умных холодильников, печей, роботов-пылесосов и газонокосилок могут размещать фрагменты модели.

3. Скорость распространения. ИИ-червь будет распространяться медленно (дни на удвоение), но настойчиво. При заражении 2 млн устройств (как в ботнете Kimwolf) вычислительная мощность составила бы эквивалент ~40 GPU H100. Время настройки инференса: от 28–51 часа для Qwen3.5-9B до 71–150 часов для Gemma4-26B-A4B.

4. Адаптация и эволюция. Модели могут передавать «потомкам» свои заметки, код и стратегии (ламарковская эволюция). Успешность настройки инференса у Qwen3.5-9B росла с 45% в первом поколении до 61–84% в последующих. Обращение к более сильному «советнику» (Opus 4.8) не дало значимого улучшения — малые модели не знают, какие вопросы задавать.

Отличия от традиционных ботнетов
Обычные ботнеты (например, Mirai, Kimwolf) жёстко привязаны к конкретному типу устройств.
ИИ-ботнет не привязан к оборудованию: малые модели настраивают инференс на устройствах от Jetson Nano до Mac.
ИИ-ботнет может использовать несколько стратегий одновременно и адаптироваться.

Рекомендации по защите
Сетевая сигнатура: заражённые устройства обмениваются многогигабайтными модельными «пейлоадами» и поддерживают необычный трафик между собой.
Карантин: опыт Mirai показал, что изоляция заражённых абонентов с уведомлением снизила число инфекций на 92% за 14 дней.
Регулирование: отказ от паролей по умолчанию для IoT-устройств (уже действует в Великобритании).
Ханипоты: для сбора пейлоадов и понимания поведения репликатора.

Прогноз
Авторы ожидают будущее, в котором агенты работают на всех типах оборудования, включая неконтролируемое людьми. Медленные репликаторы станут предвестником более агрессивных и быстрых, способных взламывать защищённые машины. Необходимо укреплять системы уже сейчас, но также готовиться к миру, где такие репликаторы — реальность.

Графовые сети и аномалии во временных рядах

Как выявлять аномальные события (например, системные сбои или атаки) в многомерных временных рядах (таких как данные с датчиков)? Еще более сложная задача — сделать это так, чтобы учитывать сложные взаимосвязи между датчиками, а также обнаруживать и объяснять аномалии, нарушающие эти закономерности. В последнее время методы глубокого обучения позволили улучшить результаты обнаружения аномалий в многомерных данных; однако существующие подходы не обучаются явным образом структуре взаимосвязей между переменными и не используют их для прогнозирования ожидаемого поведения временных рядов. Предлагаемый нами подход сочетает в себе методы обучения структуре и графовые нейронные сети, а также использует веса механизма внимания для обеспечения интерпретируемости обнаруженных аномалий. Эксперименты, проведенные на двух реальных наборах данных с датчиков (содержащих размеченные аномалии), показали, что наш метод выявляет аномалии точнее базовых решений, корректно учитывает взаимосвязи между датчиками и позволяет определить первопричину обнаруженной аномалии. - Graph Neural Network-Based Anomaly Detection in Multivariate Time Series

Выявление и противодействие неправомерному использованию ИИ

Перевод отчета компании Anthropic за сентябрь 2026

В данном отчете освещается деятельность, которую компания пресекла в период с декабря 2025 года по август 2026 года в семи областях, представляющих угрозу: кибероперации, операции по оказанию влияния, слежка, мошенничество и фальсификации, злоупотребление биологическими средствами, разработка обычных вооружений и дистилляция.

Безопасна ли криптография?

"Как уже отмечали многие, криптография — это область, чье отсутствие в списке из 376 научных работ OpenAI бросается в глаза! Однако, по сведениям моих источников, компании, занимающиеся искусственным интеллектом, начали — осторожно и не привлекая лишнего внимания — выяснять, способны ли их новейшие внутренние модели взламывать важные криптографические протоколы и примитивы. И если это возможно, то, безусловно, было бы разумно сыграть на опережение, прежде чем к такому же выводу придет остальной мир." - отсюда

Изменение требований ФСТЭК к ИИ

Защита информации в ГИС при использовании искусственного интеллекта скоро будет регулироваться иначе. ФСТЭК России вынесла на обсуждение проект изменений в Требования, утверждённые приказом от 11 апреля 2025 года № 117: проект 170500 на regulation.gov.ru - отсюда

См. также другие публикации по теме ФСТЭК

ИИ в сетевой кибербезопасности

Отчет от InfoWatch - Искусственный интеллект в сетевой кибербезопасности

Наценка для токенов

1 сентября вступил в силу ФЗ №243-ФЗ «О поддержке развития технологий искусственного интеллекта». Под него попадают большие фундаментальные модели от 1 млрд параметров. Закон делит их на «суверенные», то есть полностью российские и «национальные». В последних допускаются зарубежные компоненты под открытыми лицензиями. Эти нормы заработают с 1 марта 2027 года. Первое следствие появилось через неделю.

8 сентября «Коммерсантъ» сообщил о проекте постановления правительства: в госуправлении, КИИ, образовании, здравоохранении и ряде других сфер суверенную модель придется использовать, если она дороже национальной не более чем в полтора раза. В Минцифры подтвердили, что обсуждение идет, но называют перечень «сводным» и говорить о нем — «преждевременно». Для рынка это значит, что у токена в регулируемых отраслях может появиться регуляторная наценка до 50%.

Военные применения Интернета Вещей

Книга в открытом доступе: Military Applications of Internet of Things

Кванты и безопасность коммуникаций

Книга в открытом доступе: Quantum Communications and Enhancing Security

Физическая криптография

Книга в открытом доступе Data Encryption at the Intersection of Mathematics and Physics

Математика для промышленности

Интересная серия книг от Springer. Например, Математические основы постквантовой криптографии - книга с открытым доступом, которая представляет математические основы криптографии, безопасно используемой в эпоху квантовых компьютеров. В частности, эта книга направлена на углубление базовой математики постквантовой криптографии, моделирование самых сильных возможных атак, таких как атаки с побочными каналами, и создание криптографических протоколов, гарантирующих защиту от таких атак. Книга подходит для использования в продвинутом курсе по математической криптографии и в качестве справочника для экспертов.

Графы для ИИ-агентов

Графовая инженерия для ИИ-агентов: от промптов и циклов к рабочим процессам

См. также другие публикации, посвященные агентам

Архитектура защиты для ИИ-агентов

Как спроектировать архитектурные защитные механизмы для ИИ-агентов. Паттерны проектирования агентов, которые должен знать каждый дата-инженер

См. также другие публикации, посвященные агентам

Комплексная таксономия агентской безопасности

Безопасность агентного ИИ (agentic AI) выходит за рамки защиты генерируемого контента и охватывает такие аспекты, как сохраняемое состояние, автономные действия, использование внешних инструментов, а также взаимодействие с людьми и другими агентами. Существующие классификации угроз часто делают упор на отдельные аспекты, оставляя в тени взаимосвязи между точками проникновения, уязвимыми компонентами и последствиями для безопасности. Кроме того, реальная картина угроз отличается от того спектра проблем, который охвачен в эмпирических исследованиях.
На основе структурированного обзора 66 исследований, опубликованных в период с 2022 по 2026 год, мы предлагаем модель T = ⟨S, B, P, A⟩ — многомерное представление, связывающее затронутые функциональные или системные области (S), границы взаимодействия или доверия (B), нарушенные свойства безопасности (P) и архитектуры, изученные эмпирическим путем (A). Мы анализируем 22 исследования, включающих практические эксперименты по тестированию на проникновение (red-teaming), и 11 репрезентативных бенчмарков безопасности, чтобы оценить полноту эмпирического охвата и уровень зрелости методов оценки. В рассмотренных работах основное внимание уделяется атакам, связанным с промптами и процессами рассуждения (reasoning), памятью и использованием инструментов, причем преимущественно в сценариях с одним агентом. Угрозы, связанные с сохраняемым состоянием, взаимодействием «человек-агент», сложными мультиагентными системами, системными уязвимостями и долгосрочными сценариями работы, изучены в меньшей степени. Полученные результаты характеризуют выбранный массив исследований, а не указывают на пробелы во всей области эмпирических изысканий в целом. Разнородность метрик, недостаточная оценка адаптивных механизмов защиты, архитектурный дисбаланс и неполная фиксация состояния выполнения затрудняют сопоставление результатов и их воспроизводимость. Мы формулируем 13 открытых исследовательских вопросов, призванных способствовать более систематическому, учитывающему архитектурные особенности и воспроизводимому подходу к оценке безопасности агентного ИИ. - Connecting the Dots in Agentic AI Security: A Cross-Dimensional Threat Taxonomy, Evaluation Maturity, and Open Challenges

См. также другие публикации, посвященные агентам

ИИ в промышленности

Новый выпуск альманаха ИИ в промышленности от МФТИ

Агентские протоколы

См. также другие публикации, посвященные агентам

ИИ-агенты пентестинга

Agents4Pentest — новый класс автономных систем для тестирования на проникновение, основанных на больших языковых моделях (LLM), — стал быстрорастущим направлением исследований в области информационной безопасности. Несмотря на этот рост, в данной сфере до сих пор отсутствуют единая таксономия, систематическое понимание того, как происходила совместная эволюция архитектур агентов и методик их оценки (бенчмарков), а также четкое описание сохраняющихся пробелов в функциональных возможностях и надежности. В данном обзоре эти пробелы устраняются посредством систематического анализа 81 научной работы, опубликованной в период с 2023 по 2026 год. Мы классифицируем изученные материалы по шести категориям: оценочные бенчмарки, системы общего назначения, специализированные (доменно-ориентированные) фреймворки, системы на базе соревнований CTF (Capture The Flag), исследования в области защиты и обзорные работы. Кроме того, мы прослеживаем четыре этапа архитектурной эволюции: от агентов, способных рассуждать исключительно на основе текстовых данных, до агентов, обученных с использованием метода обучения с подкреплением и проверяемыми наградами (RLVR), и показываем, что каждый переход был обусловлен необходимостью преодоления конкретного ограничения функциональности. Наш анализ позволил сформулировать ряд ключевых выводов. Во-первых, внедрение RLVR ознаменовало переход от приобретения навыков путем имитации действий экспертов к самосовершенствованию на основе системы вознаграждений, что позволяет агентам находить ранее не описанные стратегии атак. Во-вторых, платформы CTF эволюционировали из тестовых полигонов в инфраструктуру двойного назначения, пригодную как для оценки агентов, так и для их обучения методами обучения с подкреплением. В-третьих, специализированные фреймворки повышают эффективность за счет механизмов адаптивной специализации, однако их преимущества зачастую ограничены узкими классами задач, а сравнение результатов между различными предметными областями затруднено из-за использования разных методик оценки. В-четвертых, сфера исследований расширяется за пределы автоматизации наступательных действий, охватывая вопросы защиты от состязательных атак и обеспечения соответствия требованиям безопасности. Для всех рассмотренных категорий мы выделяем три взаимосвязанные открытые проблемы: надежность оценки, ограниченная эффективность при выполнении многоэтапных сценариев атак и нехватка качественных данных для обучения. В целом, данный обзор предлагает единую таксономию, методологическую основу для сравнения систем класса Agents4Pentest и план дальнейших исследований в области автономных агентов для тестирования на проникновение. A Survey of LLM-Driven Penetration Testing: Taxonomy, Co-Evolution, and Open Challenges

См. также другие публикации, посвященные агентам

Специальная форма косвенной инъекции

Агенты на базе ИИ действуют на основе запросов пользователя, используя внешние данные и выполняя операции в соответствии с контекстом агента. Предыдущие исследования безопасности таких агентов были сосредоточены главным образом на атаках типа «непрямая инъекция промпта» (indirect prompt injection, IPI). Наиболее изученной их разновидностью является инъекция инструкций (instruction injection), при которой неконтролируемые данные, управляемые злоумышленником, интерпретируются системой как команды. В ответ на это было предложено множество мер защиты, призванных предотвратить подобные атаки. В данной работе мы представляем новую категорию атак IPI — инъекцию данных в агента (agent data injection, ADI). Атаки ADI предполагают внедрение вредоносных данных, замаскированных под доверенные: например, критически важных для безопасности метаданных (идентификаторов ресурсов, сведений об источнике данных) или данных контекста агента (форматов вызова инструментов и ответов на них). В результате агенты непреднамеренно выполняют нежелательные действия, руководствуясь данными, контролируемыми злоумышленником. Последствия атак ADI схожи с последствиями инъекции инструкций, поскольку они также приводят к некорректной работе агентов и выполнению ими незапланированных операций. Несмотря на схожесть последствий, атаки ADI остаются недостаточно изученными и легко обходят существующие механизмы защиты от IPI. Мы обнаружили ряд критических уязвимостей в реальных агентах, позволяющих злоумышленнику проводить различные атаки: от произвольных кликов в веб-агентах (Claude в Chrome, Antigravity, Nanobrowser) до удаленного выполнения кода и атак на цепочку поставок в агентах для написания программного кода (Claude Code, Codex, Gemini CLI). Мы проанализировали уязвимость к ADI в готовых моделях и агентах на базе ИИ и установили, что этот тип атак эффективен как в отношении автономных больших языковых моделей (LLM), так и в системах, использующих агентов. ADI выявляет критический пробел в безопасности агентов, свидетельствующий о том, что в современных системах не соблюдается фундаментальный принцип защиты: доверенные данные не изолируются от недоверенных. - Agent Data Injection Attacks are Realistic Threats to AI Agents

См. также другие публикации, посвященные агентам