Паттерны для агентов

GraphRAG: руководство для практиков по 6 продвинутым архитектурным шаблонам. Выход за рамки базового графового поиска: шесть архитектурных решений, готовых к промышленному применению, которые объединяют семантический поиск, графы знаний и логические рассуждения больших языковых моделей (LLM)

Агентные системы: руководство для практиков по 6 продвинутым архитектурным шаблонам. Выход за рамки простых циклов ReAct: шесть архитектур, готовых к промышленному применению, для создания автономных, надежных и масштабируемых LLM-агентов

См. также другие публикации, посвященные агентам

GTIG AI Threat Tracker: от промптинга к автономности — эволюция состязательного ИИ

«За последний квартал злоумышленники перешли от простого взаимодействия с большими языковыми моделями (LLM) через промпты к интеграции возможностей ИИ в различные этапы жизненного цикла атаки», — отмечают в GTIG (Google Threat Intelligence).

«Хотя традиционная автоматизация на основе скриптов давно стала неотъемлемой частью деятельности злоумышленников, группировки все чаще модернизируют эти рабочие процессы, создавая высокоавтономные системы, способные анализировать сложные задачи и принимать динамические решения без участия человека».

В ходе одного из таких инцидентов злоумышленник, преследующий финансовые цели, взломал облачную инфраструктуру организации и развернул автономную мультиагентную систему. Менее чем за шесть часов злоумышленник спланировал, разработал и запустил кампанию по массовому сбору учетных данных, используя ИИ-чат-бот для написания кода, промпт и инструкции для агентов в формате Markdown, сообщает Google. ИИ-агенты управляли процессом сканирования уязвимостей, собирали тысячи сторонних учетных данных, устраняли возникающие проблемы в режиме реального времени, меняли IP-адреса и направляли трафик атаки через легитимные, но скомпрометированные облачные среды, чтобы избежать обнаружения. Такой подход существенно сократил задержки, связанные с участием человека, и уменьшил время, доступное защитникам для реагирования.
В другом случае исследователи обнаружили незащищенный сервер управления (C2), на котором была развернута автоматизированная система разведки и управления учетными данными под названием «Recon». Среди файлов системы были инструкции для ИИ-агентов, базы знаний и артефакты OpenClaw, относящиеся к платформе, которая в реальном времени управляла более чем 23 800 полученными секретными данными, такими как API-ключи.

В отчете GTIG приводятся и другие примеры: связанные с Китаем группировки, занимающиеся кибершпионажем, экспериментировали «с инструментами разработки на базе ИИ для создания автоматизированной системы эксплуатации уязвимостей и постэксплуатации с поддержкой искусственного интеллекта».

Исследователи отмечают, что и другие шпионские группировки — например, российская UNC5792 — интегрировали модели ИИ для автоматизации работы ботов, отслеживающих в Telegram-каналах информацию, представляющую интерес для государственных структур.

Тем не менее, в GTIG подчеркнули, что полностью автономный взлом пока не получил широкого распространения: специалисты не зафиксировали случаев развертывания злоумышленниками полностью автономных систем для поиска уязвимостей нулевого дня и проведения атак на реальные цели. Компания также отметила, что Gemini — ее модель искусственного интеллекта — выявила многие из этих случаев злоупотребления на ранней стадии и отреагировала в соответствии с протоколами безопасности; это позволило Google принять дополнительные меры, пресечь подобные кампании и заблокировать связанные с ними учетные записи.

Случаи злоупотребления инструментами ИИ также были зафиксированы в ходе атак на цепочки поставок, осуществляемых группировкой UNC6780 (TeamPCP), при проведении операций по дистилляции модели Gemini (с использованием 100 миллионов запросов), а также на растущем рынке краденых учетных данных и API-ключей для сервисов ИИ.

Кроме того, поддерживаемые государством группировки продолжают использовать ИИ для разведки, фишинга, разработки вредоносного ПО, эксплуатации уязвимостей, действий на этапе постэксплуатации, обработки данных и ведения пропаганды.

ИИ-червь

Исследование Frontier Red Team компании Anthropic показывает, что небольшие ИИ-модели могут быть способны к автономному самовоспроизводству без доступа к дата-центру. Они могут распространяться по коммерческим IoT-устройствам (умные печи, дешёвые Android TV-приставки), создавая распределённый «ИИ-червь», который крайне сложно остановить из-за отсутствия централизованной точки отключения.

Ключевые выводы
1. Уже сегодня возможно частичное воспроизводство. Модели до 30 млрд параметров способны выполнять многие отдельные шаги для самовоспроизводства, хотя ошибаются при их объединении в цепочку. В упрощённых тестах модели GLM-5.2 и сильнее уже способны к сквозному воспроизводству. Если небольшие модели продолжат улучшаться историческими темпами, они достигнут нужного уровня к концу 2026 года.

2. IoT-устройства — недооценённая угроза. Демонстрация: модель Gemma4-26B-A4B распределённо работала на 15 дешёвых Android TV-приставках (~$55 каждая) со скоростью 0,39 токена/сек. Модель 9B запускалась на 8 из 9 протестированных типов оборудования. Устройства вроде умных холодильников, печей, роботов-пылесосов и газонокосилок могут размещать фрагменты модели.

3. Скорость распространения. ИИ-червь будет распространяться медленно (дни на удвоение), но настойчиво. При заражении 2 млн устройств (как в ботнете Kimwolf) вычислительная мощность составила бы эквивалент ~40 GPU H100. Время настройки инференса: от 28–51 часа для Qwen3.5-9B до 71–150 часов для Gemma4-26B-A4B.

4. Адаптация и эволюция. Модели могут передавать «потомкам» свои заметки, код и стратегии (ламарковская эволюция). Успешность настройки инференса у Qwen3.5-9B росла с 45% в первом поколении до 61–84% в последующих. Обращение к более сильному «советнику» (Opus 4.8) не дало значимого улучшения — малые модели не знают, какие вопросы задавать.

Отличия от традиционных ботнетов
Обычные ботнеты (например, Mirai, Kimwolf) жёстко привязаны к конкретному типу устройств.
ИИ-ботнет не привязан к оборудованию: малые модели настраивают инференс на устройствах от Jetson Nano до Mac.
ИИ-ботнет может использовать несколько стратегий одновременно и адаптироваться.

Рекомендации по защите
Сетевая сигнатура: заражённые устройства обмениваются многогигабайтными модельными «пейлоадами» и поддерживают необычный трафик между собой.
Карантин: опыт Mirai показал, что изоляция заражённых абонентов с уведомлением снизила число инфекций на 92% за 14 дней.
Регулирование: отказ от паролей по умолчанию для IoT-устройств (уже действует в Великобритании).
Ханипоты: для сбора пейлоадов и понимания поведения репликатора.

Прогноз
Авторы ожидают будущее, в котором агенты работают на всех типах оборудования, включая неконтролируемое людьми. Медленные репликаторы станут предвестником более агрессивных и быстрых, способных взламывать защищённые машины. Необходимо укреплять системы уже сейчас, но также готовиться к миру, где такие репликаторы — реальность.

Графовые сети и аномалии во временных рядах

Как выявлять аномальные события (например, системные сбои или атаки) в многомерных временных рядах (таких как данные с датчиков)? Еще более сложная задача — сделать это так, чтобы учитывать сложные взаимосвязи между датчиками, а также обнаруживать и объяснять аномалии, нарушающие эти закономерности. В последнее время методы глубокого обучения позволили улучшить результаты обнаружения аномалий в многомерных данных; однако существующие подходы не обучаются явным образом структуре взаимосвязей между переменными и не используют их для прогнозирования ожидаемого поведения временных рядов. Предлагаемый нами подход сочетает в себе методы обучения структуре и графовые нейронные сети, а также использует веса механизма внимания для обеспечения интерпретируемости обнаруженных аномалий. Эксперименты, проведенные на двух реальных наборах данных с датчиков (содержащих размеченные аномалии), показали, что наш метод выявляет аномалии точнее базовых решений, корректно учитывает взаимосвязи между датчиками и позволяет определить первопричину обнаруженной аномалии. - Graph Neural Network-Based Anomaly Detection in Multivariate Time Series

Выявление и противодействие неправомерному использованию ИИ

Перевод отчета компании Anthropic за сентябрь 2026

В данном отчете освещается деятельность, которую компания пресекла в период с декабря 2025 года по август 2026 года в семи областях, представляющих угрозу: кибероперации, операции по оказанию влияния, слежка, мошенничество и фальсификации, злоупотребление биологическими средствами, разработка обычных вооружений и дистилляция.

Безопасна ли криптография?

"Как уже отмечали многие, криптография — это область, чье отсутствие в списке из 376 научных работ OpenAI бросается в глаза! Однако, по сведениям моих источников, компании, занимающиеся искусственным интеллектом, начали — осторожно и не привлекая лишнего внимания — выяснять, способны ли их новейшие внутренние модели взламывать важные криптографические протоколы и примитивы. И если это возможно, то, безусловно, было бы разумно сыграть на опережение, прежде чем к такому же выводу придет остальной мир." - отсюда

Изменение требований ФСТЭК к ИИ

Защита информации в ГИС при использовании искусственного интеллекта скоро будет регулироваться иначе. ФСТЭК России вынесла на обсуждение проект изменений в Требования, утверждённые приказом от 11 апреля 2025 года № 117: проект 170500 на regulation.gov.ru - отсюда

См. также другие публикации по теме ФСТЭК

ИИ в сетевой кибербезопасности

Отчет от InfoWatch - Искусственный интеллект в сетевой кибербезопасности

Наценка для токенов

1 сентября вступил в силу ФЗ №243-ФЗ «О поддержке развития технологий искусственного интеллекта». Под него попадают большие фундаментальные модели от 1 млрд параметров. Закон делит их на «суверенные», то есть полностью российские и «национальные». В последних допускаются зарубежные компоненты под открытыми лицензиями. Эти нормы заработают с 1 марта 2027 года. Первое следствие появилось через неделю.

8 сентября «Коммерсантъ» сообщил о проекте постановления правительства: в госуправлении, КИИ, образовании, здравоохранении и ряде других сфер суверенную модель придется использовать, если она дороже национальной не более чем в полтора раза. В Минцифры подтвердили, что обсуждение идет, но называют перечень «сводным» и говорить о нем — «преждевременно». Для рынка это значит, что у токена в регулируемых отраслях может появиться регуляторная наценка до 50%.

Военные применения Интернета Вещей

Книга в открытом доступе: Military Applications of Internet of Things

Кванты и безопасность коммуникаций

Книга в открытом доступе: Quantum Communications and Enhancing Security

Физическая криптография

Книга в открытом доступе Data Encryption at the Intersection of Mathematics and Physics

Математика для промышленности

Интересная серия книг от Springer. Например, Математические основы постквантовой криптографии - книга с открытым доступом, которая представляет математические основы криптографии, безопасно используемой в эпоху квантовых компьютеров. В частности, эта книга направлена на углубление базовой математики постквантовой криптографии, моделирование самых сильных возможных атак, таких как атаки с побочными каналами, и создание криптографических протоколов, гарантирующих защиту от таких атак. Книга подходит для использования в продвинутом курсе по математической криптографии и в качестве справочника для экспертов.

Графы для ИИ-агентов

Графовая инженерия для ИИ-агентов: от промптов и циклов к рабочим процессам

См. также другие публикации, посвященные агентам

Архитектура защиты для ИИ-агентов

Как спроектировать архитектурные защитные механизмы для ИИ-агентов. Паттерны проектирования агентов, которые должен знать каждый дата-инженер

См. также другие публикации, посвященные агентам

Комплексная таксономия агентской безопасности

Безопасность агентного ИИ (agentic AI) выходит за рамки защиты генерируемого контента и охватывает такие аспекты, как сохраняемое состояние, автономные действия, использование внешних инструментов, а также взаимодействие с людьми и другими агентами. Существующие классификации угроз часто делают упор на отдельные аспекты, оставляя в тени взаимосвязи между точками проникновения, уязвимыми компонентами и последствиями для безопасности. Кроме того, реальная картина угроз отличается от того спектра проблем, который охвачен в эмпирических исследованиях.
На основе структурированного обзора 66 исследований, опубликованных в период с 2022 по 2026 год, мы предлагаем модель T = ⟨S, B, P, A⟩ — многомерное представление, связывающее затронутые функциональные или системные области (S), границы взаимодействия или доверия (B), нарушенные свойства безопасности (P) и архитектуры, изученные эмпирическим путем (A). Мы анализируем 22 исследования, включающих практические эксперименты по тестированию на проникновение (red-teaming), и 11 репрезентативных бенчмарков безопасности, чтобы оценить полноту эмпирического охвата и уровень зрелости методов оценки. В рассмотренных работах основное внимание уделяется атакам, связанным с промптами и процессами рассуждения (reasoning), памятью и использованием инструментов, причем преимущественно в сценариях с одним агентом. Угрозы, связанные с сохраняемым состоянием, взаимодействием «человек-агент», сложными мультиагентными системами, системными уязвимостями и долгосрочными сценариями работы, изучены в меньшей степени. Полученные результаты характеризуют выбранный массив исследований, а не указывают на пробелы во всей области эмпирических изысканий в целом. Разнородность метрик, недостаточная оценка адаптивных механизмов защиты, архитектурный дисбаланс и неполная фиксация состояния выполнения затрудняют сопоставление результатов и их воспроизводимость. Мы формулируем 13 открытых исследовательских вопросов, призванных способствовать более систематическому, учитывающему архитектурные особенности и воспроизводимому подходу к оценке безопасности агентного ИИ. - Connecting the Dots in Agentic AI Security: A Cross-Dimensional Threat Taxonomy, Evaluation Maturity, and Open Challenges

См. также другие публикации, посвященные агентам

ИИ в промышленности

Новый выпуск альманаха ИИ в промышленности от МФТИ

Агентские протоколы

См. также другие публикации, посвященные агентам