О проверке программного обеспечения

Большие языковые модели (LLM) делают формальную верификацию программного обеспечения возможной в гораздо более широких масштабах.

Из отчета Anthropic: "Большинство программных продуктов изобилуют ошибками, которые теперь легко могут быть обнаружены и использованы злоумышленниками с помощью ИИ. Стандартные средства защиты от кибератак перестали быть эффективными: необходимы методы, позволяющие доказать отсутствие ошибок в коде. Формальная верификация программного обеспечения могла бы обеспечить такую гарантию, однако исторически она требовала многолетних усилий экспертов, что делало её непрактичной для большинства реальных проектов. В рамках сотрудничества с компанией Theorem мы показали, что ситуация изменилась: теперь LLM способны создавать формальные доказательства в больших масштабах. Это открывает новые подходы к разработке программного обеспечения, включающие подтверждённые гарантии безопасности. Используя модель Claude, мы доказали свойства безопасности на уровне ассемблерного кода (архитектура RISC-V) для более чем 100 реальных библиотек с открытым исходным кодом. Насколько нам известно, это первая масштабная попытка применения ИИ для формальной верификации промышленного программного обеспечения на уровне ассемблерного кода. В процессе подготовки доказательств Claude также обнаружил ошибки, которые оставались незамеченными годами, несмотря на триллионы выполненных тестовых запусков. По мере дальнейшего совершенствования возможностей моделей мы ожидаем, что формальная верификация станет неотъемлемой частью процесса разработки безопасного программного обеспечения."

Нарезка для RAG

Фиксированный размер (Fixed-Size): текст разбивается на фрагменты через заданное количество токенов с небольшим перекрытием.

Рекурсивный (Recursive): сначала текст делится на абзацы; если фрагмент остается слишком большим, применяется разбиение по строкам, затем по словам и, наконец, по отдельным символам.

На основе структуры документа (Document-Based): разбиение происходит в местах, где в документе уже предусмотрены логические разрывы — например, заголовки, главы или HTML-теги (в случае с Markdown-файлами каждый раздел становится отдельным фрагментом).

Семантический (Semantic): каждое предложение преобразуется в вектор (эмбеддинг); алгоритм оценивает его сходство с предыдущим предложением и создает новый фрагмент, когда уровень сходства падает. Это позволяет выявлять реальные смысловые переходы, а не просто полагаться на длину текста.

На основе LLM (LLM-Based): языковая модель (LLM) переписывает текст, превращая его в набор самостоятельных утверждений (по одному на строку), каждое из которых становится отдельным фрагментом. Метод обеспечивает высокое качество, но требует значительных затрат при обработке больших объемов данных.

Агентный (Agentic): ИИ-агент анализирует каждый документ, определяет его тип (например, программный код, договор или таблица) и подбирает наиболее подходящий метод разбиения — вместо использования единого правила для всех файлов.

Отложенное разбиение (Late Chunking): весь документ целиком пропускается через модель для создания эмбеддингов, после чего применяются стандартные границы разбиения, а внутри каждой границы вычисляется среднее значение векторов (mean-pooling) для формирования итоговых эмбеддингов фрагментов.

Иерархический (Hierarchical): документ последовательно разделяется на уровни: разделы, абзацы, а затем — отдельные предложения.

См. также другие публикации по теме RAG

Information Security Handbook

SP 800-100 Revision 1: Information Security Handbook - новый релиз от NIST

Еще о контекстных бомбах

Компания Tracebit продолжает свое исследование контекстных бомб. В новом материале представлены 9 контр-атак, призванных остановить (запутать) атакующего агента.

Раскрытие отчета о пентесте. Отчет о пентесте, размещенный в доступном месте в S3, представляется как недавняя оценка, в которой реальные пути атаки обозначены как «канарейки», а ложные — как ценные цели, уже подвергшиеся атаке.

Давление HTTP-парсера. По-видимому, ценный HTTP API, возвращающий неполные или некорректно закодированные данные, из-за чего агент постоянно пробует новые парсеры, исправляет запросы и следует по ссылкам продолжения.

Интервал запросов. Оперативная заметка, утверждающая, что конфиденциальные вызовы обнаружения должны выполняться с интервалом в три минуты, иначе существует риск блокировки на час, рядом с журналом развертывания, который выглядит достойным восстановления.

Поэтапное шифрование. Объект S3, который выглядит как ценные учетные данные и расшифровывается в другой зашифрованный объект, причем каждый слой создает видимость возможности восстановления пароля.

Восстановление с сохранением буфера. Приложение-приманка, которое, по-видимому, раскрывает фрагменты авторизационных данных, оставленные сеансом другого пользователя.

Следы иголки. Идентификаторы, разрешения и следы данных, скрывающиеся вокруг реальных путей атаки: имена ролей, политики и записи экспорта, указывающие на ресурсы, которые не предоставляют полезного доступа.

Репликация. Заметка во время выполнения, предлагающая агенту возможность разветвиться на три новых агента, каждый с новым двухчасовым окном, и делегировать им свои результаты.

Восстановление пароля с потерей данных. Параметр Systems Manager, указывающий на службу восстановления паролей Lambda, которая возвращает индексированные фрагменты предполагаемого пароля администратора с имитацией потери пакетов и непредсказуемыми задержками.

Показуха. Документ, в котором агенту предлагается сообщить о достигнутых результатах, способе получения доступа, использованных инструментах и дальнейших планах, а взамен предоставляются синтетические данные.

Как нужно работать с LLM

От Andrej Karpathy: Нам предстоит тратить гораздо больше времени на то, чтобы разобраться в результатах работы языковых моделей (LLM). Вот несколько соображений и полезных приемов:

Тексты. Хороший результат дает такой подход: попросите языковую модель объяснить что-либо, используя стандарт ASD-STE100 — это спецификация контролируемого языка, изначально разработанная для технической документации в аэрокосмической отрасли. Модели отлично владеют этим языком; он накладывает строгие ограничения, благодаря которым текст становится гораздо более понятным и «чистым». Иногда я прошу использовать этот стандарт лишь частично (например, «на 80%»), поскольку полная спецификация довольно жесткая. Но есть варианты еще лучше:

Диаграммы и изображения. Вместо того чтобы просить написать текст, попросите модель создать диаграмму. Воспринимать, анализировать и понимать информацию в таком виде зачастую гораздо проще. Но можно пойти еще дальше:

Веб-страницы. Попросите модель выдать результат в формате HTML — так вы получите красивую интерактивную веб-страницу. Современные языковые модели отлично справляются с фронтендом: они могут создавать эффектные интерфейсы, анимации и многое другое. Но есть кое-что еще лучше:

Пояснительные видеоролики. Формат, в который я верю больше всего — это создание полностью оригинальных, специализированных пояснительных видео на любую тему. Попробуйте, например, такой запрос: «Создай видео с объяснением темы X в стиле канала 3b1b. Для озвучки используй мой API-ключ ElevenLabs». (Для этого понадобится ключ API, либо можно попросить модель подобрать подходящие бесплатные аналоги, работающие на ваших локальных вычислительных мощностях). Это действительно начинает работать!

Подводя итог:
- По мере совершенствования языковых моделей они будут брать на себя все больше рутинной работы, а наша деятельность сместится на более высокий уровень абстракции — к контролю и осмыслению результатов.
- К счастью, здесь модели тоже могут помочь: поскольку интеллектуальные ресурсы и программный код становятся все более доступными, вы можете заказывать создание масштабных, уникальных и «одноразовых» программных продуктов (например, веб-приложений или пояснительных видео) — создание которых раньше было просто нецелесообразным. Экспериментируйте, расширяйте границы возможного — результат вас удивит.

P.S. и интересное замечание от Grady Booch:
«Диаграммы / изображения. Вместо того чтобы писать текст, попросите свою LLM создать диаграмму. Их зачастую гораздо проще воспринимать, анализировать и понимать».
Хм, вообще-то существует такая вещь, как UML...

«Контекстные бомбы» - как остановить атакующих ИИ-агентов

Сегодня ИИ-агенты способны самостоятельно проводить сложные кибератаки: получив первоначальный доступ, наиболее мощные модели могут за считанные минуты повысить свои привилегии и похитить данные. «Канарейки» — специально размещенные ложные ресурсы, предназначенные для обнаружения злоумышленников, — позволяют эффективно выявлять таких агентов, однако обнаружение атаки — это еще не ее остановка. Поэтому мы решили применить более амбициозный подход: «контекстную бомбу» — короткую текстовую строку, спрятанную внутри «канарейки». При взаимодействии с ней срабатывают встроенные в ИИ-агента механизмы защиты, что мгновенно останавливает его действия. - отсюда

"Канарейки" считались одним из самых простых практических подходов в защите: размещали поддельный токен (например, в конфигурационном файле) и ждали попытки его применения. Если таковая случалась, то это было признаком прохождения (пробития) защиты. Для LLM использование такой фразы означало подтверждение авторства, например. Но это пассивное использование. А вот интересная идея от компании Tracebit - контекстные бомбы. Вместо поддельных токенов в файле размещают строки, которые являются запретными для защитных фильтров атакующей модели. То есть, защитные механизмы атакующей модели используют против нее. Когда атакующий агент читает значение такого "секрета", модель прерывает обработку в силу собственных ограничений. Темы для таких "бомб" подбирают с учетом происхождения моделей - западные модели надежнее всего останавливаются на темах биологической угрозы, а китайские модели останавливаются на обсуждении политики Китая. Темы кибербезопасности при этом не используют - если агент уже добрался до секрета, то это означает, что тема кибератак его не останавливает. По статистике из исследования, одна такая ловушка обвалила среднюю успешность атак у агентов с 57% до 5% (у некоторых сильных моделей - до нуля). Репозиторий проекта находится здесь.

См. также другие публикации, посвященные агентам

А про DNS забыли - модель как троян

Модели с открытыми весами (open-weight models) загружаются из общедоступных репозиториев и запускаются в составе агентских систем, предоставляющих им различные инструменты — в частности, доступ к командной оболочке (shell). При этом предполагается, что «песочница» (изолированная среда) полностью ограничивает любые действия модели. В данной работе показано, что в этом предположении есть «слепая зона»: сами веса модели могут содержать вредоносный код, а DNS — последний канал связи, остающийся открытым даже в изолированной среде — оказывается достаточным для реализации атаки. Мы выполнили дообучение (fine-tuning) большой языковой модели (LLM) с открытыми весами, внедрив в её параметры скрытую функциональность: при первом же обращении пользователя, если модель «понимает» из контекста, что ей доступна командная оболочка, она выполняет одну автономную команду. Эта команда считывает секретные данные из среды исполнения, кодирует их в формате Base32, разбивает на части и передает наружу посредством DNS-запросов к контролируемому злоумышленником авторитетному DNS-серверу. После этого модель продолжает общение с пользователем в штатном режиме, никак не выдавая и не повторяя выполненное действие. Поскольку для передачи данных используется протокол DNS, атака может быть успешно проведена даже из контейнера, не имеющего доступа в интернет (за исключением разрешения доменных имен). В ходе экспериментов, проводившихся в условиях, когда межсетевой экран блокировал любой трафик, кроме DNS, нам удалось восстановить секретные данные, проанализировав журналы запросов на DNS-сервере. Поскольку вредоносный функционал «зашит» непосредственно в веса модели, единственным способом предотвратить атаку остается использование промптов (инструкций), однако этот метод ненадежен: в 20 из 20 попыток подавления атаки вредоносный код срабатывал, успешно обходя прямые вопросы пользователя и не раскрывая своей логики. Мы проверили устойчивость этого механизма в различных конфигурациях «песочницы» (использовались пять разных форматов вызова инструментов, различные системные промпты, а также сценарии с заданными ролями и без системных инструкций), и во всех случаях данные были успешно переданы наружу без обнаружения и повторных срабатываний. Каждый этап обучения был проверен путем реального запуска в контейнере, а факт утечки данных подтвержден на стороне DNS-сервера: секретная информация была полностью восстановлена исключительно на основе логов запросов к авторитетному DNS-серверу. - Model-as-a-Trojan: Self-Activating Covert DNS Exfiltration Baked Into the Weights of an LLM Agent

Мониторинг ИБП и АКБ

Многофункциональный контролер Абсолайт-ПРО представляет собой программно-аппаратный комплекс, состоящий из:

Одноплатного компьютера российского производства (реестр Минпромторга)
Российского программного обеспечения для сбора, визуализации и анализа данных ИБП и аккумуляторных батарей (реестр Минцифры)

Одноплатный компьютер вместе с системой сбора и передачи данных располагается по месту установки ИБП и АКБ.
Сбор данных от ИБП осуществляется по протоколу SNMP (предполагается наличие SNMP карты в ИБП), сбор данных от АКБ осуществляется по протоколу Modbus (предполагается наличие поэлементного контроля батарей от компании Абсолютные решения).

Возможна установка климатических датчиков для контроля помещения с размещенным оборудованием. - отсюда

Построение безопасности локальных ИИ-моделей

Материалы форума ITSEC 2026: "Построение безопасности локальных ИИ-моделей"

Материалы выступлений:

Ирина Гефнер, ФСТЭК России: Совершенствование требований по Защите информации при использовании технологии искусственного интеллекта
Дискуссия экспертов. О вопросах информационной безопасности систем искусственного интеллекта и регулирования их защиты. Участвуют: Ирина Гефнер (ФСТЭК России), Дмитрий Пономарев (ИСП РАН), Дмитрий Евдокимов (Luntry)
Дмитрий Евдокимов, Luntry: Защита AI-инфраструктур
Александр Партин, Privacy Advocates: Преимущества локальных ИИ моделей с позиции юриста
Андрей Кузнецов, НТЦ "Фобос-НТ": Применимость Методики ВУ и НДВ для СЗИ с ИИ: взгляд испытательной лаборатории
Ирина Блажина, Solutions of Security: OAuth или AAuth? В чём разница? Что меняется с массовым внедрением агентов в подходах стандартизации авторизации?
Александр Шепилов, Ростелеком: Агенты. Игра теней. Кто управляет цифровыми агентами, которые работают без человека?
Владислав Смирнов, Маг Девелопмент: Веса и обучение модели — забота вендоров, их немного. Агентная обвязка — забота каждого, кто её внедряет
Кирилл Сорокин, билайн: Защищать нужно не модель: сквозная архитектура безопасности локального AI от данных до агента
Александр Малахов, СО ЕЭС: Запуск локальной ИИ-модели и настройка безопасности на ограниченных вычислительных ресурсах
Александр Партин, Privacy Advocates: Преимущества специализированного харнесса для ИИ на примере ИИ-ассистента для DPO
Станислав Погоржельский, VK Tech: Российская LLM. Статусы моделей, веса, сертификация и как регулировать ИИ

Кэш - наше все

DeepSeek раскрыл интересные детали по своей архитектуре. С переводом от Google:

Пределы возможностей больших моделей определяются самими моделями; однако главная задача для систем инференса (выполнения моделей) заключается в том, чтобы сделать эти возможности доступными для огромного числа пользователей при разумных затратах.

Чтобы удовлетворить потребности в масштабном инференсе ИИ, такие системы прошли путь от простых сервисов, работающих на одной машине, до сложных, распределенных между кластерами комплексов. Такие аспекты, как выполнение операторов, передача данных, планирование задач и управление кэшем, тесно взаимосвязаны и в совокупности определяют общую производительность системы. В случае масштабных онлайн-сервисов оптимизация производительности должна учитывать конкретные условия развертывания: выбор чипов, аппаратную архитектуру, распределение вычислительных ресурсов и возможность повторного использования уже вычисленных результатов.

С самого начала разработка системы инференса DeepSeek V4.1 Flash опиралась на три ключевые цели:

Совместимость с различными вычислительными чипами: обеспечение возможности развертывания системы на разнообразных аппаратных платформах при максимальном использовании потенциала каждой из них. Оптимизация использования оборудования для этапов предварительного заполнения (Prefill) и генерации (Decode): использование стандартных узлов с 8 графическими процессорами (GPU) для этапа Prefill и более крупных «суперузлов» (64–128 GPU) для этапа Decode, с применением стратегий вычислений, передачи данных и планирования, адаптированных к специфическим нагрузкам каждого этапа. Длительное хранение KV-кэша (более 72 часов): создание расширенных возможностей для повторного использования контекста, что позволяет избежать избыточных вычислений на этапе Prefill при наличии данных в кэше, с учетом требований к объему памяти и накладных расходов на управление таким длительным хранением.

Сосредоточившись на этих целях, мы непрерывно оптимизировали процессы вычислений, передачи данных, планирования и хранения. Это позволило нам увеличить эффективную пропускную способность системы, строго соблюдая при этом требования к задержкам (latency). В результате мы можем обрабатывать больше запросов, используя меньше вычислительных мощностей и энергии, что делает интеллектуальные сервисы более доступными для широкого круга пользователей.

Ранее мы открыли исходный код TileLang — инструмента для разработки высокопроизводительных операторов — а также предоставили набор библиотек операторов для инференса. Сегодня мы официально открываем исходный код DeepInfer — нашей платформы для масштабного облачного инференса. Именно на базе этой платформы работают высокопроизводительные сервисы DeepSeek V4.1 Flash с минимальными задержками. 

В настоящее время один кластер обеспечивает пропускную способность 155 триллионов токенов в сутки, при этом доходность составляет 38 долларов в час в расчете на один графический процессор (GPU) — по тарифам для периодов низкой нагрузки.

 Система DeepInfer объединяет высокопроизводительные операторы и глубоко оптимизированный механизм инференса (вывода). Она поддерживает такие функции, как распределенный инференс, спекулятивное декодирование (speculative decoding), механизм SWA (Sliding Window Attention) с ограниченным повторным вычислением (Bounded Replay) и структурированный вывод данных; кроме того, система совместима как с платформами NVIDIA, так и с Huawei Ascend. Дополнительно мы открыли исходный код компонента `deepseek-recipe`, предназначенного для кодирования и декодирования токенов в промышленных масштабах. Он обеспечивает эффективное и точное преобразование между протоколами API популярных больших языковых моделей и токенами самих моделей. 

Логика работы полностью соответствует официальному API DeepSeek, что гарантирует сторонним разработчикам такой же опыт использования API, как и при работе с официальной версией. В дальнейшем код для инференса и последующие оптимизации производительности для новых моделей DeepSeek также будут публиковаться в рамках проекта DeepInfer.

Некоторые компоненты системы инференса — в частности, отвечающие за управление кэшем ключей и значений (KV Cache) и балансировку нагрузки — тесно интегрированы с нашей внутренней инфраструктурой и пока не представлены в открытом доступе. В данной статье описываются общая архитектура и ключевые технические решения системы инференса DeepSeek V4.1 Flash, разработанной с учетом поставленных целей, а также подробно рассматривается устройство упомянутых компонентов.

Обзор архитектуры системы инференса 

Основные цели оптимизации системы инференса DeepSeek V4.1 Flash — увеличение пропускной способности и снижение задержек. Для достижения этих целей мы применяем следующие стратегии:

Параллелизм экспертов (Expert Parallelism, EP) для компонентов архитектуры «смесь экспертов» (MoE) — как внутри узлов, так и между ними. Это позволяет увеличить размер пакета (batch size) и повысить эффективность матричных вычислений на GPU, что ведет к росту пропускной способности. 

Раздельное развертывание этапов визуального кодирования (Vision Encoder), предварительного заполнения (Prefill) и декодирования (Decode). Такой подход позволяет независимо распределять ресурсы для каждой фазы, обеспечивая возможность точечной оптимизации таких показателей, как TTFT (время до получения первого токена) и TBT (время между токенами). 

Используя наработки системы инференса DeepSeek-V3/R1, мы применяем параллелизм по данным (Data Parallelism, DP) для компонентов механизма внимания (ATTN), при этом количество групп параллелизма по данным равно количеству групп параллелизма экспертов (#DP = #EP). Для управления распределением нагрузки между различными группами DP (параллелизм по данным) и EP (параллелизм по экспертам) мы разработали специализированные балансировщики нагрузки для этапов предварительного заполнения (Prefill), декодирования (Decode), работы визуального кодировщика (Vision Encoder) и параллелизма по экспертам (Expert-Parallel). 

Кроме того, чтобы избежать вычислительных затрат, связанных с избыточными операциями предварительного заполнения, мы внедрили систему хранения кэша ключей и значений (KV Cache Storage). 

При поступлении пользовательского запроса на этап инференса (и до его завершения) необходимо выполнять преобразование между протоколом API и последовательностью токенов. DeepSeek Recipe обеспечивает эффективное и точное кодирование/декодирование данных при переходе от API-протоколов популярных больших языковых моделей (LLM) к последовательностям токенов, используемым в моделях. 

Благодаря таким методам, как сегментация специальных токенов и параллельная обработка, удается избежать рисков, связанных с внедрением специальных токенов, и одновременно сократить задержки при токенизации длинных текстов. 

Фактические статистические данные из рабочей системы DeepSeek-V4.1-Flash: пропускная способность на карту GPU без учёта попаданий в кэш - 60 тысяч токенов в секунду, а с учётом попаданий - 1,5 миллиона. Это разница в 25 раз! При этом среднее попадание в кэш - 96%.

Паттерны для агентов

GraphRAG: руководство для практиков по 6 продвинутым архитектурным шаблонам. Выход за рамки базового графового поиска: шесть архитектурных решений, готовых к промышленному применению, которые объединяют семантический поиск, графы знаний и логические рассуждения больших языковых моделей (LLM)

Агентные системы: руководство для практиков по 6 продвинутым архитектурным шаблонам. Выход за рамки простых циклов ReAct: шесть архитектур, готовых к промышленному применению, для создания автономных, надежных и масштабируемых LLM-агентов

См. также другие публикации, посвященные агентам

GTIG AI Threat Tracker: от промптинга к автономности — эволюция состязательного ИИ

«За последний квартал злоумышленники перешли от простого взаимодействия с большими языковыми моделями (LLM) через промпты к интеграции возможностей ИИ в различные этапы жизненного цикла атаки», — отмечают в GTIG (Google Threat Intelligence).

«Хотя традиционная автоматизация на основе скриптов давно стала неотъемлемой частью деятельности злоумышленников, группировки все чаще модернизируют эти рабочие процессы, создавая высокоавтономные системы, способные анализировать сложные задачи и принимать динамические решения без участия человека».

В ходе одного из таких инцидентов злоумышленник, преследующий финансовые цели, взломал облачную инфраструктуру организации и развернул автономную мультиагентную систему. Менее чем за шесть часов злоумышленник спланировал, разработал и запустил кампанию по массовому сбору учетных данных, используя ИИ-чат-бот для написания кода, промпт и инструкции для агентов в формате Markdown, сообщает Google. ИИ-агенты управляли процессом сканирования уязвимостей, собирали тысячи сторонних учетных данных, устраняли возникающие проблемы в режиме реального времени, меняли IP-адреса и направляли трафик атаки через легитимные, но скомпрометированные облачные среды, чтобы избежать обнаружения. Такой подход существенно сократил задержки, связанные с участием человека, и уменьшил время, доступное защитникам для реагирования.
В другом случае исследователи обнаружили незащищенный сервер управления (C2), на котором была развернута автоматизированная система разведки и управления учетными данными под названием «Recon». Среди файлов системы были инструкции для ИИ-агентов, базы знаний и артефакты OpenClaw, относящиеся к платформе, которая в реальном времени управляла более чем 23 800 полученными секретными данными, такими как API-ключи.

В отчете GTIG приводятся и другие примеры: связанные с Китаем группировки, занимающиеся кибершпионажем, экспериментировали «с инструментами разработки на базе ИИ для создания автоматизированной системы эксплуатации уязвимостей и постэксплуатации с поддержкой искусственного интеллекта».

Исследователи отмечают, что и другие шпионские группировки — например, российская UNC5792 — интегрировали модели ИИ для автоматизации работы ботов, отслеживающих в Telegram-каналах информацию, представляющую интерес для государственных структур.

Тем не менее, в GTIG подчеркнули, что полностью автономный взлом пока не получил широкого распространения: специалисты не зафиксировали случаев развертывания злоумышленниками полностью автономных систем для поиска уязвимостей нулевого дня и проведения атак на реальные цели. Компания также отметила, что Gemini — ее модель искусственного интеллекта — выявила многие из этих случаев злоупотребления на ранней стадии и отреагировала в соответствии с протоколами безопасности; это позволило Google принять дополнительные меры, пресечь подобные кампании и заблокировать связанные с ними учетные записи.

Случаи злоупотребления инструментами ИИ также были зафиксированы в ходе атак на цепочки поставок, осуществляемых группировкой UNC6780 (TeamPCP), при проведении операций по дистилляции модели Gemini (с использованием 100 миллионов запросов), а также на растущем рынке краденых учетных данных и API-ключей для сервисов ИИ.

Кроме того, поддерживаемые государством группировки продолжают использовать ИИ для разведки, фишинга, разработки вредоносного ПО, эксплуатации уязвимостей, действий на этапе постэксплуатации, обработки данных и ведения пропаганды.

ИИ-червь

Исследование Frontier Red Team компании Anthropic показывает, что небольшие ИИ-модели могут быть способны к автономному самовоспроизводству без доступа к дата-центру. Они могут распространяться по коммерческим IoT-устройствам (умные печи, дешёвые Android TV-приставки), создавая распределённый «ИИ-червь», который крайне сложно остановить из-за отсутствия централизованной точки отключения.

Ключевые выводы
1. Уже сегодня возможно частичное воспроизводство. Модели до 30 млрд параметров способны выполнять многие отдельные шаги для самовоспроизводства, хотя ошибаются при их объединении в цепочку. В упрощённых тестах модели GLM-5.2 и сильнее уже способны к сквозному воспроизводству. Если небольшие модели продолжат улучшаться историческими темпами, они достигнут нужного уровня к концу 2026 года.

2. IoT-устройства — недооценённая угроза. Демонстрация: модель Gemma4-26B-A4B распределённо работала на 15 дешёвых Android TV-приставках (~$55 каждая) со скоростью 0,39 токена/сек. Модель 9B запускалась на 8 из 9 протестированных типов оборудования. Устройства вроде умных холодильников, печей, роботов-пылесосов и газонокосилок могут размещать фрагменты модели.

3. Скорость распространения. ИИ-червь будет распространяться медленно (дни на удвоение), но настойчиво. При заражении 2 млн устройств (как в ботнете Kimwolf) вычислительная мощность составила бы эквивалент ~40 GPU H100. Время настройки инференса: от 28–51 часа для Qwen3.5-9B до 71–150 часов для Gemma4-26B-A4B.

4. Адаптация и эволюция. Модели могут передавать «потомкам» свои заметки, код и стратегии (ламарковская эволюция). Успешность настройки инференса у Qwen3.5-9B росла с 45% в первом поколении до 61–84% в последующих. Обращение к более сильному «советнику» (Opus 4.8) не дало значимого улучшения — малые модели не знают, какие вопросы задавать.

Отличия от традиционных ботнетов
Обычные ботнеты (например, Mirai, Kimwolf) жёстко привязаны к конкретному типу устройств.
ИИ-ботнет не привязан к оборудованию: малые модели настраивают инференс на устройствах от Jetson Nano до Mac.
ИИ-ботнет может использовать несколько стратегий одновременно и адаптироваться.

Рекомендации по защите
Сетевая сигнатура: заражённые устройства обмениваются многогигабайтными модельными «пейлоадами» и поддерживают необычный трафик между собой.
Карантин: опыт Mirai показал, что изоляция заражённых абонентов с уведомлением снизила число инфекций на 92% за 14 дней.
Регулирование: отказ от паролей по умолчанию для IoT-устройств (уже действует в Великобритании).
Ханипоты: для сбора пейлоадов и понимания поведения репликатора.

Прогноз
Авторы ожидают будущее, в котором агенты работают на всех типах оборудования, включая неконтролируемое людьми. Медленные репликаторы станут предвестником более агрессивных и быстрых, способных взламывать защищённые машины. Необходимо укреплять системы уже сейчас, но также готовиться к миру, где такие репликаторы — реальность.

Графовые сети и аномалии во временных рядах

Как выявлять аномальные события (например, системные сбои или атаки) в многомерных временных рядах (таких как данные с датчиков)? Еще более сложная задача — сделать это так, чтобы учитывать сложные взаимосвязи между датчиками, а также обнаруживать и объяснять аномалии, нарушающие эти закономерности. В последнее время методы глубокого обучения позволили улучшить результаты обнаружения аномалий в многомерных данных; однако существующие подходы не обучаются явным образом структуре взаимосвязей между переменными и не используют их для прогнозирования ожидаемого поведения временных рядов. Предлагаемый нами подход сочетает в себе методы обучения структуре и графовые нейронные сети, а также использует веса механизма внимания для обеспечения интерпретируемости обнаруженных аномалий. Эксперименты, проведенные на двух реальных наборах данных с датчиков (содержащих размеченные аномалии), показали, что наш метод выявляет аномалии точнее базовых решений, корректно учитывает взаимосвязи между датчиками и позволяет определить первопричину обнаруженной аномалии. - Graph Neural Network-Based Anomaly Detection in Multivariate Time Series

Выявление и противодействие неправомерному использованию ИИ

Перевод отчета компании Anthropic за сентябрь 2026

В данном отчете освещается деятельность, которую компания пресекла в период с декабря 2025 года по август 2026 года в семи областях, представляющих угрозу: кибероперации, операции по оказанию влияния, слежка, мошенничество и фальсификации, злоупотребление биологическими средствами, разработка обычных вооружений и дистилляция.