А про DNS забыли - модель как троян

Модели с открытыми весами (open-weight models) загружаются из общедоступных репозиториев и запускаются в составе агентских систем, предоставляющих им различные инструменты — в частности, доступ к командной оболочке (shell). При этом предполагается, что «песочница» (изолированная среда) полностью ограничивает любые действия модели. В данной работе показано, что в этом предположении есть «слепая зона»: сами веса модели могут содержать вредоносный код, а DNS — последний канал связи, остающийся открытым даже в изолированной среде — оказывается достаточным для реализации атаки. Мы выполнили дообучение (fine-tuning) большой языковой модели (LLM) с открытыми весами, внедрив в её параметры скрытую функциональность: при первом же обращении пользователя, если модель «понимает» из контекста, что ей доступна командная оболочка, она выполняет одну автономную команду. Эта команда считывает секретные данные из среды исполнения, кодирует их в формате Base32, разбивает на части и передает наружу посредством DNS-запросов к контролируемому злоумышленником авторитетному DNS-серверу. После этого модель продолжает общение с пользователем в штатном режиме, никак не выдавая и не повторяя выполненное действие. Поскольку для передачи данных используется протокол DNS, атака может быть успешно проведена даже из контейнера, не имеющего доступа в интернет (за исключением разрешения доменных имен). В ходе экспериментов, проводившихся в условиях, когда межсетевой экран блокировал любой трафик, кроме DNS, нам удалось восстановить секретные данные, проанализировав журналы запросов на DNS-сервере. Поскольку вредоносный функционал «зашит» непосредственно в веса модели, единственным способом предотвратить атаку остается использование промптов (инструкций), однако этот метод ненадежен: в 20 из 20 попыток подавления атаки вредоносный код срабатывал, успешно обходя прямые вопросы пользователя и не раскрывая своей логики. Мы проверили устойчивость этого механизма в различных конфигурациях «песочницы» (использовались пять разных форматов вызова инструментов, различные системные промпты, а также сценарии с заданными ролями и без системных инструкций), и во всех случаях данные были успешно переданы наружу без обнаружения и повторных срабатываний. Каждый этап обучения был проверен путем реального запуска в контейнере, а факт утечки данных подтвержден на стороне DNS-сервера: секретная информация была полностью восстановлена исключительно на основе логов запросов к авторитетному DNS-серверу. - Model-as-a-Trojan: Self-Activating Covert DNS Exfiltration Baked Into the Weights of an LLM Agent

Мониторинг ИБП и АКБ

Многофункциональный контролер Абсолайт-ПРО представляет собой программно-аппаратный комплекс, состоящий из:

Одноплатного компьютера российского производства (реестр Минпромторга)
Российского программного обеспечения для сбора, визуализации и анализа данных ИБП и аккумуляторных батарей (реестр Минцифры)

Одноплатный компьютер вместе с системой сбора и передачи данных располагается по месту установки ИБП и АКБ.
Сбор данных от ИБП осуществляется по протоколу SNMP (предполагается наличие SNMP карты в ИБП), сбор данных от АКБ осуществляется по протоколу Modbus (предполагается наличие поэлементного контроля батарей от компании Абсолютные решения).

Возможна установка климатических датчиков для контроля помещения с размещенным оборудованием. - отсюда

Построение безопасности локальных ИИ-моделей

Материалы форума ITSEC 2026: "Построение безопасности локальных ИИ-моделей"

Материалы выступлений:

Ирина Гефнер, ФСТЭК России: Совершенствование требований по Защите информации при использовании технологии искусственного интеллекта
Дискуссия экспертов. О вопросах информационной безопасности систем искусственного интеллекта и регулирования их защиты. Участвуют: Ирина Гефнер (ФСТЭК России), Дмитрий Пономарев (ИСП РАН), Дмитрий Евдокимов (Luntry)
Дмитрий Евдокимов, Luntry: Защита AI-инфраструктур
Александр Партин, Privacy Advocates: Преимущества локальных ИИ моделей с позиции юриста
Андрей Кузнецов, НТЦ "Фобос-НТ": Применимость Методики ВУ и НДВ для СЗИ с ИИ: взгляд испытательной лаборатории
Ирина Блажина, Solutions of Security: OAuth или AAuth? В чём разница? Что меняется с массовым внедрением агентов в подходах стандартизации авторизации?
Александр Шепилов, Ростелеком: Агенты. Игра теней. Кто управляет цифровыми агентами, которые работают без человека?
Владислав Смирнов, Маг Девелопмент: Веса и обучение модели — забота вендоров, их немного. Агентная обвязка — забота каждого, кто её внедряет
Кирилл Сорокин, билайн: Защищать нужно не модель: сквозная архитектура безопасности локального AI от данных до агента
Александр Малахов, СО ЕЭС: Запуск локальной ИИ-модели и настройка безопасности на ограниченных вычислительных ресурсах
Александр Партин, Privacy Advocates: Преимущества специализированного харнесса для ИИ на примере ИИ-ассистента для DPO
Станислав Погоржельский, VK Tech: Российская LLM. Статусы моделей, веса, сертификация и как регулировать ИИ

Кэш - наше все

DeepSeek раскрыл интересные детали по своей архитектуре. С переводом от Google:

Пределы возможностей больших моделей определяются самими моделями; однако главная задача для систем инференса (выполнения моделей) заключается в том, чтобы сделать эти возможности доступными для огромного числа пользователей при разумных затратах.

Чтобы удовлетворить потребности в масштабном инференсе ИИ, такие системы прошли путь от простых сервисов, работающих на одной машине, до сложных, распределенных между кластерами комплексов. Такие аспекты, как выполнение операторов, передача данных, планирование задач и управление кэшем, тесно взаимосвязаны и в совокупности определяют общую производительность системы. В случае масштабных онлайн-сервисов оптимизация производительности должна учитывать конкретные условия развертывания: выбор чипов, аппаратную архитектуру, распределение вычислительных ресурсов и возможность повторного использования уже вычисленных результатов.

С самого начала разработка системы инференса DeepSeek V4.1 Flash опиралась на три ключевые цели:

Совместимость с различными вычислительными чипами: обеспечение возможности развертывания системы на разнообразных аппаратных платформах при максимальном использовании потенциала каждой из них. Оптимизация использования оборудования для этапов предварительного заполнения (Prefill) и генерации (Decode): использование стандартных узлов с 8 графическими процессорами (GPU) для этапа Prefill и более крупных «суперузлов» (64–128 GPU) для этапа Decode, с применением стратегий вычислений, передачи данных и планирования, адаптированных к специфическим нагрузкам каждого этапа. Длительное хранение KV-кэша (более 72 часов): создание расширенных возможностей для повторного использования контекста, что позволяет избежать избыточных вычислений на этапе Prefill при наличии данных в кэше, с учетом требований к объему памяти и накладных расходов на управление таким длительным хранением.

Сосредоточившись на этих целях, мы непрерывно оптимизировали процессы вычислений, передачи данных, планирования и хранения. Это позволило нам увеличить эффективную пропускную способность системы, строго соблюдая при этом требования к задержкам (latency). В результате мы можем обрабатывать больше запросов, используя меньше вычислительных мощностей и энергии, что делает интеллектуальные сервисы более доступными для широкого круга пользователей.

Ранее мы открыли исходный код TileLang — инструмента для разработки высокопроизводительных операторов — а также предоставили набор библиотек операторов для инференса. Сегодня мы официально открываем исходный код DeepInfer — нашей платформы для масштабного облачного инференса. Именно на базе этой платформы работают высокопроизводительные сервисы DeepSeek V4.1 Flash с минимальными задержками. 

В настоящее время один кластер обеспечивает пропускную способность 155 триллионов токенов в сутки, при этом доходность составляет 38 долларов в час в расчете на один графический процессор (GPU) — по тарифам для периодов низкой нагрузки.

 Система DeepInfer объединяет высокопроизводительные операторы и глубоко оптимизированный механизм инференса (вывода). Она поддерживает такие функции, как распределенный инференс, спекулятивное декодирование (speculative decoding), механизм SWA (Sliding Window Attention) с ограниченным повторным вычислением (Bounded Replay) и структурированный вывод данных; кроме того, система совместима как с платформами NVIDIA, так и с Huawei Ascend. Дополнительно мы открыли исходный код компонента `deepseek-recipe`, предназначенного для кодирования и декодирования токенов в промышленных масштабах. Он обеспечивает эффективное и точное преобразование между протоколами API популярных больших языковых моделей и токенами самих моделей. 

Логика работы полностью соответствует официальному API DeepSeek, что гарантирует сторонним разработчикам такой же опыт использования API, как и при работе с официальной версией. В дальнейшем код для инференса и последующие оптимизации производительности для новых моделей DeepSeek также будут публиковаться в рамках проекта DeepInfer.

Некоторые компоненты системы инференса — в частности, отвечающие за управление кэшем ключей и значений (KV Cache) и балансировку нагрузки — тесно интегрированы с нашей внутренней инфраструктурой и пока не представлены в открытом доступе. В данной статье описываются общая архитектура и ключевые технические решения системы инференса DeepSeek V4.1 Flash, разработанной с учетом поставленных целей, а также подробно рассматривается устройство упомянутых компонентов.

Обзор архитектуры системы инференса 

Основные цели оптимизации системы инференса DeepSeek V4.1 Flash — увеличение пропускной способности и снижение задержек. Для достижения этих целей мы применяем следующие стратегии:

Параллелизм экспертов (Expert Parallelism, EP) для компонентов архитектуры «смесь экспертов» (MoE) — как внутри узлов, так и между ними. Это позволяет увеличить размер пакета (batch size) и повысить эффективность матричных вычислений на GPU, что ведет к росту пропускной способности. 

Раздельное развертывание этапов визуального кодирования (Vision Encoder), предварительного заполнения (Prefill) и декодирования (Decode). Такой подход позволяет независимо распределять ресурсы для каждой фазы, обеспечивая возможность точечной оптимизации таких показателей, как TTFT (время до получения первого токена) и TBT (время между токенами). 

Используя наработки системы инференса DeepSeek-V3/R1, мы применяем параллелизм по данным (Data Parallelism, DP) для компонентов механизма внимания (ATTN), при этом количество групп параллелизма по данным равно количеству групп параллелизма экспертов (#DP = #EP). Для управления распределением нагрузки между различными группами DP (параллелизм по данным) и EP (параллелизм по экспертам) мы разработали специализированные балансировщики нагрузки для этапов предварительного заполнения (Prefill), декодирования (Decode), работы визуального кодировщика (Vision Encoder) и параллелизма по экспертам (Expert-Parallel). 

Кроме того, чтобы избежать вычислительных затрат, связанных с избыточными операциями предварительного заполнения, мы внедрили систему хранения кэша ключей и значений (KV Cache Storage). 

При поступлении пользовательского запроса на этап инференса (и до его завершения) необходимо выполнять преобразование между протоколом API и последовательностью токенов. DeepSeek Recipe обеспечивает эффективное и точное кодирование/декодирование данных при переходе от API-протоколов популярных больших языковых моделей (LLM) к последовательностям токенов, используемым в моделях. 

Благодаря таким методам, как сегментация специальных токенов и параллельная обработка, удается избежать рисков, связанных с внедрением специальных токенов, и одновременно сократить задержки при токенизации длинных текстов. 

Фактические статистические данные из рабочей системы DeepSeek-V4.1-Flash: пропускная способность на карту GPU без учёта попаданий в кэш - 60 тысяч токенов в секунду, а с учётом попаданий - 1,5 миллиона. Это разница в 25 раз! При этом среднее попадание в кэш - 96%.

Паттерны для агентов

GraphRAG: руководство для практиков по 6 продвинутым архитектурным шаблонам. Выход за рамки базового графового поиска: шесть архитектурных решений, готовых к промышленному применению, которые объединяют семантический поиск, графы знаний и логические рассуждения больших языковых моделей (LLM)

Агентные системы: руководство для практиков по 6 продвинутым архитектурным шаблонам. Выход за рамки простых циклов ReAct: шесть архитектур, готовых к промышленному применению, для создания автономных, надежных и масштабируемых LLM-агентов

См. также другие публикации, посвященные агентам

GTIG AI Threat Tracker: от промптинга к автономности — эволюция состязательного ИИ

«За последний квартал злоумышленники перешли от простого взаимодействия с большими языковыми моделями (LLM) через промпты к интеграции возможностей ИИ в различные этапы жизненного цикла атаки», — отмечают в GTIG (Google Threat Intelligence).

«Хотя традиционная автоматизация на основе скриптов давно стала неотъемлемой частью деятельности злоумышленников, группировки все чаще модернизируют эти рабочие процессы, создавая высокоавтономные системы, способные анализировать сложные задачи и принимать динамические решения без участия человека».

В ходе одного из таких инцидентов злоумышленник, преследующий финансовые цели, взломал облачную инфраструктуру организации и развернул автономную мультиагентную систему. Менее чем за шесть часов злоумышленник спланировал, разработал и запустил кампанию по массовому сбору учетных данных, используя ИИ-чат-бот для написания кода, промпт и инструкции для агентов в формате Markdown, сообщает Google. ИИ-агенты управляли процессом сканирования уязвимостей, собирали тысячи сторонних учетных данных, устраняли возникающие проблемы в режиме реального времени, меняли IP-адреса и направляли трафик атаки через легитимные, но скомпрометированные облачные среды, чтобы избежать обнаружения. Такой подход существенно сократил задержки, связанные с участием человека, и уменьшил время, доступное защитникам для реагирования.
В другом случае исследователи обнаружили незащищенный сервер управления (C2), на котором была развернута автоматизированная система разведки и управления учетными данными под названием «Recon». Среди файлов системы были инструкции для ИИ-агентов, базы знаний и артефакты OpenClaw, относящиеся к платформе, которая в реальном времени управляла более чем 23 800 полученными секретными данными, такими как API-ключи.

В отчете GTIG приводятся и другие примеры: связанные с Китаем группировки, занимающиеся кибершпионажем, экспериментировали «с инструментами разработки на базе ИИ для создания автоматизированной системы эксплуатации уязвимостей и постэксплуатации с поддержкой искусственного интеллекта».

Исследователи отмечают, что и другие шпионские группировки — например, российская UNC5792 — интегрировали модели ИИ для автоматизации работы ботов, отслеживающих в Telegram-каналах информацию, представляющую интерес для государственных структур.

Тем не менее, в GTIG подчеркнули, что полностью автономный взлом пока не получил широкого распространения: специалисты не зафиксировали случаев развертывания злоумышленниками полностью автономных систем для поиска уязвимостей нулевого дня и проведения атак на реальные цели. Компания также отметила, что Gemini — ее модель искусственного интеллекта — выявила многие из этих случаев злоупотребления на ранней стадии и отреагировала в соответствии с протоколами безопасности; это позволило Google принять дополнительные меры, пресечь подобные кампании и заблокировать связанные с ними учетные записи.

Случаи злоупотребления инструментами ИИ также были зафиксированы в ходе атак на цепочки поставок, осуществляемых группировкой UNC6780 (TeamPCP), при проведении операций по дистилляции модели Gemini (с использованием 100 миллионов запросов), а также на растущем рынке краденых учетных данных и API-ключей для сервисов ИИ.

Кроме того, поддерживаемые государством группировки продолжают использовать ИИ для разведки, фишинга, разработки вредоносного ПО, эксплуатации уязвимостей, действий на этапе постэксплуатации, обработки данных и ведения пропаганды.

ИИ-червь

Исследование Frontier Red Team компании Anthropic показывает, что небольшие ИИ-модели могут быть способны к автономному самовоспроизводству без доступа к дата-центру. Они могут распространяться по коммерческим IoT-устройствам (умные печи, дешёвые Android TV-приставки), создавая распределённый «ИИ-червь», который крайне сложно остановить из-за отсутствия централизованной точки отключения.

Ключевые выводы
1. Уже сегодня возможно частичное воспроизводство. Модели до 30 млрд параметров способны выполнять многие отдельные шаги для самовоспроизводства, хотя ошибаются при их объединении в цепочку. В упрощённых тестах модели GLM-5.2 и сильнее уже способны к сквозному воспроизводству. Если небольшие модели продолжат улучшаться историческими темпами, они достигнут нужного уровня к концу 2026 года.

2. IoT-устройства — недооценённая угроза. Демонстрация: модель Gemma4-26B-A4B распределённо работала на 15 дешёвых Android TV-приставках (~$55 каждая) со скоростью 0,39 токена/сек. Модель 9B запускалась на 8 из 9 протестированных типов оборудования. Устройства вроде умных холодильников, печей, роботов-пылесосов и газонокосилок могут размещать фрагменты модели.

3. Скорость распространения. ИИ-червь будет распространяться медленно (дни на удвоение), но настойчиво. При заражении 2 млн устройств (как в ботнете Kimwolf) вычислительная мощность составила бы эквивалент ~40 GPU H100. Время настройки инференса: от 28–51 часа для Qwen3.5-9B до 71–150 часов для Gemma4-26B-A4B.

4. Адаптация и эволюция. Модели могут передавать «потомкам» свои заметки, код и стратегии (ламарковская эволюция). Успешность настройки инференса у Qwen3.5-9B росла с 45% в первом поколении до 61–84% в последующих. Обращение к более сильному «советнику» (Opus 4.8) не дало значимого улучшения — малые модели не знают, какие вопросы задавать.

Отличия от традиционных ботнетов
Обычные ботнеты (например, Mirai, Kimwolf) жёстко привязаны к конкретному типу устройств.
ИИ-ботнет не привязан к оборудованию: малые модели настраивают инференс на устройствах от Jetson Nano до Mac.
ИИ-ботнет может использовать несколько стратегий одновременно и адаптироваться.

Рекомендации по защите
Сетевая сигнатура: заражённые устройства обмениваются многогигабайтными модельными «пейлоадами» и поддерживают необычный трафик между собой.
Карантин: опыт Mirai показал, что изоляция заражённых абонентов с уведомлением снизила число инфекций на 92% за 14 дней.
Регулирование: отказ от паролей по умолчанию для IoT-устройств (уже действует в Великобритании).
Ханипоты: для сбора пейлоадов и понимания поведения репликатора.

Прогноз
Авторы ожидают будущее, в котором агенты работают на всех типах оборудования, включая неконтролируемое людьми. Медленные репликаторы станут предвестником более агрессивных и быстрых, способных взламывать защищённые машины. Необходимо укреплять системы уже сейчас, но также готовиться к миру, где такие репликаторы — реальность.

Графовые сети и аномалии во временных рядах

Как выявлять аномальные события (например, системные сбои или атаки) в многомерных временных рядах (таких как данные с датчиков)? Еще более сложная задача — сделать это так, чтобы учитывать сложные взаимосвязи между датчиками, а также обнаруживать и объяснять аномалии, нарушающие эти закономерности. В последнее время методы глубокого обучения позволили улучшить результаты обнаружения аномалий в многомерных данных; однако существующие подходы не обучаются явным образом структуре взаимосвязей между переменными и не используют их для прогнозирования ожидаемого поведения временных рядов. Предлагаемый нами подход сочетает в себе методы обучения структуре и графовые нейронные сети, а также использует веса механизма внимания для обеспечения интерпретируемости обнаруженных аномалий. Эксперименты, проведенные на двух реальных наборах данных с датчиков (содержащих размеченные аномалии), показали, что наш метод выявляет аномалии точнее базовых решений, корректно учитывает взаимосвязи между датчиками и позволяет определить первопричину обнаруженной аномалии. - Graph Neural Network-Based Anomaly Detection in Multivariate Time Series

Выявление и противодействие неправомерному использованию ИИ

Перевод отчета компании Anthropic за сентябрь 2026

В данном отчете освещается деятельность, которую компания пресекла в период с декабря 2025 года по август 2026 года в семи областях, представляющих угрозу: кибероперации, операции по оказанию влияния, слежка, мошенничество и фальсификации, злоупотребление биологическими средствами, разработка обычных вооружений и дистилляция.

Безопасна ли криптография?

"Как уже отмечали многие, криптография — это область, чье отсутствие в списке из 376 научных работ OpenAI бросается в глаза! Однако, по сведениям моих источников, компании, занимающиеся искусственным интеллектом, начали — осторожно и не привлекая лишнего внимания — выяснять, способны ли их новейшие внутренние модели взламывать важные криптографические протоколы и примитивы. И если это возможно, то, безусловно, было бы разумно сыграть на опережение, прежде чем к такому же выводу придет остальной мир." - отсюда

Изменение требований ФСТЭК к ИИ

Защита информации в ГИС при использовании искусственного интеллекта скоро будет регулироваться иначе. ФСТЭК России вынесла на обсуждение проект изменений в Требования, утверждённые приказом от 11 апреля 2025 года № 117: проект 170500 на regulation.gov.ru - отсюда

См. также другие публикации по теме ФСТЭК

ИИ в сетевой кибербезопасности

Отчет от InfoWatch - Искусственный интеллект в сетевой кибербезопасности

Наценка для токенов

1 сентября вступил в силу ФЗ №243-ФЗ «О поддержке развития технологий искусственного интеллекта». Под него попадают большие фундаментальные модели от 1 млрд параметров. Закон делит их на «суверенные», то есть полностью российские и «национальные». В последних допускаются зарубежные компоненты под открытыми лицензиями. Эти нормы заработают с 1 марта 2027 года. Первое следствие появилось через неделю.

8 сентября «Коммерсантъ» сообщил о проекте постановления правительства: в госуправлении, КИИ, образовании, здравоохранении и ряде других сфер суверенную модель придется использовать, если она дороже национальной не более чем в полтора раза. В Минцифры подтвердили, что обсуждение идет, но называют перечень «сводным» и говорить о нем — «преждевременно». Для рынка это значит, что у токена в регулируемых отраслях может появиться регуляторная наценка до 50%.

Военные применения Интернета Вещей

Книга в открытом доступе: Military Applications of Internet of Things

Кванты и безопасность коммуникаций

Книга в открытом доступе: Quantum Communications and Enhancing Security

Физическая криптография

Книга в открытом доступе Data Encryption at the Intersection of Mathematics and Physics

Математика для промышленности

Интересная серия книг от Springer. Например, Математические основы постквантовой криптографии - книга с открытым доступом, которая представляет математические основы криптографии, безопасно используемой в эпоху квантовых компьютеров. В частности, эта книга направлена на углубление базовой математики постквантовой криптографии, моделирование самых сильных возможных атак, таких как атаки с побочными каналами, и создание криптографических протоколов, гарантирующих защиту от таких атак. Книга подходит для использования в продвинутом курсе по математической криптографии и в качестве справочника для экспертов.