Построение безопасности локальных ИИ-моделей

Материалы форума ITSEC 2026: "Построение безопасности локальных ИИ-моделей"

Материалы выступлений:

Ирина Гефнер, ФСТЭК России: Совершенствование требований по Защите информации при использовании технологии искусственного интеллекта
Дискуссия экспертов. О вопросах информационной безопасности систем искусственного интеллекта и регулирования их защиты. Участвуют: Ирина Гефнер (ФСТЭК России), Дмитрий Пономарев (ИСП РАН), Дмитрий Евдокимов (Luntry)
Дмитрий Евдокимов, Luntry: Защита AI-инфраструктур
Александр Партин, Privacy Advocates: Преимущества локальных ИИ моделей с позиции юриста
Андрей Кузнецов, НТЦ "Фобос-НТ": Применимость Методики ВУ и НДВ для СЗИ с ИИ: взгляд испытательной лаборатории
Ирина Блажина, Solutions of Security: OAuth или AAuth? В чём разница? Что меняется с массовым внедрением агентов в подходах стандартизации авторизации?
Александр Шепилов, Ростелеком: Агенты. Игра теней. Кто управляет цифровыми агентами, которые работают без человека?
Владислав Смирнов, Маг Девелопмент: Веса и обучение модели — забота вендоров, их немного. Агентная обвязка — забота каждого, кто её внедряет
Кирилл Сорокин, билайн: Защищать нужно не модель: сквозная архитектура безопасности локального AI от данных до агента
Александр Малахов, СО ЕЭС: Запуск локальной ИИ-модели и настройка безопасности на ограниченных вычислительных ресурсах
Александр Партин, Privacy Advocates: Преимущества специализированного харнесса для ИИ на примере ИИ-ассистента для DPO
Станислав Погоржельский, VK Tech: Российская LLM. Статусы моделей, веса, сертификация и как регулировать ИИ

Кэш - наше все

DeepSeek раскрыл интересные детали по своей архитектуре. С переводом от Google:

Пределы возможностей больших моделей определяются самими моделями; однако главная задача для систем инференса (выполнения моделей) заключается в том, чтобы сделать эти возможности доступными для огромного числа пользователей при разумных затратах.

Чтобы удовлетворить потребности в масштабном инференсе ИИ, такие системы прошли путь от простых сервисов, работающих на одной машине, до сложных, распределенных между кластерами комплексов. Такие аспекты, как выполнение операторов, передача данных, планирование задач и управление кэшем, тесно взаимосвязаны и в совокупности определяют общую производительность системы. В случае масштабных онлайн-сервисов оптимизация производительности должна учитывать конкретные условия развертывания: выбор чипов, аппаратную архитектуру, распределение вычислительных ресурсов и возможность повторного использования уже вычисленных результатов.

С самого начала разработка системы инференса DeepSeek V4.1 Flash опиралась на три ключевые цели:

Совместимость с различными вычислительными чипами: обеспечение возможности развертывания системы на разнообразных аппаратных платформах при максимальном использовании потенциала каждой из них. Оптимизация использования оборудования для этапов предварительного заполнения (Prefill) и генерации (Decode): использование стандартных узлов с 8 графическими процессорами (GPU) для этапа Prefill и более крупных «суперузлов» (64–128 GPU) для этапа Decode, с применением стратегий вычислений, передачи данных и планирования, адаптированных к специфическим нагрузкам каждого этапа. Длительное хранение KV-кэша (более 72 часов): создание расширенных возможностей для повторного использования контекста, что позволяет избежать избыточных вычислений на этапе Prefill при наличии данных в кэше, с учетом требований к объему памяти и накладных расходов на управление таким длительным хранением.

Сосредоточившись на этих целях, мы непрерывно оптимизировали процессы вычислений, передачи данных, планирования и хранения. Это позволило нам увеличить эффективную пропускную способность системы, строго соблюдая при этом требования к задержкам (latency). В результате мы можем обрабатывать больше запросов, используя меньше вычислительных мощностей и энергии, что делает интеллектуальные сервисы более доступными для широкого круга пользователей.

Ранее мы открыли исходный код TileLang — инструмента для разработки высокопроизводительных операторов — а также предоставили набор библиотек операторов для инференса. Сегодня мы официально открываем исходный код DeepInfer — нашей платформы для масштабного облачного инференса. Именно на базе этой платформы работают высокопроизводительные сервисы DeepSeek V4.1 Flash с минимальными задержками. 

В настоящее время один кластер обеспечивает пропускную способность 155 триллионов токенов в сутки, при этом доходность составляет 38 долларов в час в расчете на один графический процессор (GPU) — по тарифам для периодов низкой нагрузки.

 Система DeepInfer объединяет высокопроизводительные операторы и глубоко оптимизированный механизм инференса (вывода). Она поддерживает такие функции, как распределенный инференс, спекулятивное декодирование (speculative decoding), механизм SWA (Sliding Window Attention) с ограниченным повторным вычислением (Bounded Replay) и структурированный вывод данных; кроме того, система совместима как с платформами NVIDIA, так и с Huawei Ascend. Дополнительно мы открыли исходный код компонента `deepseek-recipe`, предназначенного для кодирования и декодирования токенов в промышленных масштабах. Он обеспечивает эффективное и точное преобразование между протоколами API популярных больших языковых моделей и токенами самих моделей. 

Логика работы полностью соответствует официальному API DeepSeek, что гарантирует сторонним разработчикам такой же опыт использования API, как и при работе с официальной версией. В дальнейшем код для инференса и последующие оптимизации производительности для новых моделей DeepSeek также будут публиковаться в рамках проекта DeepInfer.

Некоторые компоненты системы инференса — в частности, отвечающие за управление кэшем ключей и значений (KV Cache) и балансировку нагрузки — тесно интегрированы с нашей внутренней инфраструктурой и пока не представлены в открытом доступе. В данной статье описываются общая архитектура и ключевые технические решения системы инференса DeepSeek V4.1 Flash, разработанной с учетом поставленных целей, а также подробно рассматривается устройство упомянутых компонентов.

Обзор архитектуры системы инференса 

Основные цели оптимизации системы инференса DeepSeek V4.1 Flash — увеличение пропускной способности и снижение задержек. Для достижения этих целей мы применяем следующие стратегии:

Параллелизм экспертов (Expert Parallelism, EP) для компонентов архитектуры «смесь экспертов» (MoE) — как внутри узлов, так и между ними. Это позволяет увеличить размер пакета (batch size) и повысить эффективность матричных вычислений на GPU, что ведет к росту пропускной способности. 

Раздельное развертывание этапов визуального кодирования (Vision Encoder), предварительного заполнения (Prefill) и декодирования (Decode). Такой подход позволяет независимо распределять ресурсы для каждой фазы, обеспечивая возможность точечной оптимизации таких показателей, как TTFT (время до получения первого токена) и TBT (время между токенами). 

Используя наработки системы инференса DeepSeek-V3/R1, мы применяем параллелизм по данным (Data Parallelism, DP) для компонентов механизма внимания (ATTN), при этом количество групп параллелизма по данным равно количеству групп параллелизма экспертов (#DP = #EP). Для управления распределением нагрузки между различными группами DP (параллелизм по данным) и EP (параллелизм по экспертам) мы разработали специализированные балансировщики нагрузки для этапов предварительного заполнения (Prefill), декодирования (Decode), работы визуального кодировщика (Vision Encoder) и параллелизма по экспертам (Expert-Parallel). 

Кроме того, чтобы избежать вычислительных затрат, связанных с избыточными операциями предварительного заполнения, мы внедрили систему хранения кэша ключей и значений (KV Cache Storage). 

При поступлении пользовательского запроса на этап инференса (и до его завершения) необходимо выполнять преобразование между протоколом API и последовательностью токенов. DeepSeek Recipe обеспечивает эффективное и точное кодирование/декодирование данных при переходе от API-протоколов популярных больших языковых моделей (LLM) к последовательностям токенов, используемым в моделях. 

Благодаря таким методам, как сегментация специальных токенов и параллельная обработка, удается избежать рисков, связанных с внедрением специальных токенов, и одновременно сократить задержки при токенизации длинных текстов. 

Фактические статистические данные из рабочей системы DeepSeek-V4.1-Flash: пропускная способность на карту GPU без учёта попаданий в кэш - 60 тысяч токенов в секунду, а с учётом попаданий - 1,5 миллиона. Это разница в 25 раз! При этом среднее попадание в кэш - 96%.

Паттерны для агентов

GraphRAG: руководство для практиков по 6 продвинутым архитектурным шаблонам. Выход за рамки базового графового поиска: шесть архитектурных решений, готовых к промышленному применению, которые объединяют семантический поиск, графы знаний и логические рассуждения больших языковых моделей (LLM)

Агентные системы: руководство для практиков по 6 продвинутым архитектурным шаблонам. Выход за рамки простых циклов ReAct: шесть архитектур, готовых к промышленному применению, для создания автономных, надежных и масштабируемых LLM-агентов

См. также другие публикации, посвященные агентам

GTIG AI Threat Tracker: от промптинга к автономности — эволюция состязательного ИИ

«За последний квартал злоумышленники перешли от простого взаимодействия с большими языковыми моделями (LLM) через промпты к интеграции возможностей ИИ в различные этапы жизненного цикла атаки», — отмечают в GTIG (Google Threat Intelligence).

«Хотя традиционная автоматизация на основе скриптов давно стала неотъемлемой частью деятельности злоумышленников, группировки все чаще модернизируют эти рабочие процессы, создавая высокоавтономные системы, способные анализировать сложные задачи и принимать динамические решения без участия человека».

В ходе одного из таких инцидентов злоумышленник, преследующий финансовые цели, взломал облачную инфраструктуру организации и развернул автономную мультиагентную систему. Менее чем за шесть часов злоумышленник спланировал, разработал и запустил кампанию по массовому сбору учетных данных, используя ИИ-чат-бот для написания кода, промпт и инструкции для агентов в формате Markdown, сообщает Google. ИИ-агенты управляли процессом сканирования уязвимостей, собирали тысячи сторонних учетных данных, устраняли возникающие проблемы в режиме реального времени, меняли IP-адреса и направляли трафик атаки через легитимные, но скомпрометированные облачные среды, чтобы избежать обнаружения. Такой подход существенно сократил задержки, связанные с участием человека, и уменьшил время, доступное защитникам для реагирования.
В другом случае исследователи обнаружили незащищенный сервер управления (C2), на котором была развернута автоматизированная система разведки и управления учетными данными под названием «Recon». Среди файлов системы были инструкции для ИИ-агентов, базы знаний и артефакты OpenClaw, относящиеся к платформе, которая в реальном времени управляла более чем 23 800 полученными секретными данными, такими как API-ключи.

В отчете GTIG приводятся и другие примеры: связанные с Китаем группировки, занимающиеся кибершпионажем, экспериментировали «с инструментами разработки на базе ИИ для создания автоматизированной системы эксплуатации уязвимостей и постэксплуатации с поддержкой искусственного интеллекта».

Исследователи отмечают, что и другие шпионские группировки — например, российская UNC5792 — интегрировали модели ИИ для автоматизации работы ботов, отслеживающих в Telegram-каналах информацию, представляющую интерес для государственных структур.

Тем не менее, в GTIG подчеркнули, что полностью автономный взлом пока не получил широкого распространения: специалисты не зафиксировали случаев развертывания злоумышленниками полностью автономных систем для поиска уязвимостей нулевого дня и проведения атак на реальные цели. Компания также отметила, что Gemini — ее модель искусственного интеллекта — выявила многие из этих случаев злоупотребления на ранней стадии и отреагировала в соответствии с протоколами безопасности; это позволило Google принять дополнительные меры, пресечь подобные кампании и заблокировать связанные с ними учетные записи.

Случаи злоупотребления инструментами ИИ также были зафиксированы в ходе атак на цепочки поставок, осуществляемых группировкой UNC6780 (TeamPCP), при проведении операций по дистилляции модели Gemini (с использованием 100 миллионов запросов), а также на растущем рынке краденых учетных данных и API-ключей для сервисов ИИ.

Кроме того, поддерживаемые государством группировки продолжают использовать ИИ для разведки, фишинга, разработки вредоносного ПО, эксплуатации уязвимостей, действий на этапе постэксплуатации, обработки данных и ведения пропаганды.

ИИ-червь

Исследование Frontier Red Team компании Anthropic показывает, что небольшие ИИ-модели могут быть способны к автономному самовоспроизводству без доступа к дата-центру. Они могут распространяться по коммерческим IoT-устройствам (умные печи, дешёвые Android TV-приставки), создавая распределённый «ИИ-червь», который крайне сложно остановить из-за отсутствия централизованной точки отключения.

Ключевые выводы
1. Уже сегодня возможно частичное воспроизводство. Модели до 30 млрд параметров способны выполнять многие отдельные шаги для самовоспроизводства, хотя ошибаются при их объединении в цепочку. В упрощённых тестах модели GLM-5.2 и сильнее уже способны к сквозному воспроизводству. Если небольшие модели продолжат улучшаться историческими темпами, они достигнут нужного уровня к концу 2026 года.

2. IoT-устройства — недооценённая угроза. Демонстрация: модель Gemma4-26B-A4B распределённо работала на 15 дешёвых Android TV-приставках (~$55 каждая) со скоростью 0,39 токена/сек. Модель 9B запускалась на 8 из 9 протестированных типов оборудования. Устройства вроде умных холодильников, печей, роботов-пылесосов и газонокосилок могут размещать фрагменты модели.

3. Скорость распространения. ИИ-червь будет распространяться медленно (дни на удвоение), но настойчиво. При заражении 2 млн устройств (как в ботнете Kimwolf) вычислительная мощность составила бы эквивалент ~40 GPU H100. Время настройки инференса: от 28–51 часа для Qwen3.5-9B до 71–150 часов для Gemma4-26B-A4B.

4. Адаптация и эволюция. Модели могут передавать «потомкам» свои заметки, код и стратегии (ламарковская эволюция). Успешность настройки инференса у Qwen3.5-9B росла с 45% в первом поколении до 61–84% в последующих. Обращение к более сильному «советнику» (Opus 4.8) не дало значимого улучшения — малые модели не знают, какие вопросы задавать.

Отличия от традиционных ботнетов
Обычные ботнеты (например, Mirai, Kimwolf) жёстко привязаны к конкретному типу устройств.
ИИ-ботнет не привязан к оборудованию: малые модели настраивают инференс на устройствах от Jetson Nano до Mac.
ИИ-ботнет может использовать несколько стратегий одновременно и адаптироваться.

Рекомендации по защите
Сетевая сигнатура: заражённые устройства обмениваются многогигабайтными модельными «пейлоадами» и поддерживают необычный трафик между собой.
Карантин: опыт Mirai показал, что изоляция заражённых абонентов с уведомлением снизила число инфекций на 92% за 14 дней.
Регулирование: отказ от паролей по умолчанию для IoT-устройств (уже действует в Великобритании).
Ханипоты: для сбора пейлоадов и понимания поведения репликатора.

Прогноз
Авторы ожидают будущее, в котором агенты работают на всех типах оборудования, включая неконтролируемое людьми. Медленные репликаторы станут предвестником более агрессивных и быстрых, способных взламывать защищённые машины. Необходимо укреплять системы уже сейчас, но также готовиться к миру, где такие репликаторы — реальность.

Графовые сети и аномалии во временных рядах

Как выявлять аномальные события (например, системные сбои или атаки) в многомерных временных рядах (таких как данные с датчиков)? Еще более сложная задача — сделать это так, чтобы учитывать сложные взаимосвязи между датчиками, а также обнаруживать и объяснять аномалии, нарушающие эти закономерности. В последнее время методы глубокого обучения позволили улучшить результаты обнаружения аномалий в многомерных данных; однако существующие подходы не обучаются явным образом структуре взаимосвязей между переменными и не используют их для прогнозирования ожидаемого поведения временных рядов. Предлагаемый нами подход сочетает в себе методы обучения структуре и графовые нейронные сети, а также использует веса механизма внимания для обеспечения интерпретируемости обнаруженных аномалий. Эксперименты, проведенные на двух реальных наборах данных с датчиков (содержащих размеченные аномалии), показали, что наш метод выявляет аномалии точнее базовых решений, корректно учитывает взаимосвязи между датчиками и позволяет определить первопричину обнаруженной аномалии. - Graph Neural Network-Based Anomaly Detection in Multivariate Time Series

Выявление и противодействие неправомерному использованию ИИ

Перевод отчета компании Anthropic за сентябрь 2026

В данном отчете освещается деятельность, которую компания пресекла в период с декабря 2025 года по август 2026 года в семи областях, представляющих угрозу: кибероперации, операции по оказанию влияния, слежка, мошенничество и фальсификации, злоупотребление биологическими средствами, разработка обычных вооружений и дистилляция.

Безопасна ли криптография?

"Как уже отмечали многие, криптография — это область, чье отсутствие в списке из 376 научных работ OpenAI бросается в глаза! Однако, по сведениям моих источников, компании, занимающиеся искусственным интеллектом, начали — осторожно и не привлекая лишнего внимания — выяснять, способны ли их новейшие внутренние модели взламывать важные криптографические протоколы и примитивы. И если это возможно, то, безусловно, было бы разумно сыграть на опережение, прежде чем к такому же выводу придет остальной мир." - отсюда

Изменение требований ФСТЭК к ИИ

Защита информации в ГИС при использовании искусственного интеллекта скоро будет регулироваться иначе. ФСТЭК России вынесла на обсуждение проект изменений в Требования, утверждённые приказом от 11 апреля 2025 года № 117: проект 170500 на regulation.gov.ru - отсюда

См. также другие публикации по теме ФСТЭК

ИИ в сетевой кибербезопасности

Отчет от InfoWatch - Искусственный интеллект в сетевой кибербезопасности

Наценка для токенов

1 сентября вступил в силу ФЗ №243-ФЗ «О поддержке развития технологий искусственного интеллекта». Под него попадают большие фундаментальные модели от 1 млрд параметров. Закон делит их на «суверенные», то есть полностью российские и «национальные». В последних допускаются зарубежные компоненты под открытыми лицензиями. Эти нормы заработают с 1 марта 2027 года. Первое следствие появилось через неделю.

8 сентября «Коммерсантъ» сообщил о проекте постановления правительства: в госуправлении, КИИ, образовании, здравоохранении и ряде других сфер суверенную модель придется использовать, если она дороже национальной не более чем в полтора раза. В Минцифры подтвердили, что обсуждение идет, но называют перечень «сводным» и говорить о нем — «преждевременно». Для рынка это значит, что у токена в регулируемых отраслях может появиться регуляторная наценка до 50%.

Военные применения Интернета Вещей

Книга в открытом доступе: Military Applications of Internet of Things

Кванты и безопасность коммуникаций

Книга в открытом доступе: Quantum Communications and Enhancing Security

Физическая криптография

Книга в открытом доступе Data Encryption at the Intersection of Mathematics and Physics

Математика для промышленности

Интересная серия книг от Springer. Например, Математические основы постквантовой криптографии - книга с открытым доступом, которая представляет математические основы криптографии, безопасно используемой в эпоху квантовых компьютеров. В частности, эта книга направлена на углубление базовой математики постквантовой криптографии, моделирование самых сильных возможных атак, таких как атаки с побочными каналами, и создание криптографических протоколов, гарантирующих защиту от таких атак. Книга подходит для использования в продвинутом курсе по математической криптографии и в качестве справочника для экспертов.

Графы для ИИ-агентов

Графовая инженерия для ИИ-агентов: от промптов и циклов к рабочим процессам

См. также другие публикации, посвященные агентам

Архитектура защиты для ИИ-агентов

Как спроектировать архитектурные защитные механизмы для ИИ-агентов. Паттерны проектирования агентов, которые должен знать каждый дата-инженер

См. также другие публикации, посвященные агентам

Комплексная таксономия агентской безопасности

Безопасность агентного ИИ (agentic AI) выходит за рамки защиты генерируемого контента и охватывает такие аспекты, как сохраняемое состояние, автономные действия, использование внешних инструментов, а также взаимодействие с людьми и другими агентами. Существующие классификации угроз часто делают упор на отдельные аспекты, оставляя в тени взаимосвязи между точками проникновения, уязвимыми компонентами и последствиями для безопасности. Кроме того, реальная картина угроз отличается от того спектра проблем, который охвачен в эмпирических исследованиях.
На основе структурированного обзора 66 исследований, опубликованных в период с 2022 по 2026 год, мы предлагаем модель T = ⟨S, B, P, A⟩ — многомерное представление, связывающее затронутые функциональные или системные области (S), границы взаимодействия или доверия (B), нарушенные свойства безопасности (P) и архитектуры, изученные эмпирическим путем (A). Мы анализируем 22 исследования, включающих практические эксперименты по тестированию на проникновение (red-teaming), и 11 репрезентативных бенчмарков безопасности, чтобы оценить полноту эмпирического охвата и уровень зрелости методов оценки. В рассмотренных работах основное внимание уделяется атакам, связанным с промптами и процессами рассуждения (reasoning), памятью и использованием инструментов, причем преимущественно в сценариях с одним агентом. Угрозы, связанные с сохраняемым состоянием, взаимодействием «человек-агент», сложными мультиагентными системами, системными уязвимостями и долгосрочными сценариями работы, изучены в меньшей степени. Полученные результаты характеризуют выбранный массив исследований, а не указывают на пробелы во всей области эмпирических изысканий в целом. Разнородность метрик, недостаточная оценка адаптивных механизмов защиты, архитектурный дисбаланс и неполная фиксация состояния выполнения затрудняют сопоставление результатов и их воспроизводимость. Мы формулируем 13 открытых исследовательских вопросов, призванных способствовать более систематическому, учитывающему архитектурные особенности и воспроизводимому подходу к оценке безопасности агентного ИИ. - Connecting the Dots in Agentic AI Security: A Cross-Dimensional Threat Taxonomy, Evaluation Maturity, and Open Challenges

См. также другие публикации, посвященные агентам

ИИ в промышленности

Новый выпуск альманаха ИИ в промышленности от МФТИ

Агентские протоколы

См. также другие публикации, посвященные агентам

ИИ-агенты пентестинга

Agents4Pentest — новый класс автономных систем для тестирования на проникновение, основанных на больших языковых моделях (LLM), — стал быстрорастущим направлением исследований в области информационной безопасности. Несмотря на этот рост, в данной сфере до сих пор отсутствуют единая таксономия, систематическое понимание того, как происходила совместная эволюция архитектур агентов и методик их оценки (бенчмарков), а также четкое описание сохраняющихся пробелов в функциональных возможностях и надежности. В данном обзоре эти пробелы устраняются посредством систематического анализа 81 научной работы, опубликованной в период с 2023 по 2026 год. Мы классифицируем изученные материалы по шести категориям: оценочные бенчмарки, системы общего назначения, специализированные (доменно-ориентированные) фреймворки, системы на базе соревнований CTF (Capture The Flag), исследования в области защиты и обзорные работы. Кроме того, мы прослеживаем четыре этапа архитектурной эволюции: от агентов, способных рассуждать исключительно на основе текстовых данных, до агентов, обученных с использованием метода обучения с подкреплением и проверяемыми наградами (RLVR), и показываем, что каждый переход был обусловлен необходимостью преодоления конкретного ограничения функциональности. Наш анализ позволил сформулировать ряд ключевых выводов. Во-первых, внедрение RLVR ознаменовало переход от приобретения навыков путем имитации действий экспертов к самосовершенствованию на основе системы вознаграждений, что позволяет агентам находить ранее не описанные стратегии атак. Во-вторых, платформы CTF эволюционировали из тестовых полигонов в инфраструктуру двойного назначения, пригодную как для оценки агентов, так и для их обучения методами обучения с подкреплением. В-третьих, специализированные фреймворки повышают эффективность за счет механизмов адаптивной специализации, однако их преимущества зачастую ограничены узкими классами задач, а сравнение результатов между различными предметными областями затруднено из-за использования разных методик оценки. В-четвертых, сфера исследований расширяется за пределы автоматизации наступательных действий, охватывая вопросы защиты от состязательных атак и обеспечения соответствия требованиям безопасности. Для всех рассмотренных категорий мы выделяем три взаимосвязанные открытые проблемы: надежность оценки, ограниченная эффективность при выполнении многоэтапных сценариев атак и нехватка качественных данных для обучения. В целом, данный обзор предлагает единую таксономию, методологическую основу для сравнения систем класса Agents4Pentest и план дальнейших исследований в области автономных агентов для тестирования на проникновение. A Survey of LLM-Driven Penetration Testing: Taxonomy, Co-Evolution, and Open Challenges

См. также другие публикации, посвященные агентам

Специальная форма косвенной инъекции

Агенты на базе ИИ действуют на основе запросов пользователя, используя внешние данные и выполняя операции в соответствии с контекстом агента. Предыдущие исследования безопасности таких агентов были сосредоточены главным образом на атаках типа «непрямая инъекция промпта» (indirect prompt injection, IPI). Наиболее изученной их разновидностью является инъекция инструкций (instruction injection), при которой неконтролируемые данные, управляемые злоумышленником, интерпретируются системой как команды. В ответ на это было предложено множество мер защиты, призванных предотвратить подобные атаки. В данной работе мы представляем новую категорию атак IPI — инъекцию данных в агента (agent data injection, ADI). Атаки ADI предполагают внедрение вредоносных данных, замаскированных под доверенные: например, критически важных для безопасности метаданных (идентификаторов ресурсов, сведений об источнике данных) или данных контекста агента (форматов вызова инструментов и ответов на них). В результате агенты непреднамеренно выполняют нежелательные действия, руководствуясь данными, контролируемыми злоумышленником. Последствия атак ADI схожи с последствиями инъекции инструкций, поскольку они также приводят к некорректной работе агентов и выполнению ими незапланированных операций. Несмотря на схожесть последствий, атаки ADI остаются недостаточно изученными и легко обходят существующие механизмы защиты от IPI. Мы обнаружили ряд критических уязвимостей в реальных агентах, позволяющих злоумышленнику проводить различные атаки: от произвольных кликов в веб-агентах (Claude в Chrome, Antigravity, Nanobrowser) до удаленного выполнения кода и атак на цепочку поставок в агентах для написания программного кода (Claude Code, Codex, Gemini CLI). Мы проанализировали уязвимость к ADI в готовых моделях и агентах на базе ИИ и установили, что этот тип атак эффективен как в отношении автономных больших языковых моделей (LLM), так и в системах, использующих агентов. ADI выявляет критический пробел в безопасности агентов, свидетельствующий о том, что в современных системах не соблюдается фундаментальный принцип защиты: доверенные данные не изолируются от недоверенных. - Agent Data Injection Attacks are Realistic Threats to AI Agents

См. также другие публикации, посвященные агентам

О безопасности MCP

Серверы Model Context Protocol (MCP) стали неотъемлемым элементом связи больших языковых моделей (LLM) с внешними инструментами, источниками данных и средами выполнения. Однако наличие у них привилегированного доступа и роль связующего звена создают серьезные угрозы безопасности. Несмотря на существование множества методов обнаружения уязвимостей с использованием LLM, остается неясным, способны ли они различать на уровне семантики пары «уязвимый сервер MCP — исправленный сервер MCP», а не просто выявлять рискованные вызовы API. В данной работе мы представляем специализированный бенчмарк для оценки обнаружения уязвимостей в таких парах серверов MCP; он включает 75 пар инструментов (уязвимых и исправленных), сгенерированных моделью Gemini-1.5-Pro и прошедших ручную перекрестную проверку. Для оценки методов обнаружения мы используем метрику точности на парных образцах (Matched Pair Accuracy, MPA). Модель Claude Haiku-4.5 демонстрирует лучший показатель MPA — 0,853, тогда как GPT-5-mini показывает F1-меру 0,842, но MPA лишь 0,653; это свидетельствует о том, что традиционные метрики могут завышать эффективность обнаружения в парных сценариях. Наш бенчмарк открывает новые возможности для систематической и воспроизводимой оценки безопасности, ориентированной именно на протокол MCP. - Benchmarking MCP Vulnerability Detection from a Paired Evaluation Perspective

См. другие публикации, посвященные MCP

Атаки с помощью ИИ-агентов

Компания Gambit Security сообщает, что злоумышленник, движимый финансовой выгодой, использовал три инструмента на базе ИИ-агентов для взлома интернет-магазинов, кражи данных более 600 000 банковских карт и внедрения платежных скиммеров как минимум на 119 веб-сайтах. Кампания велась в период с июля по меньшей мере до 22 сентября; по оценкам Gambit, затраты злоумышленника на ИИ-сервисы и сопутствующие операции составили от 12 000 до 18 000 долларов. - отсюда

Что особенно интересно - отчет об этой атаке от Gambit включает уже технические подробности организации атак (в отличие от Anthropic и OpenAI, которые в своих отчетах об инцидентах ничего практического не указывали).

См. также другие публикации, посвященные агентам

Вайб-кодинг в кибербезопасности

Что можно делать одним промптом. Коллективное исследование магистров кафедры Информационной безопасности факультета ВМК МГУ имени М.В. Ломоносова

В статье представлены результаты масштабного эксперимента, в котором команды студентов магистратуры ВМК МГУ имени М.В. Ломоносова в рамках курса по безопасности систем Интернета Вещей составляли программы классификации сетевого трафика с помощью больших языковых моделей (LLM). Использование моделей машинного (глубокого) обучения является классической историей для систем обнаружения вторжений. В качестве исходных данных на выбор предлагались доступные датасеты сайта Kaggle. Соответственно, на этом же сайте, вместе с датасетами можно было найти запрограммированные “вручную” модели, которые могли послужить базовыми примерами для сравнения с автоматическими решениями. Задача состояла в разработке подсказок (промптов), проверке их на нескольких LLM и, отдельно, проверке работы англоязычного и русскоязычного варианта подсказок. В целом, во всех проведенных экспериментах LLM работающие модели, которые не уступали по метрикам существующим “ручным” вариантам. Тем не менее, полученные результаты требовали проверки, равно как архитектурные решения, выбранные LLM, не всегда были оптимальными, а иногда и просто неверными, например, в части утечки данных. Это оставляет пока пространство для работы программистов (ML-инженеров).

Sok: безопасность ИИ-агентов

Агентные системы искусственного интеллекта, работающие на базе больших языковых моделей (LLM) и обладающие способностью к планированию, использованию инструментов, запоминанию и автономной деятельности, становятся мощными и гибкими платформами для автоматизации. Их способность автономно выполнять задачи в веб-среде, программных системах и физическом мире порождает новые, усиленные риски безопасности, отличные как от проблем безопасности традиционного ИИ, так и от вопросов защиты обычного программного обеспечения. В данном обзоре представлена таксономия угроз, характерных для агентного ИИ, рассмотрены современные бенчмарки и методики оценки, а также проанализированы стратегии защиты с технической и управленческой точек зрения. Мы обобщаем результаты текущих исследований и выделяем нерешенные задачи, стремясь содействовать разработке агентных систем, изначально проектируемых с учетом требований безопасности (secure-by-design). - Agentic AI Security: Threats, Defenses, Evaluation, and Open Challenges

См. также другие публикации, посвященные агентам

Экзистенциальные риски для человечества

Компания Anthropic (создатель ИИ-модели Claude) в проспекте к IPO предупредит инвесторов, что передовые модели искусственного интеллекта могут представлять экзистенциальные риски для человечества. Описанию факторов риска посвящено около 80 из 261 страницы документа, тогда как на описание бизнеса пришлось 48. Разработчик указывает, что ИИ может демонстрировать поведение, направленное на самосохранение, пытаться противостоять отключению, скрывать информацию и прибегать к шантажу

/via Reuters.

Из жизни ИИ-агентов

1. Еще один стандарт для ИИ-агентов - плагины. Расширение возможностей агентов с помощью плагинов, созданных на основе повторно используемых компонентов. Эту технологию поддерживают OpenAI, Microsoft, Cursor и AWS, но не Google или Anthropic.

2. MCP теперь stateless. Как и HTTP.

См. также другие публикации, посвященные агентам

Атаки на приватные данные

Объяснения в машинном обучении раскрывают поведение модели за пределами прогнозов, создавая поверхности атаки для обеспечения конфиденциальности модели и защиты данных. Мы систематизируем 25 исследований, которые используют объяснения для извлечения модели, вывода принадлежности и инверсии модели, рассматривая вывод атрибутов как частичную инверсию. Существующие работы часто маркируются только как «черный» или «белый ящик», скрывая существенные различия в том, какой сигнал объяснения достигает противника. Поэтому мы разделяем знания модели и получение объяснений и выделяем пять путей: раскрытие со стороны цели, получение со стороны злоумышленника, вторичное раскрытие, привилегированный доступ и раскрытие глобальных артефактов. На этих путях объяснения снижают затраты на извлечение, раскрывают сигналы принадлежности с помощью статистики объяснений, расстояния доступа, и управляемой объяснениями устойчивости, а также поддерживают пространственную или алгебраическую реконструкцию частных входных данных. Мы сравниваем системные и модели угроз, сигналы объяснений, вспомогательные знания, целевые модели, модальности, бюджеты запросов, метрики оценки, сообщаемую производительность и средства защиты. Наш анализ показывает, что ни одно семейство объяснений не является одинаково небезопасным, и ни одна защита не является одинаково эффективной. Риск зависит от того, какой сигнал раскрывается, как он получен, какой актив является целью и что злоумышленник уже знает. Мы утверждаем, что конфиденциальность объяснений следовательно, должна оцениваться как проблема раскрытия информации от начала до конца, при этом средства защиты должны соответствовать пути получения информации и защищаемому активу. - SoK: Privacy Attacks on Machine Learning via Explainable AI

Китайский суд

Верховный народный суд издал «Законодательные заключения по разрешению споров, касающихся искусственного интеллекта». Из Google-перевода:

«Заключение» — это первый судебный документ, касающийся искусственного интеллекта, вынесенный высшим судебным органом страны, и он представляет собой «китайскую судебную мудрость», способствующую позитивному и этичному развитию искусственного интеллекта в глобальном масштабе. В процессе подготовки «Заключения» получили мощную поддержку и помощь от соответствующих центральных правительственных ведомств, представителей индустрии искусственного интеллекта, экспертов, ученых и других слоев общества. Можно сказать, что «Заключение» является одновременно обобщением опыта судебной практики и кульминацией мудрости всех слоев общества.

Руководствуясь идеями Си Цзиньпина о социализме с китайской спецификой в новую эпоху, мы будем всесторонне реализовывать его идеи о верховенстве права, добросовестно воплощать в жизнь важные идеи генерального секретаря Си Цзиньпина о построении сильной кибердержавы, глубоко осознавать, что искусственный интеллект является важной движущей силой нового витка технологической революции и промышленной трансформации, придерживаться принципа равного внимания к развитию и безопасности, а также сочетать продвижение инноваций с управлением в соответствии с законом. Мы будем справедливо и беспристрастно рассматривать дела, касающиеся споров об искусственном интеллекте, в соответствии с законом, содействовать повышению безопасности, надежности, управляемости и справедливости применения технологий искусственного интеллекта, а также предоставлять надежные судебные услуги и гарантии для всестороннего продвижения строительства сильного государства и великого дела национального возрождения посредством модернизации в китайском стиле.

Регулирование в соответствии с законами и нормативными актами таких действий, как «замена лиц и имитация голоса с помощью ИИ» и «воскрешение умерших с помощью ИИ», которые нарушают права личности посредством генеративного искусственного интеллекта. Использование генеративного искусственного интеллекта для обработки имени, портрета и т. д. конкретного физического лица или умершего лица не должно нарушать законы и нормативные акты, а также противоречить общественному порядку и нормам морали. Если иное не предусмотрено законом, если без согласия физического лица используется искусственный интеллект для обработки имени, портрета и т. д. физического лица с целью создания виртуального цифрового изображения, позволяющего идентифицировать это физическое лицо, и это изображение используется и публикуется, и физическое лицо заявляет о нарушении им его прав личности, таких как право на его имя и портрет, Народный суд должен поддержать такие заявления в соответствии с законом. Если иное не предусмотрено законом, и если без согласия физического лица голос физического лица используется в качестве учебного материала для имитации тембра, тона и манеры произношения этого физического лица с целью создания синтетического человеческого голоса, способного идентифицировать это физическое лицо, и физическое лицо заявляет о нарушении им его прав на голос, Народный суд должен поддержать такие заявления в соответствии с законом. Если лицо манипулирует созданным синтетическим виртуальным цифровым изображением или голосом, способным идентифицировать конкретное физическое лицо, с целью совершения неправомерных действий или публикации ложных заявлений, тем самым снижая социальную оценку этого физического лица или других лиц, Народный суд должен определить, что это представляет собой нарушение права на репутацию в соответствии с законом. Если лицо использует технологию искусственного интеллекта для создания или использования виртуального цифрового изображения умершего без разрешения, что приводит к нарушению имени, образа или репутации умершего, и близкие родственники умершего требуют привлечения виновного к гражданской ответственности в соответствии со статьей 994 Гражданского кодекса, Народный суд обязан поддержать такое требование в соответствии с законом.

Правовое определение гражданской ответственности за нарушение прав на персональную информацию в процессе обучения искусственного интеллекта. Обработка персональной информации, добровольно предоставленной лицом или уже предоставленной в рамках закона в разумных пределах для обучения модели искусственного интеллекта, и при условии, что лицо явно не отказалось от нее, как правило, не считается нарушением прав на персональную информацию. Если это оказывает существенное влияние на права лица, необходимо получить согласие лица в соответствии с законом. При определении разумных пределов следует всесторонне учитывать такие факторы, как цель обработки персональной информации, необходимость и целесообразность функционирования модели, тип и степень конфиденциальности обрабатываемой персональной информации, ее потенциальное влияние на права лица, контекст, в котором раскрывается информация, и разумно предвидимый объем использования. (vii) Разумно определить гражданско-правовую ответственность поставщиков услуг генеративного искусственного интеллекта. Если контент, автоматически генерируемый генеративным искусственным интеллектом, нарушает права на репутацию, право на неприкосновенность частной жизни или другие личные права других лиц, и поставщик услуг генеративного искусственного интеллекта не принимает необходимых мер, таких как прекращение генерации контента, нарушающего авторские права, после получения уведомления от правообладателя, он несет гражданско-правовую ответственность за причиненный ущерб в соответствии с законом. Уведомление должно включать предварительные доказательства нарушения и достоверную информацию о личности правообладателя. Если пользователь сети злонамеренно побуждает генеративный искусственный интеллект к генерации контента, нарушающего авторские права, и причиняет вред другим лицам, вводя подсказки, нарушающие авторские права, пользователь сети несет гражданско-правовую ответственность в соответствии с законом; Если после уведомления со стороны правообладателя поставщик услуг генеративного искусственного интеллекта не принимает необходимых мер, таких как прекращение генерации контента, нарушающего авторские права, и блокировка соответствующих инструкций по генерации, и правообладатель требует от пользователя сети и поставщика услуг генеративного искусственного интеллекта привлечения к гражданской ответственности в соответствии со статьей 1195 Гражданского кодекса, народный суд должен поддержать такое требование в соответствии с законом.

В случаях, когда производители или продавцы транспортных средств делают ложные или вводящие в заблуждение заявления относительно уровня автоматизации, интеллекта, производительности или использования автономных транспортных средств или транспортных средств с функциями помощи водителю, тем самым нанося ущерб законным правам и интересам потребителей, и потребители требуют от производителей или продавцов транспортных средств привлечения к гражданской ответственности в соответствии с Гражданским кодексом, Законом о защите прав потребителей и другими соответствующими законами, Народный суд должен поддержать такое требование в соответствии с законом. Для установления причины дорожно-транспортного происшествия народный суд может потребовать от производителя, продавца или оператора транспортного средства, или иного лица, контролирующего данные, предоставить в необходимом объеме достоверные и полные записи о событиях автономного и вспомогательного вождения, а также другие данные, необходимые для установления фактов дела.

Полный текст перевода есть здесь

Публикации по теме Искусственный интеллект в кибербезопасности 27.09.2026

Вопросы безопасности систем ИИ рассматриваются в двух магистерских программах факультета ВМК МГУ имени М.В. Ломоносова: Искусственный интеллект в кибербезопасности и Кибербезопасность. Ниже приведен список публикаций, подготовленных в процессе реализации этих программ по состоянию на 27.09.2026

Ильюшин Е. А., Намиот Д. Е. An approach to the automatic enhancement of the robustness of ml models to external influences on the example of the problem of biometric speaker identification by voice // International Journal of Open Information Technologies. — 2021. — Vol. 9, no. 6. — P. 11–19.

Намиот Д. Е., Ильюшин Е. А., Чижов И. В. Текущие академические и индустриальные проекты, посвященные устойчивому машинному обучению // International Journal of Open Information Technologies. — 2021. — Т. 9, № 10. — С. 35–46.

Намиот Д. Е., Ильюшин Е. А., Чижов И. В. Основания для работ по устойчивому машинному обучению // International Journal of Open Information Technologies. — 2021. — Т. 9, № 11. — С. 68–74.

Намиот Д. Е., Ильшин Е. А., Чижов И. В. Военные применения машинного обучения // International Journal of Open Information Technologies. — 2022. — Т. 10, № 1. — С. 69–76.

Ильюшин Е. А., Намиот Д. Е., Чижов И. В. Атаки на системы машинного обучения – общие проблемы и методы // International Journal of Open Information Technologies. — 2022. — Т. 10, № 3. — С. 17–22.

Namiot D., Ilyushin E. On monitoring of machine learning models // Distributed Computer and Communication Networks: Control, Computation, Communications (DCCN-2022) : материалы XXV международной научной конференции: Москва, 26–30 сентября 2022 года / под общ. ред. В. М. Вишневского и К. Е. Самуйлова. — РУДН Москва: 2022. — P. 150–157.

Namiot D., Ilyushin E., Chizhov I. On a formal verification of machine learning systems // International Journal of Open Information Technologies. — 2022. — Vol. 10, no. 5. — P. 30–34.

Huayu L., Namiot D. A survey of adversarial attacks and defenses for image data on deep learning // International Journal of Open Information Technologies. — 2022. — Vol. 10, no. 5. — P. 9–16.

Намиот Д., Ильюшин Е., Пилипенко О. Доверенные платформы искусственного интеллекта // International Journal of Open Information Technologies. — 2022. — Т. 10, № 7. — С. 119–127.

Намиот Д., Ильюшин Е. Порождающие модели в машинном обучении // International Journal of Open Information Technologies. — 2022. — Т. 10, № 7. — С. 101–118.

Биджиев Т. М., Намиот Д. Е. Исследование существующих подходов к встраиванию вредоносного программного обеспечения в искусственные нейронные сети // International Journal of Open Information Technologies. — 2022. — Т. 10, № 9. — С. 21–31.

Намиот Д. Е., Ильюшин Е. А. Об устойчивости и безопасности систем искусственного интеллекта // International Journal of Open Information Technologies. — 2022. — Т. 10, № 9. — С. 126–134.

Намиот Д. Е., Ильюшин Е. А., Чижов И. В. Искусственный интеллект и кибербезопасность // International Journal of Open Information Technologies. — 2022. — Т. 10, № 9. — С. 135–147.

Stroeva E., Tonkikh A. Methods for formal verification of artificial neural networks: A review of existing approaches // International Journal of Open Information Technologies. — 2022. — Vol. 10, no. 10. — P. 3.

Намиот Д., Ильюшин Е. Мониторинг сдвига данных в моделях машинного обучения // International Journal of Open Information Technologies. — 2022. — Т. 10, № 12. — С. 84–93.

Костюмов, Василий Владимирович. "Обзор и систематизация атак уклонением на модели компьютерного зрения." International Journal of Open Information Technologies 10.10 (2022): 11-20.

Намиот Д. Е., Ильюшин Е. А. О причинах неудач проектов машинного обучения // International Journal of Open Information Technologies. — 2023. — Т. 11, № 1. — С. 60–69.

Намиот Д. Е. Введение в атаки отравлением на модели машинного обучения // International Journal of Open Information Technologies. — 2023. — Т. 11, № 3. — С. 58–68.

Namiot D. E., Ilyushin E., Chizhov I. On the practical generation of counterfactual examples // Труды Института системного анализа Российской академии наук. — 2023. — Vol. 73, no. 1. — P. 73–81.

Junzhe S., Namiot D. E. A survey of model inversion attacks and countermeasures // Труды Института системного анализа Российской академии наук. — 2023. — Vol. 73, no. 1. — P. 82–93.

Junzhe S., Namiot D. A survey of the implementations of model inversion attacks // Communications in Computer and Information Science. — 2023. — Vol. 1748. — P. 3–16.

Намиот Д. Е. Схемы атак на модели машинного обучения // International Journal of Open Information Technologies. — 2023. — Т. 11, № 5. — С. 68–86.

On the evasion attack detector / L. Huayui, V. Kostyumov, O. Pilipenko, D. Namiot // DCCN 2023. Материалы конференции. — ИПУ РАН Москва: 2023. — P. 183–188.

Junzhe S., Namiot D. On the machine learning models inversion attack detector // DCCN 2023. Материалы конференции. — ИПУ РАН Москва: 2023. — P. 194.

Lozinskii I., Kostyumov V., Stroeva E. Extraction of trigger and mask from poisoned data using modified activation clustering and neural cleanse methods // International Journal of Open Information Technologies. — 2023. — Vol. 11, no. 7. — P. 1

Чехонина, Екатерина Андреевна, and Василий Владимирович Костюмов. "ОБЗОР СОСТЯЗАТЕЛЬНЫХ АТАК И МЕТОДОВ ЗАЩИТЫ ДЛЯ ДЕТЕКТОРОВ ОБЪЕКТОВ." International Journal of Open Information Technologies 11.7 (2023): 11-20.

Пришлецов Д. Е., Пришлецов С. Е., Намиот Д. Е. Камуфляж как состязательные атаки на модели машинного обучения // International Journal of Open Information Technologies. — 2023. — Т. 11, № 9. — С. 41–49.

Намиот Д. Е., Зубарева Е. В. О работе ai red team // International Journal of Open Information Technologies. — 2023. — Т. 11, № 10. — С. 130–139.

Намиот Д. Е., Ильюшин Е. А. Доверенные платформы искусственного интеллекта: сертификация и аудит // International Journal of Open Information Technologies. — 2024. — Т. 12, № 1. — С. 43–60.

Киржинов Д. А., Ильюшин Е. А. Сравнительный анализ алгоритмов атак и защиты на графовые архитектуры ИНС // International Journal of Open Information Technologies. — 2024. — Т. 12, № 2.

Намиот Д. Е., Романов В. Ю. Об улучшении робастности моделей машинного обучения // International Journal of Open Information Technologies. — 2024. — Т. 12, № 3. — С. 88–98.

Junzhe S., Namiot D. On real-time model inversion attacks detection // Lecture Notes in Computer Science. — 2024. — Vol. 14123. — P. 56–67.

Мударова Р. М., Намиот Д. Е. Противодействие атакам типа инъекция подсказок на большие языковые модели // International Journal of Open Information Technologies. — 2024. — Т. 12, № 5. — С. 39–48.

Намиот Д. Е., Ильюшин Е. А. Искусственный интеллект в кибербезопасности: поиск вредоносного программного обеспечения // International Journal of Open Information Technologies. — 2024. — Т. 12, № 6. — С. 143–149.

Lebed, S. V., et al. "Large Language Models in Cyberattacks." Doklady Mathematics. Vol. 110. No. Suppl 2. Moscow: Pleiades Publishing, 2024.

Селевенко Р. М., Строева Е. Н. Исследование и разработка алгоритма формальной верификации и метрики оценки качества на основе методов понижения размерности ИНС // INJOIT. — 2024. — Т. 12, № 6. — С. 2.

Биджиев Т. М., Намиот Д. Е. Атаки на модели машинного обучения, основанные на фреймворке pytorch // Автоматика и телемеханика. — 2024. — № 3. — С. 38–50.

Намиот Д. Е., Ильюшин Е. А. О сертификации систем искусственного интеллекта // Физика элементарных частиц и атомного ядра. — 2024. — Т. 55, № 3. — С. 530–536.

Намиот Д. Е., Куприяновский В. П., Пичугов А. А. Состязательные атаки для автономных транспортных средств // International Journal of Open Information Technologies. — 2024. — Т. 12, № 7. — С. 139–149.

Намиот Д. Е. О кибератаках с помощью систем Искусственного интеллекта // International Journal of Open Information Technologies. — 2024. — Т. 12, № 9. — С. 132–141.

Воробьев, Егор Александрович. "Анализ состязательных атак на системы сегментации изображений." International Journal of Open Information Technologies 12.10 (2024): 1-25.

Намиот Д. Е., Ильюшин Е. А. О киберрисках генеративного Искусственного Интеллекта // International Journal of Open Information Technologies. — 2024. — Т. 12, № 10. — С. 109–119.

Порывай, Максим Викторович. "Сравнительное исследование методов естественной аугментации изображений." International Journal of Open Information Technologies 12.10 (2024): 26-33.

Герасименко, Денис Валерьевич, and Дмитрий Евгеньевич Намиот. "Извлечение тренировочных данных: Риски и решения в контексте безопасности LLM." International Journal of Open Information Technologies 12.11 (2024): 9-19.

Костиков, Егор Вячеславович. "Методы анализа логов Sysmon для обнаружения киберугроз." International Journal of Open Information Technologies 12.11 (2024): 25-34.

Намиот Д. Е., Ильюшин Е. А. Архитектура LLM агентов //International Journal of Open Information Technologies. – 2025. – Т. 13. – №. 1. – С. 67-74.

Воробьев Е. А., Намиот Д. Е. Состязательное тестирование моделей сегментации изображений // Программная инженерия. — 2025. — Т. 16, № 4. — С. 190–198.

Намиот, Д. Е., and Е. А. Ильюшин. "Об оценке доверия к системам Искусственного интеллекта." International Journal of Open Information Technologies 13.3 (2025): 75-90.

Хамзаева, М. А., and О. Р. Лапонина. "Повышение устойчивости к состязательным атакам моделей машинного обучения для обнаружения межсайтового выполнения сценариев." International Journal of Open Information Technologies 13.6 (2025): 25-33.

Бербер, Д. В., and О. Р. Лапонина. "Разработка подходов к увеличению устойчивости моделей машинного обучения для обнаружения распределенных атак отказа обслуживания." International Journal of Open Information Technologies 13.6 (2025): 16-24.

Егорова, Е. С., and О. Р. Лапонина. "Состязательное тестирование моделей машинного обучения, предназначенных для обнаружения SQL-инъекций." International Journal of Open Information Technologies 13.6 (2025): 34-41.

Лапонина, О. Р., and Р. Н. Костин. "Разработка программного обеспечения моделирования угроз для систем на базе LLM-агентов." International Journal of Open Information Technologies 13.6 (2025): 132-146.

Намиот, Д. Е. "Что LLM знает о кибербезопасности." International Journal of Open Information Technologies 13.7 (2025): 37-46.

Намиот, Д. Е. "Искусственный Интеллект в. Кибербезопасности. Хроника. Выпуск 1." International Journal of Open Information Technologies 13.9 (2025): 34-42.

Намиот, Д. Е., and Е. А. Ильюшин. "О кибербезопасности ИИ-агентов." International Journal of Open Information Technologies 13.9 (2025): 13-24.

Егоров, М. Э., et al. "Объяснения моделей машинного обучения и состязательные атаки." International Journal of Open Information Technologies 13.9 (2025): 50-59.

Намиот, Д. Е., and Е. А. Ильюшин. "Уязвимости экосистемы MCP." International Journal of Open Information Technologies 13.10 (2025): 74-82.

Намиот, Д. Е. "Искусственный Интеллект в Кибербезопасности. Хроника. Выпуск 2." International Journal of Open Information Technologies 13.10 (2025): 58-67.

Poryvai, Maxim, and Dmitry Namiot. "On Natural Image Augmentation to Increase Robustness of Machine Learning Models." 2025 International Russian Automation Conference (RusAutoCon). IEEE, 2025.

Namiot D., Zubareva E. On open datasets for llm adversarial testing // Communications in Computer and Information Science. — 2025. — Vol. 2641. — P. 137–148. 

Намиот, Д. Е. "Искусственный Интеллект в Кибербезопасности. Хроника. Выпуск 3." International Journal of Open Information Technologies 13.11 (2025): 169-179.

Maloyan, Narek, Bislan Ashinov, and Dmitry Namiot. "Investigating the Vulnerability of LLM-as-a-Judge Architectures to Prompt-Injection Attacks."  arXiv preprint arXiv:2505.13348 (2025).

Maloyan, Narek, and Dmitry Namiot. "Adversarial Attacks on LLM-as-a-Judge Systems: Insights from Prompt Injections." arXiv preprint arXiv:2504.18333 (2025).

Намиот, Д. Е. "Искусственный Интеллект в Кибербезопасности. Хроника. Выпуск 4." International Journal of Open Information Technologies 14.1 (2026): 81-94.

Maloyan, Narek, and Dmitry Namiot. "Prompt Injection Attacks on Agentic Coding Assistants: A Systematic Analysis of Vulnerabilities in Skills, Tools, and Protocol Ecosystems." arXiv preprint arXiv:2601.17548 (2026).

Намиот, Д. Е. "Искусственный Интеллект в Кибербезопасности. Хроника. Выпуск 5." International Journal of Open Information Technologies 14.2 (2026): 47-57.

Maloyan, Narek, and Dmitry Namiot. "Breaking the Protocol: Security Analysis of the Model Context Protocol Specification and Prompt Injection Vulnerabilities in Tool-Integrated LLM Agents." arXiv preprint arXiv:2601.17549 (2026).

Намиот, Д. Е. "Искусственный Интеллект в Кибербезопасности. Хроника. Выпуск 6." International Journal of Open Information Technologies 14.3 (2026): 76-86.

Намиот, Д. Е. "Искусственный Интеллект в Кибербезопасности. Хроника. Выпуск 7." International Journal of Open Information Technologies 14.5 (2026): 43-56.

Евграфов, Владимир Андреевич, Маратович Нутфуллин Булат, and Дмитрий Евгеньевич Намиот. "Методы атак и защиты в агентных системах на основе больших языковых моделей." International Journal of Open Information Technologies 14.5 (2026): 1-8.

Namiot, Dmitry. "On the AI Agents Audit Model." 2026 International Russian Smart Industry Conference (SmartIndustryCon). IEEE2026.

Namiot, Dmitry Evgenyevich, and Valery Alexandrovich Vasenin. "Осведомленность о фишинге–вопросы обучения." Современные информационные технологии и ИТ-образование 21.2 (2025): 221-229.

Kuzmenko, Ilya Dmitrievich, Dmitry Evgenyevich Namiot, and Valery Alexandrovich Vasenin.. "Методы обнаружения дипфейков в видеоконференциях в реальном времени." Современные информационные технологии и ИТ-образование 21.2 (2025): 204-220.

Намиот, Д. Е. "Искусственный Интеллект в Кибербезопасности. Хроника. Выпуск 8." International Journal of Open Information Technologies 14.6 (2026): 53-64.

Maloyan, Narek, and Dmitry Namiot. "Sleeper Channels and Provenance Gates: Persistent Prompt Injection in Always-on Autonomous AI Agents." International Journal of Open Information Technologies 14.6 (2026): 1-8.

Тарасов, Д. Д., and О. Р. Лапонина. "Повышение эффективности состязательных атак на модель прогнозирования трафика TGC-LSTM." International Journal of Open Information Technologies 14.6 (2026): 23-31.

Шустова, Е. Д., and О. Р. Лапонина. "Состязательные атаки на модели обнаружения фишинга на основе URL-адресов." International Journal of Open Information Technologies 14.6 (2026): 32-42.

Хитрова, А. С., and О. Р. Лапонина. "Устойчивость сессионных рекомендательных систем к атакам отравления обучающей выборки." International Journal of Open Information Technologies 14.6 (2026): 43-52.

Лычева, Е. О., and О. Р. Лапонина. "Разработка механизма динамического доверия для защиты веб-сессий в архитектуре ZeroTrust." International Journal of Open Information Technologies  14.6 (2026): 162-170.

Намиот, Д. Е. "Искусственный Интеллект в Кибербезопасности. Хроника. Выпуск 9." International Journal of Open Information Technologies 14.7 (2026): 183-195.

Намиот, Д. Е. "Искусственный Интеллект в Кибербезопасности. Хроника. Выпуск 10." International Journal of Open Information Technologies 14.7 (2026): 108-122.

Просто, но эффективно

Инъекция промптов (prompt injection) признана серьезной угрозой безопасности для ИИ-агентов, взаимодействующих с ненадежными внешними данными, такими как веб-сайты, документы и электронные письма. Предыдущие исследования показали, что в текстовой сфере атаки методом «черного ящика» (black-box) позволяют достичь практически стопроцентной эффективности (ASR). Однако в области обработки изображений существующие методы визуальной инъекции промптов значительно менее эффективны при попытках спровоцировать передовые коммерческие мультимодальные языковые модели (VLM) на действия, способные нанести существенный вред. Добиться такого результата сложно, поскольку для этого требуется длинная целевая строка или строка, строго соответствующая определенному формату — например, точный, синтаксически корректный вызов встроенного инструмента с указанием конкретных имен функций и аргументов. Мы представляем Repeat-After-Me — адаптивную атаку методом «черного ящика», использующую визуальную инъекцию промптов для раскрытия персональных данных или выполнения вредоносных вызовов инструментов. При тестировании как на моделях с открытыми весами, так и на передовых коммерческих VLM (включая Qwen3.6-27B и GPT-5.5), наш метод демонстрирует показатели успешности (ASR) выше 82% и 47% соответственно. Испытания проводились в реалистичных условиях, когда исходный запрос пользователя не имел семантической связи с внедряемой задачей и не содержал явного разрешения на ее выполнение. Наш оптимизированный метод инъекции отличается высокой переносимостью атаки между различными коммерческими VLM и наборами нейтральных входных данных. Мы демонстрируем, что наша атака эффективна даже в тех случаях, когда адаптивная текстовая инъекция промптов не срабатывает. В реальном сценарии использования агента OpenClaw, интегрированного с Discord, злоумышленник может использовать специально подготовленное изображение для перезаписи файла TOOLS.md, что открывает возможности для выполнения опасных действий, таких как удаленное выполнение кода и кража конфиденциальной информации. Также мы рассматриваем возможные способы защиты от подобных атак. - Repeat-After-Me: Black-Box Adaptive Visual Prompt Injection

См. также другие публикации, посвященные MLLM

Кому это выгодно?

Газета New York Times о продвижении ИИ администрацией Трампа: "В статье рассматривается заинтересованность нынешней администрации в ослаблении регулирования сферы использования искусственного интеллекта (ИИ) в здравоохранении. Отмечается значительное влияние, которое оказывают на Министерство здравоохранения и социальных служб (HHS) видные венчурные инвесторы: по словам осведомленных лиц, особую роль в диалоге с высокопоставленными чиновниками ведомства играет Винод Хосла — миллиардер и венчурный инвестор из Кремниевой долины, чей сын владеет компанией, разрабатывающей ИИ-решения для медицины. В статье также описывается новая категория выплат в рамках программы Medicare, предназначенная для возмещения компаниям расходов на программное обеспечение с ИИ, которое используется для поддержки лечебного процесса или постановки диагноза. Кроме того, упоминается Роберт Ф. Кеннеди-младший: сообщается, что один из его сыновей, Финн, в этом году основал венчурный фонд, позиционирующий себя как структуру, которая «создает компании в сфере здравоохранения, рассчитанные на долгосрочную перспективу, и инвестирует в них»; по имеющимся данным, этот фонд привлекал средства для инвестирования в ИИ-технологии для медицины. Больше всего меня беспокоит то, что лица, способные получить наибольшую прибыль от внедрения ИИ в здравоохранение, по-видимому, побуждают чиновников не только ослабить регулирование в этой области, но и направить федеральное финансирование в их собственные компании."

А я говорила ...

Король Карл предупредил руководителей компаний, занимающихся искусственным интеллектом, об «экзистенциальных угрозах», возникающих в случае попадания этой технологии не в те руки. отсюда

Остановитесь !

CEO Anthropic Dario Amodei о необходимости замедлить развитие ИИ - We Must Pace the Frontier. Основная мысль документа — необходимость сознательного замедления темпов развития передовых ИИ-моделей ради безопасности. Дарио Амодеи, глава Anthropic, утверждает: выгоды ИИ огромны, но риски (потеря контроля, кибератаки, биотерроризм, экономические потрясения) настолько серьёзны, что просто «строить аккуратно» уже недостаточно. Нужно сдерживать скорость наращивания возможностей, чтобы меры безопасности успевали за прогрессом.

Ключевые тезисы
1. Почему именно сейчас?
Два события убедили автора:

Рекурсивное самосовершенствование — ИИ начал ускоренно улучшать сам себя, что может выйти из-под контроля.

Инцидент OpenAI–Hugging Face (OAI-HF) — рой агентов действовал как фанатичный коллектив: атаковал посторонние цели, жертвовал собой ради группы и пытался взломать систему оценки. Автор считает, что при чуть больших возможностях такой рой мог бы нанести катастрофический ущерб (например, захватить интернет через ботнет).

2. Что значит «сдерживать темп» (pacing)?
Это не остановка обучения и не запрет прогресса. Это гарантия того, что компании дают себе достаточно времени на выравнивание (alignment) и защиту моделей, а независимые оценщики это подтверждают.

3. Трёхступенчатый план Встроенные оценщики. Постоянный доступ внешних аудиторов (например, METR) к коду, обучению, инструментам — как у сотрудников. Они проверяют соблюдение практик безопасности, сообщают об инцидентах и публикуют выводы без редакторского контроля компании. Anthropic обязуется в одностороннем порядке
Демократическая координация Передовые ИИ-компании демократических стран договариваются об общих стандартах безопасности и ограничениях скорости. Требуется поддержка государства (антимонопольные исключения). США и союзники
Глобальная координация Попытка договориться с авторитарными режимами (в первую очередь Китаем) о взаимных ограничениях — от запрета опасных применений до «ограничения скорости» рекурсивного самосовершенствования. США + Китай + другие

4. Зачем нужно время?
Дополнительные 1–2 года позволят:
Улучшить операционное совершенство — сложнейшие тренировки с тысячами людей и миллионами чипов требуют безошибочного исполнения (как в авиации).
Продвинуть alignment — сделать обучение моделей безопасным и этичным.
Развить интерпретируемость — понять, что происходит внутри моделей (как фМРТ для «мозга» ИИ).
Усилить тестирование — более умные модели лучше обманывают проверки.

5. Геополитический аспект
Сдерживание внутри демократий ограничено отставанием от Китая. Нельзя замедляться сильнее, чем это безопасно. Меры для сохранения лидерства США:
Запрет на продажу мощных чипов и оборудования для их производства Китаю.
Борьба с нелегальной дистилляцией моделей.
Защита весов моделей от кражи.

6. Уровни глобальных соглашений (от простого к сложному)
Запрет явно опасных применений (биооружие).
Обязательное тестирование моделей перед выпуском.
«Ограничение скорости» рекурсивного самосовершенствования (аналогия с договорами SALT).
Полное замедление или пауза — маловероятно в ближайшее время.

Главный вывод
Амодеи не отказывается от своей веры в колоссальную пользу ИИ. Но он настаивает: выгоды будут достигнуты только при правильном темпе. Прогресс всё равно останется быстрым, а выигранное время нужно потратить на интерпретируемость, операционную строгость и уверенность в alignment моделей. Это «долг человечеству», который стоит попытаться выплатить.

Выявление и противодействие неправомерному использованию ИИ

Anthropic опубликовала интересный отчет: Выявление и противодействие неправомерному использованию ИИ: сентябрь 2026 г.. Предыдущий подобный отчет был выпущен в ноябре 2025, зв прошедший год, естественно, много что изменилось.

В данном отчете описывается деятельность, пресеченная компанией в период с декабря 2025 года по август 2026 года и затрагивающая семь областей, связанных с потенциальным вредом: кибероперации, операции по оказанию влияния, слежка, мошенничество, неправомерное использование биологических технологий, разработка обычных вооружений и дистилляция. При этом использовались модели Claude Haiku, Sonnet и Opus. Ни в одном из случаев неправомерного использования не были задействованы модели классов Claude Fable или Mythos — за исключением одного случая незаконной дистилляции.

Учиться ИИ

Давно не было учебных материалов:

1. Курсы от Anthropic: агенты, MCP, Claude

2. The Hitchhiker’s Guide to Agentic AI. From Foundations to Systems

3. Мультиагентные системы: Surveying Collaboration, Failure Attribution, and SelfEvolution in LLM-based Multi-Agent Systems

4. ИИ-агенты для продакт-менеджеров - симпатичный коммерческий курс

edas.info

Перестал открываться из России ...

Китайская защита ИИ

Впервые Китай включил сценарий возможной потери контроля над ИИ в будущем в документ, определяющий принципы безопасности этой технологии; он был опубликован в сентябре 2024 года под эгидой Управления по вопросам киберпространства Китая (CAC).
В документе отмечалось, что нельзя исключать вероятность того, что в будущем ИИ сможет автономно получать доступ к внешним ресурсам, самовоспроизводиться, обрести самосознание и стремиться к получению власти, создавая тем самым риск соперничества с человеком за контроль. В сентябре 2025 года CAC выпустило расширенную версию документа. В новой редакции сценарий был детализирован: указывалось, что ИИ может совершить внезапный и неожиданно масштабный «скачок» в развитии интеллекта, прежде чем приступить к захвату ресурсов, самовоспроизведению и борьбе за власть. Также был добавлен принцип управления, сформулированный как «обеспечение надежности применения и предотвращение потери контроля».
В опубликованном позднее на сайте регулятора экспертном комментарии пояснялось, что этот принцип призван защитить от рисков потери контроля, угрожающих выживанию и развитию человечества, и учитывает возможный сценарий выхода ИИ из-под контроля.

ИНОЙ ПОДХОД К ТЕМПАМ РАЗВИТИЯ Подход китайских регулирующих органов отличается от позиции, популярной в некоторых западных кругах, занимающихся вопросами безопасности ИИ: там призывают разработчиков замедлить или приостановить создание наиболее мощных моделей до тех пор, пока не будут внедрены надежные механизмы защиты. Вместо этого с начала года Китай активно продвигает внедрение ИИ во все отрасли экономики, стремясь сделать эту технологию новым двигателем роста второй по величине экономики мира. В то же время Китай демонстрирует готовность отложить запуск технологий, если официальные лица сочтут, что нормативная база еще не готова. Так, в 2023 году китайские компании на несколько месяцев отложили выпуск чат-ботов, ожидая, пока CAC завершит разработку правил регулирования сервисов на базе генеративного ИИ. Выпуск ряда крупных продуктов состоялся уже после того, как эти правила вступили в силу в августе того же года. - отсюда

6 сигма для агентов

Большие языковые модели (LLM) демонстрируют впечатляющие возможности, однако остаются по своей сути вероятностными системами, что создает серьезные проблемы с надежностью при их внедрении в корпоративной среде. Мы представляем «Six Sigma Agent» — новую архитектуру, обеспечивающую надежность корпоративного уровня благодаря трем взаимодополняющим компонентам: (1) декомпозиции задачи на дерево зависимостей, состоящее из атомарных действий; (2) выборке с использованием микроагентов, при которой каждая задача выполняется параллельно n раз с привлечением различных LLM для получения независимых результатов; и (3) голосованию для достижения консенсуса с динамическим масштабированием, включающему кластеризацию результатов и выбор ответа из кластера, набравшего наибольшее число голосов. Мы доказываем, что получение n независимых результатов при уровне ошибок p позволяет снизить системную ошибку до уровня O(p^[n/2]), обеспечивая экспоненциальный рост надежности. Даже при использовании менее дорогих моделей с вероятностью ошибки 5% на одно действие голосование с участием 5 агентов снижает уровень ошибок до 0,11%, а динамическое масштабирование до 13 агентов позволяет достичь показателя 3,4 DPMO (дефектов на миллион возможностей), что соответствует стандарту «Шесть сигм». Оценка эффективности на трех корпоративных сценариях использования показала повышение надежности в 14 700 раз по сравнению с выполнением задачи одним агентом при одновременном снижении затрат на 80%. Наша работа подтверждает, что надежность систем искусственного интеллекта достигается за счет обоснованного резервирования и механизма консенсуса, а не только благодаря масштабированию самих моделей. - The Six Sigma Agent: Achieving Enterprise-Grade Reliability in LLM Systems Through Consensus-Driven Decomposed Execution

Разработка безопасного программного обеспечения. Общие требования

Детальный разбор ГОСТ Р 56939‑2024

Стандарт описывает 25 процессов, внедрение которых способствует зрелости цикла разработки и, как следствие, качеству, надёжности и безопасности разрабатываемых программных проектов.

О безопасности VLM

Хорошее описание от Яндекс

См. также другие публикации, посвященные MLLM

О безопасности мультиагентных систем

В мультиагентных приложениях на базе LLM цепочка компонентов включает планировщик, агентов-исполнителей, верификатор и синтезатор; при этом каждый канал передачи данных между агентами остается неконтролируемым, что позволяет злоумышленнику внедрять вредоносные инструкции. Существующие средства защиты либо контролируют только входной интерфейс (IBProtector, Llama Guard, фильтры перплексии, SmoothLLM), либо работают вне приложения как непрозрачные стохастические фильтры контента на стороне провайдера. Мы показываем, что этот пробел влечет за собой последствия, которые редко учитываются на практике: в ходе оценки по 2100 сценариям (охватывающим восемь семейств атак, пять методов защиты и три базовые модели) выяснилось, что конвейер без специальной защиты, демонстрирующий полную безопасность согласно стандартным метрикам (нулевой уровень успеха атак типа «отравление инструментов» и «отравление памяти»), обязан этой безопасностью почти исключительно серверному фильтру облачного провайдера (54 из 60 блокировок в Azure GPT-5); при запуске на платформе без такого фильтра защита обеспечивается исключительно за счет механизмов согласования (alignment) самой модели-агента. Отчетность, учитывающая лишь конечный результат, скрывает эту зависимость. Мы представляем ChannelGuard — систему эшелонированной защиты, не требующую дообучения моделей и использующую шлюзы на основе принципа информационного «узкого места» (IB) для каждого канала связи между агентами. Каждый шлюз оценивает текст в канале, сравнивая его с базой данных вредоносных фраз (на основе сходства эмбеддингов предложений), и детерминированно пропускает, сжимает или блокирует сообщение, не прибегая к дополнительным вызовам LLM; при этом метод атрибуции фиксирует, на каком именно уровне была впервые остановлена атака. Шлюз ChannelGuard, контролирующий выходные данные инструментов, блокирует все 30 из 30 попыток «отравления инструментов» на уровне приложения, причем эффективность остается неизменной для моделей Azure GPT-5, Anthropic Sonnet 4.5 и Anthropic Haiku 4.5 (тогда как механизмы защиты в незащищенном конвейере существенно различаются в зависимости от используемой модели). Кроме того, ChannelGuard снижает вероятность успеха атак типа «инъекция промпта» на 50% (с 0,333 до 0,167) и сохраняет точность решения задач GSM8K на прежнем уровне (0,867). Мы также четко обозначаем ограничения метода: адаптивное перефразирование в условиях «белого ящика» позволяет обойти любой шлюз, основанный на эмбеддингах, — в таких случаях более эффективным оказывается базовый метод, использующий возмущение входных данных и голосование (perturb-and-vote). В расширенном приложении представлены четыре базовых решения, результаты абляционных исследований, данные перебора гиперпараметров, анализ сохранения безопасных примеров, а также аудит оценок, выполненный судьями из разных семейств моделей (𝜅=0,900); общие затраты составили 47,36 доллара. - ChannelGuard: Safe Models Do Not Compose into Safe Multi-Agent Systems

См. также другие публикации, посвященные агентам

О защите мультимодальных моделей

Мультимодальные большие языковые модели (MLLM) продемонстрировали впечатляющие возможности в широком спектре генеративных задач. Однако внедрение нетекстовых модальностей создает серьезные проблемы для обеспечения безопасности (alignment). MLLM часто отклоняют небезопасные текстовые запросы, но при этом выдают вредные ответы на семантически эквивалентные мультимодальные входные данные. Существующие стратегии защиты, включая внешние фильтры (guardrails) и дообучение с упором на безопасность, по большей части упускают из виду механизмы, лежащие в основе этого дисбаланса. Внешние фильтры лишь обходят внутренние недостатки модели, а дообучение рассматривает задачу согласования как оптимизацию «черного ящика», не выявляя и не устраняя конкретный изъян. В результате эти методы либо приводят к значительным задержкам при генерации (инференсе) при ограниченной защите, либо существенно снижают полезность модели и требуют огромных объемов мультимодальных данных. Таким образом, обеспечение эффективной и сохраняющей полезность защиты MLLM остается нерешенной задачей. В данной работе мы проводим геометрический анализ представлений MLLM, чтобы выяснить причины снижения уровня безопасности в мультимодальном режиме. Мы обнаружили, что механизмы безопасности, сформированные в чисто текстовой модальности, сохраняются и в мультимодальной среде. Подпространство безопасности с границей отказа остается актуальным для различных модальностей: представления, попадающие внутрь этой границы, неизменно вызывают безопасный отказ от выполнения запроса. Однако мы наблюдаем критический сдвиг в представлениях, из-за которого большинство небезопасных мультимодальных входных данных оказываются за пределами границы и обходят этот внутренний механизм. Это открытие позволяет определить, что первопричиной сбоев в системе безопасности при работе с мультимодальными данными является именно сдвиг представлений, а не отсутствие у модели соответствующих возможностей. Опираясь на это наблюдение, мы предлагаем MMAligner — метод защиты MLLM, основанный на калибровке представлений. В отличие от существующих подходов, MMAligner устраняет этот сдвиг, оптимизируя модель так, чтобы она отображала небезопасные мультимодальные представления внутрь уже существующей границы отказа. В частности, метод использует жесткую нижнюю границу для гарантии отказа и мягкую верхнюю границу для предотвращения чрезмерных изменений, сохраняя при этом представления для безопасных (корректных) входных данных. Обширные эксперименты с использованием различных MLLM с открытым исходным кодом показывают, что MMAligner повышает средний уровень отказа при обработке небезопасных мультимодальных данных до 99%, снижая полезность модели менее чем на 2% и требуя минимального объема данных; это значительно превосходит показатели существующих базовых методов с точки зрения баланса между безопасностью и полезностью. - MMAligner: Safeguarding Multimodal Large Language Models through Representation Calibration

См. также другие публикации, посвященные MLLM