Wednesday, November 18, 2026

NIST: Состязательное машинное обучение

В данном специальном издании NIST (NIST Special Publication 2400) представлена ​​таксономия понятий и определена терминология в области состязательного машинного обучения (adversarial machine learning, AML). Таксономия построена в виде концептуальной иерархии, включающей основные типы методов машинного обучения, этапы жизненного цикла атаки, а также цели, задачи, возможности и уровень осведомленности злоумышленников. В документе также рассматриваются актуальные проблемы, возникающие на различных этапах жизненного цикла систем, основанных на машинном обучении, и описываются методы смягчения последствий атак и управления ими. Используемая в отчете терминология соответствует общепринятой в литературе по AML и дополнена глоссарием ключевых терминов, относящихся к безопасности систем, использующих машинное обучение. В совокупности данная таксономия и терминология призваны послужить основой для разработки других стандартов и практических руководств по оценке и обеспечению безопасности таких систем, формируя единый понятийный аппарат для стремительно развивающейся сферы состязательного машинного обучения. - Adversarial Machine Learning A Taxonomy and Terminology of Attacks and Mitigations

См. также другие публикации по теме NIST

Tuesday, November 17, 2026

Из чего же сделаны агенты

Актуальный реестр экосистемы агентских сред (agent-harness ecosystem) с поддержкой версионности, включающий среды выполнения, средства оркестрации, инструменты, «песочницы», системы памяти, механизмы оценки, а также протоколы и принципы управления. Данные собираются из GitHub, дополняются информацией из реальных манифестов, классифицируются по уровням и фиксируются в реестре каждые шесть часов. Любое изменение представлено в виде разницы (diff). - Agent-Harness

Для команд по безопасности приложений (AppSec) и разработчиков, использующих Claude Code, Cursor, Codex или любые другие MCP-клиенты: узнайте, какие агенты, MCP-серверы, инструменты и пакеты установлены, какие из них уязвимы и к каким ресурсам каждый из них имеет доступ. - Agent BOM (Bill Of Materials)

Sunday, November 15, 2026

Архитектура безопасного ИИ

AI Security Architecture - поймите, где возникают риски, связанные с ИИ, и где они проявляются, а затем примите меры по их снижению. Связка из 36 рисков, 76 защитных возможностей, 18 типовых архитектур приложений и 44 классов продуктов.

Friday, November 13, 2026

Объяснения в ML для атак на приватные данные

Объяснения в машинном обучении раскрывают поведение модели за пределами прогнозов, создавая уязвимости для конфиденциальности модели и данных. Мы систематизируем 25 исследований, в которых используются объяснения для извлечения модели, вывода принадлежности и инверсии модели, рассматривая вывод атрибутов как частичную инверсию. Существующие работы часто маркируются только как «черный» или «белый ящик», скрывая существенные различия в том, какой сигнал объяснения достигает противника. Поэтому мы разделяем знания о модели и получение объяснений и выделяем пять путей: раскрытие со стороны цели, получение от злоумышленника, вторичное раскрытие, привилегированный доступ и раскрытие глобальных артефактов. На этих путях объяснения снижают затраты на извлечение, раскрывают сигналы принадлежности с помощью статистики объяснений, расстояния доступа и устойчивости, управляемой объяснениями, а также поддерживают пространственную или алгебраическую реконструкцию частных входных данных. Мы сравниваем системные и модели угроз, сигналы объяснений, вспомогательные знания, целевые модели, модальности, бюджеты запросов, метрики оценки, сообщаемую производительность и средства защиты. Наш анализ показывает, что ни одно семейство объяснений не является одинаково небезопасным, и ни одно средство защиты не является одинаково эффективным. Риск зависит от того, какой сигнал раскрывается, как он получен, какой актив является целью атаки и что уже известно злоумышленнику. Поэтому мы утверждаем, что конфиденциальность объяснений следует оценивать как сквозную проблему раскрытия информации, при этом средства защиты должны соответствовать пути получения информации и защищаемому активу. - SoK: Privacy Attacks on Machine Learning via Explainable AI

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Thursday, November 12, 2026

Кросс-модальные атаки на MLLM

Мультимодальные большие языковые модели (MLLM) демонстрируют впечатляющие результаты в генерации текста на основе входных данных различных модальностей. В данной работе мы представляем концепцию «заражения бэкдором» (backdoor infection) — метод кросс-модальных атак, направленных на MLLM. Если в модель уже внедрен бэкдор в одной из модальностей, наша атака позволяет создать соответствующий триггер в другой — так называемой «зараженной» — модальности. Используя общее латентное пространство модели, такой триггер надежно активирует вредоносное поведение, при этом сама «зараженная» модальность не подвергается изменениям или отравлению в процессе обучения. Кроме того, мы разработали легковесный метод оптимизации с учетом заданных ограничений, который позволяет эффективно и практически применимо генерировать подобные триггеры. Обширные эксперименты с рядом передовых MLLM, включая LLaVA, InternVL, Qwen-VL и Gemma, показали, что наш подход позволяет находить кросс-модальные триггеры, которые превосходят базовые методы прямой оптимизации по эффективности, результативности и скрытности. Это указывает на появление нового критически важного вектора угроз для мультимодальных систем. - Under the Skin: Backdoor Infection in Multimodal Large Language Models

См. также другие публикации, посвященные MLLM

Wednesday, November 11, 2026

Отравление инструментов ИИ-агентов

«Отравление инструментов» (tool poisoning) стало серьезной угрозой безопасности для агентов на базе больших языковых моделей (LLM). В рамках таких атак злоумышленники внедряют вредоносные инструкции в описания инструментов или во внешние ресурсы, которые попадают в контекст агента, что позволяет манипулировать процессом выбора инструментов. Однако существующие методы «отравления» зачастую опираются на идеализированное допущение, что атака должна сработать в рамках одного цикла взаимодействия. Мы показываем, что в реалистичных сценариях, предполагающих многократные итерации, эффективность таких атак резко снижается. Это происходит из-за того, что по мере развития контекста планирования агенты не всегда сохраняют в своих рассуждениях сигналы, необходимые для реализации атаки, что ослабляет ее воздействие на последующих этапах. Чтобы выяснить, остается ли «отравление инструментов» реальной угрозой в подобных условиях, мы предлагаем SEAL — двухэтапный метод для осуществления устойчивого «отравления». На первом этапе, в рамках процедуры оптимизации триггеров с учетом префикса (Prefix-Eliciting Trigger Optimization, PETO), подбираются специфичные для контекста триггеры, которые провоцируют появление в рассуждениях агента нужных для атаки префиксов, что повышает эффективность в рамках конкретных контекстов. Затем применяется метод агрегации локальных триггеров в универсальный (Local-to-Universal Trigger Aggregation, L2U), который объединяет частные триггеры в единый универсальный триггер, обеспечивая эффективную работу в различных контекстах и на разных этапах выполнения задачи. Обширные эксперименты, проведенные в семи типичных многоэтапных сценариях с использованием различных моделей, подтверждают высокую эффективность SEAL, возможность переноса атаки между разными целевыми моделями, а также ее устойчивость к потенциальным средствам защиты. SEAL: Towards Persistent Tool Poisoning Attack against LLM Agents via Prefix-Eliciting Trigger

См. также другие публикации, посвященные агентам

Tuesday, November 10, 2026

Безопасное декодирование

Большие мультимодальные модели (Large Vision-Language Models, LVLMs) демонстрируют высокие способности к визуальному рассуждению, однако остаются уязвимыми как для «черноящичных» (black-box) атак типа «джейлбрейк» (jailbreak), так и для «белоящичных» (white-box) состязательных атак. Существующие методы защиты зачастую фокусируются на выравнивании текстовых представлений или предварительной обработке визуальных данных; такие подходы могут снижать полезность модели при выполнении стандартных задач или оставаться уязвимыми к возмущениям, оптимизированным с использованием градиентов. Мы предлагаем DMSD (Dual-Modal Safe Decoding) — метод, применяемый на этапе генерации (inference) и сочетающий преобразование входных данных с корректировкой процесса декодирования. Во-первых, механизм «Visual-OCR Injection» вносит ограниченное возмущение, оптимизированное относительно «безопасного якоря» (safety anchor), содержащего текст, что позволяет сместить визуальное представление в нужном направлении. Во-вторых, механизм «Base-Anchored Safety Fusion», реализованный через двухпотоковое контрастивное декодирование (Safety Contrastive Decoding, SCD), ограничивает генерацию набором из топ-K кандидатов базового потока, перевзвешивая их с учетом данных из «потока безопасности». Эксперименты с двумя моделями семейства LLaVA, тремя сценариями оценки безопасности (MM-SafetyBench, FigStep и метод проекционного градиентного спуска на базе RealToxicityPrompts), а также бенчмарком полезности MM-Vet показали, что DMSD обеспечивает более низкие показатели успешности атак (Attack Success Rate, ASR) по сравнению с другими методами, сохраняя при этом не менее 93,75% исходного результата в MM-Vet (34,5 против 36,8 для LLaVA-v1.5; 38,1 против 39,8 для LLaVA-v1.6). В случае с моделями QwenVL-Chat и MiniGPT-v2 (на базе LLaMA-2-Chat 7B) использование DMSD снижает ASR на 37,90–71,49 процентных пункта по сравнению со стандартным декодированием. Тем не менее, в условиях протестированной адаптивной атаки показатель ASR для LLaVA-v1.5 составил 48,25%, а применение данного метода увеличивает время генерации одного примера на 39,2%. Полученные результаты подтверждают относительную эффективность предложенного подхода для различных моделей и сценариев, хотя и не гарантируют устойчивость в наихудших условиях (worst-case robustness). - DMSD: Dual-Modal Safe Decoding Against White-Box and Black-Box Jailbreaks in Large Vision-Language Models

См. также другие публикации, посвященные MLLM

Monday, November 09, 2026

Reverse Engineer Anything (REA)

Reverse Engineer Anything (REA) — это инструмент командной строки с открытым исходным кодом, работающий также как сервер протокола Model Context Protocol (MCP). Он позволяет подключать ИИ-агентов для написания кода (например, Claude Code, Cursor или Codex) непосредственно к инструментам для обратной разработки (reverse engineering) программного обеспечения.

Принцип работы

  • Уровень трансляции: REA выступает в роли связующего звена, благодаря чему ИИ-агенту не нужно вручную изучать сложный синтаксис или команды интерфейса каждого отдельного инструмента для обратной разработки.
  • Локальный анализ: Программное обеспечение работает локально на вашем компьютере, анализируя бинарные файлы, сборки (assemblies) и веб-код без использования облачных сервисов декомпиляции.
  • Выводы, подкрепленные доказательствами: Вместо того чтобы строить догадки о работе той или иной функции, агент отслеживает вызовы функций, изучает сгенерированный псевдокод или ассемблерный код, а затем представляет как свои выводы, так и фактические доказательства, на которых они основаны.

Что можно анализировать

  • Нативные бинарные файлы: Интеграция с такими инструментами, как Ghidra, IDA Pro, Hopper и Rizin, для декомпиляции исполняемых файлов, написанных на C/C++ или других языках.
  • JavaScript и Electron: Статический анализ и анализ во время выполнения (runtime) для веб-приложений, скриптов в браузере и пакетов Electron — без необходимости в специализированном движке декомпиляции.
  • Сборки .NET: Анализ скомпилированных приложений .NET и DLL-файлов.
  • Python / PyInstaller: Извлечение содержимого архивов CArchive, проверка версий Python и анализ байт-кода из упакованных исполняемых файлов.

Saturday, November 07, 2026

Physics-In-The-Loop

Недавние исследования показали, что глубокие нейронные сети (ГНС) могут ошибочно классифицировать входные данные, содержащие состязательные возмущения. Большинство существующих методов защиты основаны на обработке данных в цифровой среде и требуют доступа к внутренним параметрам модели, что ограничивает их применение в реальных системах. В данной работе предлагается метод защиты, основанный на проекции и повторной генерации состязательных воздействий, что позволяет физически нейтрализовать влияние таких атак. Предложенный подход использует оптимизацию с учетом физических условий (physics-in-the-loop, PITL), при которой возможные варианты решений оцениваются в реальной среде, что позволяет учесть технические характеристики устройств и внешние помехи. Результаты экспериментов подтверждают эффективность защиты от физических состязательных атак, использующих «заплатки» (патчи) или текстурные искажения, при условии, что истинный класс объекта известен. - Defense Against Physical Adversarial Attacks via Projection-Based Re-Attack

См. также другие публикации по теме физические атаки

Friday, November 06, 2026

ИИ артифакты

Цифровая криминалистика и реагирование на инциденты в сфере ИИ/машинного обучения - практическое руководство по расследованию компрометации систем ИИ

В этом руководстве представлен полный цикл расследования компрометации систем на базе ИИ/машинного обучения. Каждый раздел содержит информацию о характере атак, криминалистических артефактах, практических методах расследования и возможностях обнаружения угроз. Разделы независимы друг от друга, поэтому вы можете сразу перейти к изучению той угрозы, с которой столкнулись.

Wednesday, November 04, 2026

Бомбы по-русски

Российский разработчик Дмитрий Савченко запатентовал программный комплекс Hybra Mirage. Он призван спасать данные россиян от накрывших мир массовых атак ИИ-агентов. Когда агенты уже пробили все защиты, российское решение «растворит» данные переписок или банковских счетов на миллиарды измененных копий, каждая из которых будет выглядеть для нейросетей как верный вариант. Аналогичным образом решение позволит спасать информацию при потере доступа к устройствам. Эксперты считают, у архитектурной идеи «эпистемологической ловушки», реализованной в ИТ-решении, нет мировых аналогов и оно устойчиво даже к схеме «собери сейчас, расшифруй потом».
"Как следует из заявления в Минцифры, ключевое свойство системы заключается в том, что процедура извлечения тотальна — она никогда не возвращает ошибку. Любой валидный параметр доступа дает правдоподобный результат. Атакующий, даже получив полный доступ к массиву, PIN-коду и справочной таблице, не может подтвердить успех атаки: подтверждение архитектурно устранено. В результате сам владелец данных извлекает данные за 0,08 сек на ресурсоограниченных устройствах, а атакующий получает миллиард равноправных вариантов и ни одного доказательства. При этом ИИ-агенты и квантовые компьютеры не позволяют решить задачу выделения истинных данных: проблема не в вычислительной мощности, а в отсутствии вычислимой процедуры подтверждения." - отсюда

похоже, что это регистрация в России идеи контекстных бомб

Tuesday, November 03, 2026

Качаем агента на косвенных

Агенты LLM извлекают недоверенный контент и действуют с помощью инструментов, создавая косвенные риски внедрения подсказок, которые могут привести к несанкционированным действиям или устойчивым изменениям состояния. Существующие автоматизированные системы «красной команды» в значительной степени оптимизируют полезные нагрузки для заранее заданных сценариев, оставляя скрытые уязвимости в пространстве поведения агента неисследованными. Мы представляем ASPIRE, агентный механизм «красной команды» по обеспечению безопасности и внедрению подсказок, для обнаружения уязвимостей на уровне поведения в открытом режиме. ASPIRE поддерживает развивающийся граф поведения агентов безопасности и использует дополнительных экспертов Explore и Exploit для обнаружения, проверки и обобщения тестов, ориентированных на последствия. Данные траектории обновляют граф и диагностируют частичные или неудачные попытки, в то время как передача полезной стратегии «красной команды» между запусками памяти показывает, что ASPIRE существенно расширяет охват последствий, методов внедрения, сред и путей поведения, сохраняя при этом высокую успешность атак. - ASPIRE: Agentic Safety & Prompt Injection Red-teaming Engine

См. также другие публикации, посвященные агентам

Monday, November 02, 2026

INJOIT vol. 14, no. 11

Вышел одиннадцатый номер журнала INJOIT в 2026 году. И четырнадцатый год издания журнала.

Темы статей:

  • Матрично-свободная спектральная реализация и параллельное ускорение методов BiCGStab и BiCGStab(l) для задачи магнитной индукции
  • Конфигурируемые графы обработки данных в эксперименте Baikal-GVD: архитектура устойчивого научного ПО
  • Аудит измерения ложных отказов у мультимодальных больших языковых моделей с защитой на этапе вывода
  • Ensuring continuous security in CI/CD pipelines through LLM-assisted reduction of false positives in static analysis
  • Искусственный Интеллект в Кибербезопасности. Хроника. Выпуск 12
  • Временно-метеорологическая адаптация моделей искусственного интеллекта для планирования режимов работы фотоэлектрических станций
  • Сведение задачи декодирования с ограниченным расстоянием к задаче Изинга с использованием редукции базиса двойственной решетки
  • Small Movements Detection In Video Using Video-EEG Data
  • Real-time target tracking using a PTZ camera with Delay-compensated IMM-UKF and Nonlinear Model Predictive Control
  • Development of a mathematical model for automated design of LAN cable routing
  • Численное моделирование устойчивости цветовых признаков листьев винограда при изменении естественной освещённости
  • Управление контекстом в агентной программной инженерии: модель жизненного цикла и паттерны проектирования
  • From Qualitative Roles to Measurable Evidence: Classical Text Representations for Action-Type Recognition in Manufacturing Execution Systems
  • Применение DevOps в корпоративных информационных системах: организационные условия, технологические решения и этические ограничения
  • Метрики корректности кода на основе логарифмов вероятностей токенов языковых моделей
  • Идентификация зон поглощений бурового раствора при проектировании скважин средствами искусственного интеллекта
  • Гарантированное покрытие типов аугментации на наборе Digits
  • Адаптивное бюджетно-рисковое индексное планирование фонового обмена данными в мобильных системах
  • Система обнаружения девиантного поведения по видеопоследовательностям лица человека на транспорте
  • Сравнительный анализ протоколов маршрутизации в рое БпЛА
  • Правило принятия решений группой искусственных интеллектуальных акторов «k-консенсус» на второй стадии метода эволюционного согласования
  • Media-Induced Disruptions to Social Homeostasis in the Age of Digitalization

/via Лаборатория ОИТ

Архив журнала находится здесь.