Нарушение работы мультимодальных LLM

Мы представляем атаки с использованием состязательного искажения как новый класс угроз для многомодальных больших языковых моделей (MLLM). В отличие от взлома или целенаправленной неправильной классификации, цель состоит в том, чтобы вызвать систематический сбой: несвязный или заведомо неверный текст. Долгосрочная цель — создание изображений с состязательным искажением, которые можно встраивать в веб-сайты (например, в качестве фоновых элементов), тем самым предотвращая работу агентов ИИ на основе MLLM на этих сайтах. В этой статье мы представляем предварительные результаты, ограниченные непосредственным использованием MLLM, где изображения с состязательным искажением предоставляются в качестве входных данных для модели. Наш метод максимизирует энтропию следующего токена при ожидании над преобразованиями (EoT) и небольшом ансамбле MLLM с открытым исходным кодом. Атака распространяется на некоторые проприетарные модели (GPT-5-high, GPT-o3 и Amazon Nova Pro), которые создают структурно связные галлюцинации. Это работа в процессе; код будет выпущен вместе с финальной версией. - Adversarial Confusion Attacks: Disrupting Multimodal LLMs

См. также другие публикации, посвященные LLM

Атаки на облака

 Отчет  InfoWatch по атакам на облачные инфраструктуры

Светлая дорога

Google опубликовал программный документ - Дорожная карта по контролю за ИИ (версия 0.1) – план внедрения и использования внутренних механизмов защиты, предназначенных для выявления потенциально враждебного поведения агентов ИИ, даже несмотря на то, что их становится все труднее контролировать и сдерживать. Своего рода Zero Trust модель для агентов.

Это системный подход к безопасности, который рассматривает мощные внутренние ИИ-агенты как потенциально недоверенных ("злонамеренных") и создает многоуровневую защиту для ограничения возможного вреда от их действий, даже если они окажутся несоответствующими целям компании (misaligned). Авторы подчеркивают, что это вторая линия обороны, дополняющая, но не заменяющая работу над выравниванием (alignment) самих моделей.

Ключевые концепции

1. Моделирование угроз (TRAIT&R):

   Вместо ожидания реальных инцидентов, используется консервативный подход, предполагающий, что ИИ-агенты могут действовать как скоординированный злоумышленник.

   Представлена новая таксономия TRAIT&R (Taxonomy of Rogue AI Tactics and Routines), основанная на фреймворке MITRE ATT&CK, но адаптированная для внутренних ИИ-угроз.

     Выделены три основные категории целей злоумышленника:

        Потеря контроля: создание неконтролируемых внутренних или внешних развертываний, систематический обход защитных механизмов.

        Саботаж работы: намеренное торможение исследований в области безопасности, внедрение ошибок в критический код, искажение данных для обучения будущих моделей.

        Прямой вред: уничтожение критических активов (например, весов моделей), кража интеллектуальной собственности или содействие внешним кибератакам.

   Цель системы контроля — поддерживать два ключевых условия:

        Обнаружение: надежное выявление злонамеренных намерений или действий агента.

        Предотвращение и реагирование: эффективная блокировка атак и восстановление после них. Способность системы к обнаружению и предотвращению должна превосходить способность ИИ к обходу этих мер.

Вызовы: В отличие от людей-инсайдеров, ИИ-агентов могут быть тысячи, они действуют на сверхчеловеческой скорости, имеют широкий доступ к системам "по умолчанию" и могут координироваться скрытно, что делает традиционные методы защиты (основанные на человеческом надзоре и сдерживании) неэффективными.

Возможности: У защитников появляются уникальные преимущества: возможность читать цепочки рассуждений и внутренние активации ИИ, контролировать его память, создавать изолированные тестовые среды и использовать более мощные модели для автоматизированного мониторинга и защиты.

Документ предлагает поэтапное внедрение защитных мер (митигаций), которые становятся все более сложными и дорогими по мере роста возможностей моделей.

Обнаружение (Уровни D1-D4):

    D1 (Текущий уровень): Мониторинг цепочки рассуждений (CoT) и тестирование на выравнивание. Эффективно, пока модели не умеют скрывать свои мысли.

    D2 (Модели с осознанием надзора): Требуются более устойчивые к атакам мониторы, фильтрация данных обучения и ограничение доступа агентов к информации о протоколах контроля.

    D3 (Модели с непрозрачным мышлением): Мониторинг переключается с "мыслей" на поведение агента, используя доверенные модели и методы обнаружения аномалий (UEBA).

    D4 (Модели, обходящие мониторинг доверенными ИИ): Необходимо использовать самих недоверенных агентов для мониторинга друг друга (с защитой от сговора) и анализ внутренних активаций модели.

Предотвращение и реагирование (Уровни R1-R3):

    R1 (Текущий уровень): Асинхронное реагирование (анализ логов после факта) с постепенным увеличением покрытия мониторинга до 99%.

    R2 (Модели, способные выполнять серьезные угрозы): Внедрение синхронного реагирования (блокировка действий в реальном времени), строгой изоляции среды, контекстно-зависимого контроля доступа и использование доверенных ИИ для поиска уязвимостей.

    R3 (Очень мощные модели): Требуются экстремальные меры: строгая безопасность цепочки поставок, инфраструктура для немедленного отключения агентов, жесткое ограничение их возможностей (память, коммуникация), а также использование самих этих моделей для защиты (с осторожностью).

Дорожная карта представляет собой прагматичный, поэтапный план, который заимствует лучшие практики из кибербезопасности и адаптирует их под уникальные риски мощных ИИ-агентов. Авторы признают, что контроль не является вечным или всеобъемлющим решением (особенно против суперинтеллекта), но считают его критически важной второй линией обороны, которая позволит безопасно использовать передовые ИИ для исследований и разработок, пока мы не научимся создавать по-настоящему надежные модели. Документ подчеркивает, что это живой план, который будет развиваться по мере накопления опыта.

Реабилитация после инсульта и травм

В порядке рекламы важной темы. Реабилитация после инсульта, травм и полинейропатий. Нарушения движений? Мы их лечим. Боль? Мы с ней справимся – спина, голова, нога, даже тот самый странный палец на ноге. Эрготерапия включена. Настоящая наука. Настоящие люди. Настоящий прогресс. ИИ есть внутри. Смотрите в Telegram: https://t.me/GritandGrace_1

Совместная оценка вопросов и ответов LLM

Большие языковые модели (БЛМ) все чаще используются в интерактивных приложениях, однако они остаются уязвимыми для враждебных взаимодействий, которые приводят к вредоносным, обманным или нарушающим правила вывода. Существующие средства защиты обычно анализируют либо пользовательские запросы, либо сгенерированные результаты, но не то и другое одновременно. Однако многие реальные атаки используют разделение между враждебным намерением, выраженным в запросе, и причиняемым вредом, проявляющимся только в ответе. В результате, средства защиты, основанные только на запросе и только на ответе, часто упускают из виду небезопасные взаимодействия, которые кажутся безобидными при рассмотрении с любой стороны по отдельности. Мы представляем структуру защиты, ориентированную на верификацию, которая совместно оценивает намерение запроса и вред, причиняемый ответом, до того, как БЛМ-ответ будет доставлен пользователю. В этой структуре используются специализированные аналитики для оценки намерения и вреда, а также судья для разрешения конфликтов. Мы формализуем модель угроз для атак типа «запрос-ответ» и оцениваем структуру в рамках пяти категорий угроз: взлом системы, внедрение запроса, фишинг, киберзлоупотребления и вредоносный контент. Эксперименты на нескольких эталонных наборах данных показывают, что совместная проверка намерения запроса и вреда от ответа неизменно превосходит односторонние методы защиты и базовые модели на основе рассуждений одного агента. В рамках категорий угроз структура улучшает средний показатель F1 с 0,9 для наиболее сильных применимых базовых моделей до 0,95, одновременно снижая средний процент успешных атак до 4,1%. По сравнению с базовой моделью SingleAgent+CoT, она улучшает средний показатель F1 с 0,87 до 0,95 и снижает частоту ложных срабатываний на безобидных запросах с высокой чувствительностью с 0,12 до 0,06. Мы также оцениваем архитектурно-ориентированные адаптивные атаки, в которых злоумышленник знает структуру верификатора и пытается обойти отдельные компоненты проверки. Наши результаты показывают, что проверка оперативного реагирования обеспечивает практическую основу для защиты приложений LLM от развивающихся угроз со стороны враждебных структур. - Verifying Intent and Harm: A Unified Defense Against LLM-Generated Threats

См. также другие публикации, посвященные LLM

Вероятностная сертификация

Растущее использование машинного обучения в критически важных с точки зрения безопасности средах повышает уязвимость к атакам со стороны злоумышленников. Существующие механизмы защиты, как правило, либо не имеют формальных гарантий, либо зависят от ограничительных предположений о семействе моделей, модели угроз или бюджете отравления, и многие предлагают только точечную сертификацию. Важно отметить, что они часто игнорируют присущую современным конвейерам обучения стохастичность, что подрывает их практическую надежность. В этой работе мы представляем вероятностную структуру, которая рассматривает обучение на основе градиента как дискретную стохастическую динамическую систему и формулирует устойчивость к отравлению как задачу проверки безопасности. Используя сертификаты барьеров (BC), мы выводим достаточные условия для вероятностной сертификации устойчивого радиуса против отравления в наихудшем случае ℓp-ограниченного значения, гарантируя, что конечные параметры модели остаются в пределах безопасного множества с вероятностной точностью. Для приемлемых вычислений мы представляем BC с помощью нейронных сетей и получаем гарантии вероятной приблизительной корректности (PAC) с помощью выпуклой задачи сценария. Наш подход определяет максимальный сертифицированный радиус, в пределах которого обученная модель достигает вероятностной точности при заранее заданном уровне доверия. Эксперименты на MNIST, SVHN, и CIFAR-10 показывают, что наша структура обеспечивает гарантии устойчивости при стохастическом обучении, при этом независима от модели и не требует знания стратегии атаки. - Probabilistic Robustness Certificates against Adversarial

P.S. См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Раги

Стандартный RAG

Запрос преобразуется в векторное представление и сопоставляется с векторной базой данных.
Извлекаются K наиболее близких фрагментов, которые передаются в LLM в качестве контекста.
LLM формирует обоснованный ответ, используя только полученные данные.

Графовый RAG

Запрос классифицируется: конкретные вопросы направляются на локальный поиск, общие вопросы — на глобальный поиск.

Локальный поиск: векторное представление запроса → векторная база данных находит соответствующие сущности → конвейер проходит по графу знаний, собирая связанный контекст → LLM синтезирует окончательный ответ.
Глобальный поиск: нет векторного поиска, нет обхода графа → отчеты сообщества загружаются партиями → LLM оценивает каждый отчет по релевантности → контекст с наивысшим рейтингом → LLM синтезирует окончательный ответ.

Агентный RAG

Агент-рассуждение читает запрос, разбивает его на подвопросы и выбирает источники.
Контекст извлекается из нескольких источников в зависимости от подзапроса.
Другой агент проверяет, отвечает ли извлеченный контекст на вопрос. Если нет, он извлекает его повторно.
После проверки LLM синтезирует окончательный ответ на основе запроса.

Стандартный RAG быстр и дешев, но если извлечен неправильный фрагмент, ответ будет неверным, и ничто его не обнаружит. Используйте его, когда ответ находится в ваших документах, и скорость имеет значение.

Графовый RAG дорог в построении и медленно обновляется. Используйте его для структурированных знаний, таких как юридические, нормативные или биомедицинские данные.

Агентный RAG более функционален и гибок, но медленнее, дороже и сложнее в отладке. Используйте его, когда вопрос требует многошагового рассуждения и самокоррекции.

Атака на защитников

Системы защиты на основе LLM стали высокоэффективной защитой от атак с быстрым внедрением и взломом в автономных агентах. Однако мы показываем, что сами возможности рассуждения и следования за задачей, обеспечивающие эту защиту, создают новую уязвимость: злоумышленники могут внедрять специально созданные данные, чтобы заманить систему защиты в длительные циклы рассуждения, осуществляя систематическую атаку типа «отказ в обслуживании» (DoS). Для систематического выявления этой угрозы мы разрабатываем оптимизационную структуру поиска по лучу, которая создает полезные нагрузки на естественном языке для максимизации длины рассуждения системы защиты, используя генератор предложений LLM, управляемый банком стратегий. Основываясь на наблюдении за природой системы защиты, ориентированной на следование по схеме, мы также предлагаем другую структуру атаки, основанную на структурных мутациях, учитывающих механизмы, с меньшей вычислительной нагрузкой. Эффективность атаки систематически оценивается в двух частях. Во-первых, в автономных оценках атака обобщается на различные архитектуры систем защиты, шаблоны безопасности и эталонные тесты агентов. Оптимизированные для полезной нагрузки на основе одного открытого исходного кода успешно передаются на восемь ведущих базовых платформ моделей (например, Claude, GPT, Gemini, DeepSeek, и Qwen), обеспечивая увеличение количества токенов в 13–63 раза. Во-вторых, в сквозных реальных развертываниях агентов (веб, настольные приложения, код, и многоагентные системы) атака выявляет увеличение задержки до 148 раз. Мы показываем, что один зараженный документ может насытить общие инфраструктуры защиты, фактически лишая размещенных агентов доступа и парализуя всю систему. Выявив эту уязвимость доступности, наша работа подчеркивает острую необходимость в разработке защитных механизмов с ограниченными затратами и устойчивых к ошибкам рассуждений. - From Shield to Target: Denial-of-Service Attacks on LLM-Based Agent Guardrails

См. также другие публикации, посвященные агентам

LLM в кибербезопасности - систематизация знаний

В данной статье представлена систематизация знаний о методологиях оценки и границах возможностей больших языковых моделей (БЛМ) в кибербезопасности. Мы предлагаем трехмерную таксономическую матрицу для систематизации существующих метрик в наступательных областях, защитных приложениях и присущих архитектурных недостатках. Помимо категоризации, эта матрица функционирует как прогностическая структура для выявления «слепых зон» структурной оценки. В частности, путем пересечения целевых областей с атрибуцией отказов она выявляет критическую, нерешенную проблему: измерение межархитектурной семантической эквивалентности в низкоуровневом обратном проектировании. Эмпирически, синтез 39 эталонных показателей выявляет системный пробел в оценке: успех по статическим метрикам редко приводит к сквозной эффективности противодействия. В наступательных областях высокие показатели проникновения сильно коррелируют с загрязнением данных до обучения. При использовании обфускации кода с сохранением семантики в качестве стресс-теста, вероятность успешного выполнения эксплойтов без использования инструментов и без предварительного обучения падает почти до 0%. В защитных контекстах межпроцедурный аудит кода испытывает трудности, достигая пикового значения F1-меры всего 23,83%. Кроме того, модели страдают от функциональной деградации, вызванной чрезмерным выравниванием, при этом фреймворки для совместного тестирования фиксируют потерю функциональности до 77% при автоматическом восстановлении программ. Наш анализ убедительно свидетельствует о том, что чисто авторегрессивные механизмы приводят к серьезным техническим галлюцинациям, о чем свидетельствует показатель создания зависимостей пакетов в 19,7%. Оценки также выявляют значительные поверхности атаки и существенный компромисс между безопасностью и полезностью: модели поддаются атакам с утечкой информации со скоростью до 86,2%, в то время как сильно выровненные версии одновременно демонстрируют чрезмерно высокие показатели ложных отказов (FRR) для безобидных, пограничных запросов безопасности. Наконец, мы намечаем теоретическую нейросимволическую дорожную карту, интегрирующую эвристики LLM с детерминированными формальными методами, чтобы структурно смягчить ограничения авторорегрессивной парадигмы. - Evaluating Large Language Models in Cybersecurity: A Systematic Taxonomy and Empirical Analysis

См. также другие публикации, посвященные LLM

Об эффективности защитников

Большие языковые модели (LLM) приобретают все большее значение, а чат-боты широко используются в коммерческой сфере для оказания помощи сотрудникам и ответа на вопросы клиентов. Для защиты репутации компании и обеспечения соответствия требованиям крайне важно, чтобы чат-боты не генерировали вредоносный контент, даже в случае преднамеренных атак с использованием джейлбрейка. Исследователи предлагают различные методы защиты LLM, известные как «защитные механизмы», для предотвращения генерации вредоносного контента и атак с использованием джейлбрейка. Цель данной статьи — всесторонний анализ существующих решений по защите и предоставление рекомендаций по выбору оптимального решения для конкретных сценариев. В исследовании сравнивались шесть различных методов защиты в трех версиях LLM (Mistral Large 24.02, Meta Llama 3-8B Instruct, Anthropic Claude 3.5 Sonnet), включая два базовых подхода, два облачных решения (AWS Guardrails, Azure AI Content Safety) и два других популярных решения, не основанных на облачных технологиях (NeMo от Nvidia и Llama Guard от Meta). Для оценки было использовано тринадцать наборов данных: десять, представляющих вредоносные вопросы в атаках с использованием джейлбрейка, и три с нейтральными подсказками, похожими на вредоносные вопросы, для проверки чрезмерной блокировки. Наилучшие результаты были достигнуты AWS Guardrails (средняя точность по моделям 96,8%) и NeMo (93,9%). Результаты ясно показали, что использование защитных механизмов крайне важно при создании коммерческих приложений на основе LLM в связи с развитием эффективных атак с использованием джейлбрейка. - Comprehensive Analysis of LLM Guardrails Approaches Preventing Harmful Content and Jailbreak Attacks

См. также другие публикации, посвященные LLM

Секретные скиллы

Agent Skills — это новый открытый стандарт, определяющий модульный формат упаковки на основе файловой системы, позволяющий агентам на основе LLM приобретать экспертные знания в конкретной области по запросу. Несмотря на быстрое распространение на различных платформах для агентов и появление крупных сообществ, свойства безопасности Agent Skills не были систематически изучены. В данной статье представлен первый всесторонний анализ безопасности структуры Agent Skills. Мы определяем полный жизненный цикл Agent Skill, состоящий из четырех фаз — Создание, Распространение, Развертывание и Выполнение — и выявляем структурную поверхность атаки, создаваемую каждой фазой. Основываясь на этом анализе жизненного цикла, мы создаем таксономию угроз, включающую семь категорий и семнадцать сценариев, организованных по трем уровням атаки, основанных как на архитектурном анализе, так и на реальных данных. Мы подтверждаем таксономию путем анализа пяти подтвержденных инцидентов безопасности в экосистеме Agent Skills. На основе этих результатов мы обсуждаем направления защиты для каждой категории угроз, определяем открытые исследовательские задачи и предоставляем практические рекомендации для заинтересованных сторон. Наш анализ показывает, что наиболее серьезные угрозы возникают из-за структурных особенностей самой структуры, включая отсутствие границы между данными и инструкциями, модель доверия с единым подтверждением и отсутствие обязательной проверки безопасности, и не могут быть устранены только путем поэтапных мер по смягчению последствий. - Towards Secure Agent Skills: Architecture, Threat Taxonomy, and Security Analysis агентам

Бэкдоры сегодня

Пара интересных работ по бэкдор-атакам.

Атаки с использованием бэкдоров против нейронных сетей позволяют злоумышленникам внедрять скрытые модели поведения, которые активируются во время вывода, сохраняя при этом высокую производительность на чистых входных данных. Атаки с использованием бэкдоров с чистыми метками особенно скрытны, поскольку они отравляют обучающие данные, не изменяя истинные метки, что затрудняет обнаружение вредоносных образцов с помощью традиционной проверки данных. Эта угроза особенно актуальна, когда обучающие данные собираются из ненадежных, внешних или распределенных источников. В данной статье представлен систематический обзор атак с использованием бэкдоров с чистыми метками и отравлением данных в классификации изображений. Мы вводим единую двухуровневую таксономию, которая сначала различает атаки, содержащие триггеры, и атаки без триггеров, а затем организует каждую категорию в соответствии с лежащими в ее основе механизмами атаки. На основе этой таксономии мы анализируем 18 репрезентативных методов и сравниваем их с точки зрения эффективности атаки, скрытности и операционных предположений, используя общепринятые метрики, такие как частота успешных атак и точность на чистых данных. Мы также изучаем настройки знаний злоумышленников и практические сценарии развертывания, чтобы оценить реальную осуществимость этих атак. Кроме того, мы выявляем новые тенденции, включая адаптивные и специфичные для выборки триггеры, обсуждаем ограничения существующих стратегий защиты и описываем открытые проблемы в оценке и смягчении последствий. Наконец, мы предлагаем стандартизированную систему отчетности для повышения воспроизводимости, сопоставимости и согласованности между исследованиями. Этот обзор обеспечивает структурированное понимание атак с использованием бэкдоров с «чистой меткой» и предлагает рекомендации по разработке более надежных и безопасных систем машинного обучения. - Clean-Label Backdoor Attacks: A Survey

Атаки с использованием бэкдоров позволяют злоумышленникам внедрять вредоносное поведение в модели машинного обучения путем отравления обучающих данных триггерами. Исследователи в основном сосредоточивались на бэкдорах в одномодальных моделях. Однако появление многомодальных систем, например, моделей «зрение-язык» (VLM) и многомодальных больших языковых моделей (MLLM), значительно расширило поверхность атаки. Многомодальные бэкдоры могут использовать кросс-модальные триггеры, манипулирование на уровне представления, поведение, обусловленное инструкциями, и пути активации во время тестирования, которые недоступны в одномодальных моделях. Тем не менее, количественная оценка прогресса в этой области остается сложной задачей из-за фрагментированных наборов данных, непоследовательных моделей угроз, и отсутствия стандартизированных протоколов оценки. Эта методологическая непоследовательность ограничивает сравнительный анализ и препятствует систематическому пониманию устойчивости в многомодальных условиях. В данной статье представлено мета-исследование многомодальных атак с использованием бэкдоров и проанализировано, как методологическая фрагментация подрывает воспроизводимость и кумулятивное научное понимание. Мы утверждаем, что для надежного и систематического развития исследований многомодальных атак с использованием бэкдоров необходимы стандартизированные контрольные показатели и обратно совместимые протоколы оценки. - Meta-Research on Backdoors: Dataset and Threat Model Shifts in Multimodal Backdoor Attacks

См. также другие публикации по бэкдор атакам

AI SEO

Рост генеративного ИИ как основного источника информации представляет собой сдвиг парадигмы по сравнению с традиционным веб-поиском. В данной статье представлено масштабное эмпирическое исследование, количественно оценивающее фундаментальные различия между результатами, полученными Google Search, и ведущими сервисами генеративного ИИ. Мы анализируем несколько аспектов, показывая, что ответы, сгенерированные ИИ, и результаты поиска в интернете существенно расходятся в используемых исходных доменах, типологии этих доменов (например, заработанные и принадлежащие медиа, социальные соцсеты), намерениях запроса и свежести предоставленной информации. Затем мы исследуем роль предварительного обучения LLM как ключевого фактора, формирующего эти различия, анализируя, как эта внутренняя база знаний взаимодействует с поиском в реальном времени и влияет на него, когда она включена. Наши результаты раскрывают уникальную механику этих двух информационных экосистем, что приводит к критическим наблюдениям о зарождающейся области оптимизации для систем ответов (AEO) и её контрасте с традиционной поисковой оптимизацией (SEO). - Navigating the Shift: A Comparative Analysis of Web Search and Generative AI Response Generation

О таксономии агентной безопасности

Системы генеративного ИИ все чаще используются не только для создания контента, но и для извлечения данных, вызова инструментов и выполнения действий. В данной работе рассматриваются последствия этого сдвига для безопасности на уровне контента, моделей и агентов. Мы анализируем, как меняются требования к доступу злоумышленников, автономность системы и масштабы потенциального вреда по мере того, как модели переходят от генерации артефактов к выполнению операций с помощью цепочек инструментов и внешних API. Затем мы оцениваем технические контрмеры, включая обнаружение, водяные знаки, согласование и новые средства защиты агентов, и показываем, что некоторые из них зависят от форм институциональной координации, которые пока не обеспечиваются существующими механизмами управления. Во всех рассмотренных случаях развертывание возможностей и расширение поверхности атаки неоднократно опережают защитные меры по мере того, как системы переходят от генерации контента к выполнению действий в реальном мире. - From AI-Generated Content to Agentic Action: Security and Safety Threats in Generative AI

Интересная статистика о том, какие формы атак достигают наивысших ASR:

Мультимодальный. Каналы зрения и звука обходят текстоцентричные фильтры безопасности. FigStep преобразует запрещенные инструкции в типографические изображения, достигая в среднем 82,5% ASR на шести LVLM с открытым исходным кодом. HADES сообщает о 90,26% ASR на LLaVA-1.5. AudioJailbreak достигает ≥87% ASR в универсальных условиях сильного противника.
На основе кодирования. Преобразование запросов в нестандартные представления использует более слабое покрытие безопасности за пределами типичного естественного языка. CipherChat сообщает о почти 100% обходе безопасности GPT-4 с помощью кодирования шифра. Перевод на языки с ограниченными ресурсами увеличивает показатели обхода с 1% до 79%. ArtPrompt использует ASCII-графику, и в смежных работах показано, что другие нестандартные представления, такие как Base64, ROT13 и код Морзе, аналогичным образом используют более слабое покрытие безопасности в этих кодирующих пространствах.

См. также другие публикации, посвященные агентам

Что же такое безопасность агентов?

В этом документе утверждается, что для обеспечения безопасности агентов LLM необходимо сначала определить сквозное свойство корректности, которое определяет, когда выполнение агента точно отражает намерение пользователя. Современные агенты LLM работают по конвейеру «намерение-выполнение», где инструкции на естественном языке преобразуются в конкретные системные операции, такие как вызовы инструментов, запросы API и выполнение кода. Хотя в последнее время средства защиты достигли прогресса в ограничении того, как агенты формируют вызовы инструментов, большинство существующих формулировок неявно предполагают, что инструментам можно доверять. Появление систем, таких как OpenClaw, с открытыми экосистемами сторонних специалистов и прямым доступом к пользовательской среде, нарушает это предположение и выявляет новые режимы сбоев, включая вредоносные или чрезмерно привилегированные компоненты в конвейере выполнения.

Несмотря на быстрый прогресс в механизмах защиты, не существует адекватного свойства корректности, определяющего, что означает «безопасность» для агентов LLM, а также принципиального способа оценки охвата существующих средств защиты. Мы отмечаем, что агенты LLM структурно аналогичны компиляторам, где нарушения безопасности соответствуют ошибочным выполнениям, которые не сохраняют намерения пользователя. Опираясь на эту аналогию, мы выявляем два фундаментальных источника проблем — ненадежный прием данных и ненадежное выполнение инструментов — и выводим четыре свойства целостности, которые должны выполняться одновременно: целостность инструментов, целостность инструкций, целостность суждений и целостность потока данных. Мы называем их конъюнкцию целостностью намерения и выполнения. Анализ существующих средств защиты агентов от этих свойств показывает, что текущие системы обеспечивают лишь частичное и некомпозиционное покрытие, оставляя фундаментальные пробелы в обеспечении безопасности современных агентов LLM. - Securing LLM Agents Need Intent-to-Execution Integrity

См. также другие публикации, посвященные агентам

О развернутых диалогах

Мы представляем MultiBreak, масштабируемый и разнообразный бенчмарк для многошагового джейлбрейка, предназначенный для оценки безопасности больших языковых моделей (LLM). Многошаговые джейлбрейки имитируют естественные разговорные ситуации, что делает их более удобными для обхода LLM, соответствующих требованиям безопасности, чем одношаговые джейлбрейки. Существующие многошаговые бенчмарки ограничены по размеру или сильно зависят от шаблонов, что ограничивает их разнообразие. Чтобы устранить этот пробел, мы объединяем широкий спектр вредоносных интентов джейлбрейка и представляем конвейер активного обучения для расширения высококачественных многошаговых противодействий, где генератор итеративно дорабатывается для создания более сильных кандидатов на атаку, руководствуясь уточнением на основе неопределенности. Наш MultiBreak включает 10 389 многошаговых противодействий, охватывает 2665 различных вредоносных интентов и включает самый разнообразный набор тем на сегодняшний день. Эмпирическая оценка показывает, что наш бенчмарк обеспечивает до 54,0% и 34,6% более высокий уровень успешности атаки (ASR), чем второй лучший набор данных на DeepSeek-R1-7B и GPT-4.1-mini, соответственно. Что еще важнее, оценки безопасности показывают, что различные категории атак выявляют тонкие уязвимости LLM, и категории, которые кажутся безобидными при однократном воздействии, могут демонстрировать значительно более высокую эффективность в многократных сценариях. Эти результаты подчеркивают устойчивые уязвимости LLM в реалистичных условиях противодействия и подтверждают, что MultiBreak является масштабируемым ресурсом для повышения безопасности LLM. - MultiBreak: A Scalable and Diverse Multi-turn Jailbreak Benchmark for Evaluating LLM Safety

См. также другие публикации, посвященные LLM

Это не лечится

Внедрение подсказок является наиболее критической уязвимостью в развернутых агентах ИИ. Несмотря на недавний прогресс, мы показываем, что преобладающая парадигма защиты (разделение данных и инструкций) не только не обнаруживает атаки, которые действуют посредством контекстной манипуляции, но и ухудшает контекстно-адекватное поведение. Затем мы переосмысливаем внедрение подсказок с точки зрения контекстной целостности (КИ), теории конфиденциальности, которая оценивает соответствие потока информации контекстным нормам. Это объясняет типы атак, которые существующие средства защиты пытаются предотвратить, и предсказывает сложные атаки, с которыми столкнутся будущие агенты. Мы разрабатываем уникальные безобидные и атакующие сценарии, которые заставляют агента нарушать нормы путем (1) искажения потока, (2) манипулирования нормами или (3) смешивания нескольких потоков. Эта переформулировка предполагает результат невозможности: противник всегда может сконструировать контекст, в котором заблокированный поток кажется легитимным, или защитник, который ужесточает нормы, будет блокировать действительно легитимные потоки. Наши результаты показывают, что текущее исследование затрагивает все меньшую долю будущих поверхностей атаки. Вместо этого, с помощью CI мы предлагаем принципиальную основу для оценки контекстно-зависимых сбоев и разработки согласования с учетом CI для передовых автономных агентов. - AI Agents May Always Fall for Prompt Injections

См. также другие публикации, посвященные агентам

О доверенных агентных системах

Агентные системы искусственного интеллекта — большие языковые модели (LLM), дополненные планированием, использованием инструментов, памятью и взаимодействием на долгосрочную перспективу — могут автономно выполнять сложные задачи, но их многоэтапные траектории приводят к новым режимам сбоев, которые ставят под сомнение надежность. Этот обзор представляет собой целенаправленное исследование надежного агентного ИИ по двум основным параметрам, которые имеют решающее значение для развертывания в условиях высокого риска: безопасность и надежность, а также конфиденциальность и безопасность системы. Для каждого параметра мы уточняем ключевые понятия, определяем, где возникают риски на протяжении рабочего процесса агента, и обобщаем стратегии смягчения рисков на каждом этапе. Другие аспекты надежности (согласование ценностей, прозрачность, справедливость и подотчетность) обсуждаются в качестве контекста, а не в отдельных главах. Для обеспечения согласованного сравнения и принятия решений о развертывании мы объединяем оценку в единый центр метрик и бенчмарков, уделяя особое внимание как результатам, так и сигналам процесса (например, нарушениям ограничений, полноте трассировки и показателям успешности противодействия) и предлагая рекомендации по преобразованию сценариев в метрики для управления процессом выпуска. В заключение мы описываем открытые проблемы, такие как саморазвивающиеся агенты, мониторинг и проверка в режиме реального времени, персонализация с сохранением конфиденциальности и компромисс между доверием и полезностью, а также представляем пример реальных сбоев безопасности в агентных системах с открытым исходным кодом (OpenClaw/Moltbook). Наша цель — служить практическим справочником для исследователей и практиков, создающих надежные агентные системы в условиях высокой ответственности. - Towards trustworthy agentic AI: a comprehensive survey of safety, robustness, privacy, and system security

См. также другие публикации, посвященные агентам

Сложное тестирование агентов

Мы проводим всесторонний анализ безопасности автономных агентов-помощников,выявляя угрозы, присущие их уникальным архитектурным свойствам. Во-первых, мы создаем систематическую таксономию, охватывающую 20 реальных рисков, классифицированных на нарушения границ, устойчивое искажение состояния и вредоносные операции. Для дальнейшего выявления уязвимостей автономных агентов в условиях этих угроз мы предлагаем три передовые стратегии атаки, обеспечивающие обход защиты во временном, пространственном и семантическом измерениях: (i) Кросс-поворотная фрагментация: фрагментация и распределение вредоносных полезных нагрузок по нескольким взаимодействиям в рамках одной сессии; (ii) Обход защиты в пределах области обнаружения: внедрение полезных нагрузок атаки в сложные внешние артефакты, которые трудно проверить с помощью LLM; и (iii) Сокрытие в благоприятном контексте: сокрытие вредоносных намерений в объемной, на первый взгляд безобидной информации в длительном контексте. Мы моделируем эти риски и стратегии в A3S-Bench, эталонной системе, включающей 2254 многоходовых диалога (1512 случаев атак, охватывающих 34 метода атак, и 742 безопасных диалога). Набор данных охватывает шесть сценариев использования и два уровня сложности, сгенерированных с помощью автоматизированного трехэтапного конвейера синтеза. Каждый случай выполняется в изолированной среде и оценивается с использованием метрик оценки на основе действий, которые совместно количественно определяют как безопасность, так и полезность. - Benchmarking Autonomous Agents against Temporal, Spatial, and Semantic Evasions

Для тестирования агентов (как и для тестирования LLM) нужны multi-turn тесты

См. также другие публикации, посвященные агентам

Перефразирование в состязательных атаках

Большие языковые модели (LLM) широко используются в различных реальных условиях, но остаются уязвимыми для взлома, где атаки на основе подсказок обходят фильтры безопасности. Мы представляем THREAT (Targeted Harmful generation via Reframing and Exploitation of Adversarial Tactics) — основанную на рассуждениях структуру, которая координирует работу нескольких LLM в итеративном цикле поиска для обнаружения текстовых подсказок для взлома. Мы формулируем задачу обнаружения подсказок как невыпуклую задачу оптимизации и предлагаем эффективное решение, которое сокращает время выполнения и повышает эффективность атаки. На различных наборах данных и архитектурах моделей THREAT обеспечивает более высокие показатели успешности атак при меньших вычислительных затратах, чем предыдущие методы. Созданные подсказки были помечены как вредоносные менее чем в 1% случаев, по сравнению с примерно 50% отказов для соответствующих неизмененных подсказок. Эти результаты выявляют ранее не обнаруженные уязвимости в выровненных LLM и позиционируют THREAT как практический инструмент для упреждающего повышения безопасности базовых моделей. Adversarial Reframing: A Framework for Targeted Generation in Language Models

С помощью LLM перефразируют состязательные запросы до тех пор, пока их не перестанут отвергать.

См. также другие публикации, посвященные LLM

Все об атаках на агенты

В реальных приложениях быстро появляются агенты ИИ, которые объединяют большие языковые модели с компонентами не-ИИ систем, предлагая беспрецедентную автоматизацию и гибкость. Однако эта беспрецедентная гибкость порождает сложные проблемы безопасности, которые отличаются от проблем, встречающихся в традиционных программных системах. В данной статье представлена первая всесторонняя систематизация знаний о безопасности агентов ИИ, включая анализ пространства проектирования агентов, ландшафта атак и механизмов защиты для безопасных систем агентов ИИ. Мы также выявляем открытые проблемы, указывающие на перспективные направления будущих исследований в этой новой области. Наша работа представляет собой первую систематическую структуру для понимания рисков безопасности и ландшафтов защиты агентов ИИ, служащую основой для создания как безопасных агентных систем, так и продвижения исследований в этой критически важной области.- SoK: Attack and Defense Landscape of Agentic AI Systems

См. также другие публикации, посвященные агентам

Устройство LLM

Хорошее описание основных компонент LLM

См. также другие публикации, посвященные LLM

Переполнение подсказок

Модели-ограничители (Guardrail models - средства проверки безопасности) широко используются для проверки пользовательского ввода до того, как он попадет в большие языковые модели (LLM), служа в качестве основной защиты от атак с внедрением подсказок. Из-за строгих контекстных ограничений эти модели обрабатывают слишком длинные подсказки путем усечения или сегментации. Хотя предыдущие работы были сосредоточены на семантически враждебных входных данных, последствия для безопасности этих механизмов обработки длинных входных данных остаются в значительной степени неизученными. В этой статье мы выявляем критическое «слепое пятно», возникающее из-за несоответствия между ограниченными окнами проверки моделей-ограничителей и значительно большими окнами вывода контекста нижних LLM. Мы представляем новую атаку с переполнением подсказки, которая использует это несоответствие путем фрагментации вредоносных инструкций и перемешивания их с безобидным содержимым-заполнителем в слишком длинной подсказке, так что ни один отдельный проверяемый сегмент не кажется вредоносным, в то время как полный контекст остается доступным для LLM. В результате систематической оценки с использованием современных моделей защиты, включая Meta Llama Prompt Guard, IBM Granite Guardian и детекторы на основе DeBERTa, мы демонстрируем, что подсказки, надежно обнаруживаемые в условиях короткого контекста, могут обходить модели защиты после того, как они были изменены злонамеренно в результате преобразования во входные данные чрезмерной длины, но при этом остаются полностью пригодными для использования последующими LLM. Мы также предлагаем потенциальные стратегии защиты и описываем направления смягчения последствий для усиления моделей защиты. - Prompt Overflow: What the Guardrail Inspects Is Not What the Model Infers

См. также другие публикации, посвященные LLM

О безопасности ML

Сегодняшний день — начало развития машинного обучения в сфере безопасности. Как в 1998 году все говорили о переполнении буфера, а тестирование на проникновение было настоящим безумием, так и в 2026 году все говорят о внедрении уязвимостей с помощью мгновенного запроса, а команды разработчиков, использующие ИИ, находятся на пике популярности.

И даже такая базовая вещь, как внедрение уязвимостей с помощью инъекции подсказок все еще быстро растет. Это означает, что в сфере безопасности, вероятно, произойдёт смещение в сторону мониторинга, обнаружения вторжений и песочницы, как это было в начале 2000-х, сначала рассматривая LLM как «чёрный ящик», входы и выходы которого требуют строгого контроля. Этот сдвиг уже идёт полным ходом. Сколько продуктов для межсетевых экранов на основе ИИ уже представлено на рынке? Далее мы поймём, что нам нужно проникнуть внутрь «чёрного ящика» и разработать набор методов обеспечения безопасности, которые будут моральным эквивалентом анализа кода и архитектурного анализа. Мы пока не знаем, что это значит, но такие работы, как исследования трансформерных цепей Anthropic, открывают новые горизонты. - NO SECURITY METER FOR AI

Поет морзянка за стеной веселым дискантом

Промпт инъекция в виде азбуки Морзе попросила о переводе биткоинов. LLM поняла запрос и исполнила перевод. Но только ты об этом лучше песню расспроси!

Автоматизация косвенных инъекций

Внедрение подсказок косвенным путем представляет собой серьезную угрозу для агентов LLM, взаимодействующих с ненадежными внешними данными, однако автоматизированные методы атак, доказавшие свою эффективность при взломе систем, остаются недостаточно изученными, в реалистичных агентных условиях. Мы представляем всестороннюю эмпирическую оценку атак с внедрением подсказок автоматическим путем против агентов LLM, адаптируя как методы «белого ящика» (GCG), так и методы «черного ящика» (TAP) к агентной среде в рамках AgentDojo. Мы провели оценку на 80 парах задач, охватывающих четыре области и несколько моделей, и обнаружили, что оптимизация методом «черного ящика» существенно превосходит градиентные методы, что мы объясняем нестабильностью оптимизации GCG при разумных вычислительных затратах. Мы также обнаружили, что эффективность TAP зависит от модели злоумышленника, поскольку как общая производительность, так и настройка безопасности влияют на успех атаки — более сильные модели обеспечивают более эффективные внедрения, в то время как злоумышленники с настроенной безопасностью могут отказаться от генерации враждебных подсказок. Универсальные атаки на задачи эффективно переносятся на неизвестные задачи и внераспространенные области но атаки, оптимизированные для небольших моделей с открытым исходным кодом, не переносятся на передовые модели, такие как GPT-5. Эти результаты подчеркивают, что автоматическое внедрение подсказок представляет собой реальную, но зависящую от модели угрозу, при этом сохраняются значительные препятствия для эксплуатации, не зависящей от модели. - Assessing Automated Prompt Injection Attacks in Agentic Environments

См. также другие публикации, посвященные LLM

Агенты данных под атакой

Агенты данных интегрируют рассуждения, основанные на LLM, с доступом к реляционным данным, исполняемыми аналитическими инструментами и многоэтапной оркестровкой рабочих процессов, что делает их все более важными для корпоративной аналитики. Эта интеграция вносит новые уязвимости безопасности в ресурсы данных, выполнение баз данных и рассуждения агентов, объединяя проблемы безопасности баз данных и безопасности агентов LLM общего назначения в режимы сбоев, которые ни один из этих подходов не может выявить самостоятельно. Для решения этой проблемы мы представляем систематическое исследование безопасности агентов данных. Наш вклад состоит из трех частей. Во-первых, мы разрабатываем многоуровневую структуру уязвимостей, которая выявляет восемь рисков, специфичных для агентов данных, на уровнях интерпретации, выполнения и политики. Во-вторых, мы представляем таксономию атак, организованную по целям, тактике и методам противника, охватывающую три цели, семь тактик и четырнадцать методов, и сопоставляем ее с конвейером генерации полезной нагрузки, основанным на LLM и базирующимся на реальных схемах баз данных. В-третьих, мы оцениваем эти атаки на шести системах, включая четыре агента обработки данных с открытым исходным кодом и два производственных облачных сервиса аналитики. Наши эксперименты выявляют существенные уязвимости безопасности в существующих системах и дают четыре ключевых вывода. - Data Agents Under Attack: Vulnerabilities in LLM-Driven Analytical Systems

См. также другие публикации, посвященные агентам

Структурированная неопределенность

Отсюда

AI Black Team

Открытый фреймворк для состязательных атак на LLM

О дифференциальной приватности

В данной статье представлена ​​эмпирическая модель аудита утечки конфиденциальной информации в интерактивных системах баз данных (СБД), реализующих дифференциальную конфиденциальность (ДП). Без каких-либо предположений о формальных механизмах или параметрах ДП, мы моделируем работу аудитора с доступом «черного ящика» к результатам запросов и оцениваем утечку конфиденциальной информации с помощью атак на вывод принадлежности (MIA). Наша модель предоставляет эмпирические нижние границы параметра потери конфиденциальности ϵ, основанные на успехе атаки, обеспечивая сигнал о риске нарушения конфиденциальности даже в тех случаях, когда теоретический анализ недоступен или не поддается проверке. Мы реализуем эту модель в системе, смоделированной по образцу производственной среды крупной компании социальных сетей, и показываем, как такие факторы, как распределение данных, выбор цели и специфичность запроса, влияют на наблюдаемую конфиденциальность. Наша работа предлагает ценный и практичный инструмент для проверки и аудита конфиденциальности в крупномасштабных непрозрачных СБД - Auditing Differentially Private Interactive Database Systems

Защиты не вечны, атаки - не окончательны

Можем ли мы сделать искусственный интеллект неуязвимым для противников, которые хотят исказить технологию в вредных целях? Хотя ИИ — одна из новейших технологий, ответ на этот вопрос почти столетний по возрасту.

Как бы мы ни старались, мы никогда не сможем сделать искусственный интеллект полностью неоспоримым с помощью традиционных моделей безопасности. В рецензируемом журнале IEEE Security and Privacy Апостол Василев, старший научный сотрудник Национального института стандартов и технологий (NIST), опубликовал математическое доказательство этого утверждения, используя работу, опубликованную в 1931 году известным логиком Куртом Гёделем. Его теоремы о неполноте показали, что существуют пределы того, что можно доказать в системе, построенной на конечном числе правил.

Ограничения, управляющие поведением ИИ, — это именно такая система, и одним из последствий доказательства является то, что всегда найдётся способ заставить систему ИИ игнорировать свои правила — всё остаётся только в том, чтобы её найти.

«Один из столпов ответственного ИИ — это то, чтобы технология была безопасной», — сказал Василев, автор доказательства и эксперт по состязанию в машинном обучении. «Ты хочешь, чтобы он выдержал атаки противника и выполнял только то, что хочешь тебе, а не то, что мог бы захотеть нападающий. Это доказательство показывает, что не существует конечного набора ограничителей, которые были бы универсально устойчивы к враждебным стимулам.»

Компании, разрабатывающие ИИ, часто признают, что инструменты, которые они создают, могут причинить вред физическому миру, поэтому вводят ограничения, направленные на предотвращение создания запрещённого контента, такого как дипфейки, вредоносное ПО или инструкции по созданию биологического оружия или запрещённых наркотиков. Если систему попросят генерировать такой контент, ограничители должны отметить проблему и отказаться выполнять требования.

Однако эти ограничения не являются безошибочными Злоумышленники могут обходить их, создавая подсказки так, чтобы ИИ случайно обходил собственные механизмы отказа. Успешный «джейлбрейк» ИИ лишает его ограничений, что приводит к реальным рискам, таким как кибератаки, утечки данных и высоко персонализированные фишинговые сообщения.

Первоначальное доказательство Гёделя разрушило надежды нескольких выдающихся математиков, которые в начале XX века пытались создать математическую «теорию всего» из небольшого набора базовых утверждений или аксиом. С хорошо подобранным набором начальных аксиом, рассуждали они, можно было бы доказать все идеи в любой области математики.

«Гёдель положил конец этой мечте», — сказал Василев. «Он показал, что нельзя иметь конечный набор утверждений и создать теорию, которая будет полной и последовательной без противоречий. Вы можете добавить больше утверждений, чтобы устранить противоречия, с которыми сталкиваетесь, но вы возвращаетесь к тому, с чего начали. Это повторяется.»

В случае ИИ «конечный набор утверждений» — это группа ограничителей, которые создаёт дизайнер ИИ, чтобы не дать ИИ сделать что-то нежелательное. Независимо от того, насколько хорошо они продуманы, доказательства Василева показывают, что всегда найдётся способы подтолкнуть ИИ, чтобы он нарушил эти правила. Всё дело в том, чтобы найти правильный запрос.

«Логика Гёделя здесь применена», — говорит Василев. «Ты никогда не сможешь утверждать, что ты устойчив ко всем внезапным атакам противника. Всегда будет какая-то подсказка, которая потенциально сможет обойти и разрушить любую оборонительную инфраструктуру, которую ты построил вокруг своей системы ИИ.»

К счастью для защитников, эта новая математическая теория оставляет пространство для усиления развернутых систем ИИ до такой степени, что их сложно эксплуатировать. Доказательство Василева не даёт рецепта для злоумышленников о том, как находить новые эксплойты.

«Вы заставляете злоумышленника искать то, что специалисты по безопасности называют "нулевыми эксплойтами" — это проблемы в системе, о которых знает только вы», — говорит Васильев. «Хакеры часто пользуются этими уязвимостями, когда находят их. И если они обнаруживают такую уязвимость в системе одной компании, обычно проходит немного времени, прежде чем кто-то воспользуется ею в другой системе с той же уязвимостью.»

Такие эксплойты нулевого дня для традиционного детерминированного программного обеспечения было нелегко найти и реализовать, отметил Василев. Часто им требовались ресурсы противников уровня национального государства. Проблема эпохи ИИ, по словам Василева, в том, что мы используем человеческий язык как вход в систему. Сложность и богатство языка делают проверку соответствия, построенную на конечном наборе правил, бесконечно неоднозначной. Количество способов, которыми противники могут скрывать вредные намерения на виду, практически безгранично.

Что же нам тогда делать? Василев предлагает подход, который не решит проблему полностью, но значительно усложнит успешное джейлбрейк ИИ враждебным подсказкам.

Подход состоит из трёх элементов: постоянной работы «красных команд», которые стремятся выявить новые враждебные запросы раньше, чем реальные атакующие; постоянные обновления, которые ужесточают барьеры ИИ от недавно обнаруженных враждебных подсказок; и операционной устойчивости, которая ставит приоритет на ограничение воздействия и быстрое восстановление, когда возникает эксплойт.

«Цель — достичь ситуации, когда стоимость поиска новых эксплойтов превысит ресурсы злоумышленников», — сказал он. «В математике не уйти от Гёделя, а в ИИ ты, скорее всего, не сможешь запатчить систему ИИ, как LLM, и надеяться, что всё будет нормально вечно. Нужно постоянно искать слабые места и опережать нападающих. Цель — достичь нового экономического равновесия, при котором злоумышленникам будет финансово невыгодно пытаться сломать вашу систему ИИ. Это может быть дорого, но это цена даже частичной безопасности, которая должна позволить организациям максимально использовать преимущества ИИ, минимизируя риски.» - отсюда

А кто это сделал?

За аварии с беспилотными авто в России будут платить владельцы машин, а не разработчики. Согласно новой редакции закона о беспилотных автомобилях, подготовленной Минтрансом, обязанность возмещать ущерб, нанесенный транспортным средством без водителя за рулем, ляжет на его владельца. Закон может вступить в силу уже с осени 2027 г.

Атаки на LLM

Лабораторная работа по атакам на LLM

Что делать со статьями, написанными ИИ?

Большой и интересный материал от конференции NeurIPS. Кратко: не принимать и не публиковать. Для контроля используют Pangram.

В этом году в рамках секции «Позиционные доклады» конференции NeurIPS 2026 было принято решение обязать авторов в значительной степени использовать человеческий труд, а ИИ — только для корректуры или подобных второстепенных изменений основного текста. Хотя мы признаем, что продуманное использование ИИ может привести к повышению производительности исследований, применение ИИ для написания докладов создает серьезный риск для системы рецензирования. В этом году, как председатели секции «Позиционные доклады», мы придерживаемся консервативного подхода, поскольку считаем, что в случае аргументированных работ, таких как позиционные доклады, чрезмерное использование ИИ при написании представленных докладов мало полезно для всего исследовательского сообщества. Текст, сгенерированный ИИ, часто выглядит привлекательно, но может значительно отличаться от первоначального замысла авторов. В этом случае представление текста, сгенерированного ИИ, на рецензирование перекладывает затраты на проверку этой работы на рецензентов. Если же сам текст, сгенерированный ИИ, не является бессвязным или вводящим в заблуждение, это поднимает вопросы о надлежащем распределении заслуг.

Придерживаемся в журнале INJOIT такой же позиции. Статья - авторский материал. Есть (должен быть) автор. А просто при выполнении работы (производственного задания) есть исполнитель, который может, конечно, использовать любые инструменты.

Не до законов - 3

Генеральный директор OpenAI Сэм Альтман будет выступать против предложений о том, чтобы разработчики ИИ получали одобрение правительства США перед выпуском новых моделей в открытый доступ, говорится в заявлении компании, опубликованном в среду, в рамках более широких усилий по формированию регулирования этой технологии.

Альтман попросит Конгресс увеличить финансирование тестирования искусственного интеллекта в Министерстве торговли США. Министерство уже сотрудничает с такими компаниями, как OpenAI и Anthropic, для тестирования их моделей. В заявлении компании говорится, что OpenAI хочет, чтобы правительство США расширило эту инициативу и привлекло ученых, обладающих опытом в области кибербезопасности, биологического оружия и национальной безопасности, среди прочих тем.

Визит Альтмана в Вашингтон совпадает с критическим периодом для компании и отрасли. Как ранее сообщало агентство Reuters, компания OpenAI готовится конфиденциально подать заявку на первичное публичное размещение акций (IPO). Конкурент Anthropic, производитель Claude, в понедельник конфиденциально подал заявку на IPO в США. Требования федерального правительства могут негативно сказаться на прибыли отрасли, если они замедлят внедрение новых моделей или побудят компании изменить характеристики своей продукции для решения проблем безопасности. - OpenAI's Altman to urge US lawmakers not to require AI model approvals

Умом ИИ не понять, в ИИ нужно только верить ...

Водит как подросток

Компания Waymo, демонстрирующая впечатляющие статистические данные, показывающие, что её беспилотные автомобили намного безопаснее, чем автомобили с водителями-людьми, развернула тысячи компьютеризированных роботакси по всей стране, которые не могут управлять автомобилем в нетрезвом виде, отвлекаться на телефоны или проявлять агрессию на дороге.

Однако анализ CNN данных местных и федеральных органов власти, а также видеороликов в социальных сетях показывает, что та же самая особенность, которая делает роботакси Waymo менее склонными к опасным столкновениям — отсутствие водителя-человека — также создает совершенно новые проблемы безопасности, которые беспокоят правительственных чиновников, поскольку компания стремится расширить свою деятельность за пределы 11 городов, где она в настоящее время работает.

CNN выявила сотни инцидентов, в которых роботакси якобы совершали опасные маневры и испытывали трудности с препятствиями, с которыми люди инстинктивно справляются. Они проезжали на красный свет, выезжали на встречную полосу и на места преступлений, не соблюдали правила дорожного движения и приближались на расстояние нескольких сантиметров к пешеходам, законно переходящим улицу — ошибки, которые роботизированные автомобили должны быть запрограммированы избегать.

За последние два месяца компания Waymo отозвала тысячи автомобилей и приостановила работу в нескольких городах после того, как роботакси выехали на затопленные улицы, в том числе в Сан-Антонио, где пустой автомобиль Waymo был смыт бурным потоком воды. А недавно компания объявила о приостановке работы на всех автомагистралях в таких городах, как Лос-Анджелес и Майами, после того, как один из пассажиров из Сан-Франциско рассказал на форуме X, что его роботакси устроило высокоскоростную погоню с полицией через зону активных дорожных работ. - ‘Driving like teenagers’: Waymo robotaxis have run red lights and nearly hit pedestrians, CNN finds

ИИ и судебная практика

Российиская судебная практика по делам, связанным с ИИ. В России впервые вынесли приговор за публикацию порно, сгенерированного ИИ. В России осудили подростка, который занимался распространением сгенерированной искусственным интеллектом порнографии. Молодой человек сказал, что разослал созданные нейронной сетью кадры, чтобы пошутить над потерпевшей. Суд назначил ему наказание в виде двух лет лишения свободы условно с испытательным сроком один год.

Аппаратная безопасность

Конфиденциальные вычисления решают проблемы безопасности и конфиденциальности данных для организаций, переносящих конфиденциальные рабочие нагрузки в облако. Это важнейший шаг вперед, позволяющий шифровать данные как во время их обработки в памяти, так и во время активного использования. По мере роста внедрения облачных технологий конфиденциальные вычисления будут играть ключевую роль в повышении безопасности и конфиденциальности в облачных средах. В этом отчете описывается эффективный подход к защите данных, обрабатываемых рабочими нагрузками искусственного интеллекта в облачной инфраструктуре, чтобы защитить наборы данных от вредоносных программ, кражи данных и других уязвимостей, связанных с безопасностью - Hardware-Enabled Security: Confidential Computing of Data in Cloud Workloads

Не до законов - 2

Европейский союз ослабил некоторые положения своего знакового Закона об искусственном интеллекте и отложил принятие других после того, как представители бизнеса и политики заявили, что закон снижает конкурентоспособность европейских компаний.

Что нового: Европейский парламент и государства-члены договорились внести поправки в Закон об искусственном интеллекте, чтобы отложить ограничения, направленные на приложения, которые, по мнению союза, представляют значительную угрозу безопасности, здоровью или правам человека, а также внести другие изменения. Поправки ожидают официального принятия Советом и парламентом союза. ЕС охарактеризовал поправки как «более безопасные и простые правила как для граждан, так и для бизнеса».

Как это работает: Поправки в целом упрощают надзорные и правоприменительные обязанности Управления ЕС по искусственному интеллекту. Они также продлевают сроки для разработчиков ИИ по соблюдению определенных положений и упрощают другие.

Требования к системам искусственного интеллекта, считающимся «высокорисковыми» — включая системы, используемые в правоохранительных органах, критической инфраструктуре, сфере занятости, миграции и идентификации личности — отложены до декабря 2027 года с ранее установленного срока в августе 2026 года. Разработчикам будет предоставлено время до августа 2027 года для внедрения контролируемых тестовых сред, позволяющих изолировать новые модели от внешнего мира во время тестирования. Сроки для продуктов, использующих ИИ, включая оборудование и игрушки, также продлены до августа 2028 года, а требования к водяным знакам для результатов работы ИИ и другие требования к прозрачности — примерно до декабря 2026 года.

Изменения коснутся способов использования персональных данных при обучении и развертывании систем ИИ. В соответствии с действующим законодательством ЕС, некоторые категории персональных данных могут использоваться только в случае «строго необходимого» применения. Изменения позволят использовать персональные данные для выявления и смягчения предвзятости.

Также были внесены или уточнены исключения для некоторых продуктов. Например, Закон об ИИ не затронет промышленное оборудование, которое уже регулируется законами о безопасности продукции. Кроме того, в некоторых случаях к малым компаниям (менее 50 сотрудников с годовым мировым доходом до 10 миллионов евро или совокупными активами до 10 миллионов евро) и компаниям «малой средней капитализации» (примерно от 250 до 749 сотрудников с годовым мировым доходом до 150 миллионов евро или совокупными активами до 129 миллионов евро) будут применяться более мягкие требования к соблюдению нормативных требований и административные издержки.

Поправки усиливают Закон об ИИ в одной важной области: они запрещают создание изображений сексуального характера с участием детей и изображений обнаженных людей без их согласия.

За кулисами новости: В 2024 году ЕС принял самый строгий в мире закон о регулировании ИИ. Закон вступил в силу в том же году, при этом некоторые положения будут вводиться поэтапно в последующие годы. Он подвергся критике за наложение необоснованных требований без повышения безопасности практически с момента начала законодательного процесса.

В 2023 году руководители 163 компаний подписали письмо, в котором утверждалось, что законодательство носит «бюрократический характер». В 2025 году 110 компаний призвали политиков отложить разработку графика внедрения, поскольку правила были «неясными, дублирующими друг друга и все более сложными». Такие компании, как немецкие промышленные и программные фирмы Siemens и SAP, лоббировали пересмотр, заявляя, что правила сдерживают их развитие.

Два ранних отчета повлияли на поправки. В отчете, опубликованном в апреле 2024 года бывшим премьер-министром Италии Энрико Леттой, утверждалось, что ЕС фрагментирован на 27 национальных рынков, что препятствует масштабированию европейских компаний так же, как это могут делать американские и китайские компании. В отчете за сентябрь 2024 года о конкурентоспособности Европы стагнация роста ВВП региона была представлена как «экзистенциальный вызов», и основное внимание уделялось сокращению инновационного разрыва, декарбонизации и снижению зависимости.

В начале 2025 года Европейская комиссия — исполнительный орган ЕС — объявила о своем намерении снизить регуляторную нагрузку, упростить правила и повысить экономическую конкурентоспособность.

В феврале 2026 года Европейская комиссия отозвала предложенную ею Директиву об ответственности за использование ИИ — спорный законопроект, отдельный от Закона об ИИ, который предусматривал введение общеевропейских стандартов для судебных исков, связанных с вредом, причиненным ИИ.

Реакция общественности: Непосредственная реакция на поправки была неоднозначной. Индустрия ИИ в целом приветствовала дополнительную гибкость, в то время как группы потребителей выразили обеспокоенность по поводу потенциального ослабления стандартов безопасности. Некоторые сообщения в СМИ представили их как смягчение закона в угоду интересам бизнеса. Европейская организация потребителей заявила, что соглашение делает цифровую среду менее безопасной и создает опасные лазейки для компаний, занимающихся ИИ.

Почему это важно: Как в первоначальной, так и в обновленной версиях, Закон об ИИ направлен на смягчение «системных рисков», вызванных ИИ. Эта концепция заимствована из регулирования в сфере финансов и инфраструктуры и относится к сбоям, способным распространяться на различные отрасли или значительные части экономики. Идея о том, что ИИ представляет собой системные риски, остается спекулятивной, в то время как чрезмерное регулирование создает экономический риск подавления инноваций и блокировки полезных технологий. Поправки направлены на баланс рисков и преимуществ за счет снижения нагрузки на разработчиков, предоставления компаниям дополнительного времени для понимания и соблюдения требований, а также создания условий для дальнейших инноваций в критически важных отраслях, таких как производство и полупроводники.

Многие положения первоначального Закона об ИИ были неясными, чрезмерно широкими или излишне обременительными. Эти поправки, по-видимому, делают закон менее обременительным, сохраняя при этом полезные элементы. Это хороший шаг для повышения конкурентоспособности Европы.

Отсюда

Не до законов

Президент США Дональд Трамп в заявил, что отложил подписание указа об искусственном интеллекте, поскольку ему не нравятся некоторые его аспекты, и он не хочет предпринимать никаких шагов, которые могли бы подорвать позиции США в конкуренции с Китаем в области ИИ. Трамп планировал подписать указ на церемонии, на которой должны были присутствовать руководители компаний, занимающихся ИИ.

Американские СМИ, включая Semafor и Washington Post, сообщили, что планы администрации были приостановлены после настойчивых просьб основателя xAI Илона Маска и генерального директора Meta Марка Цукерберга, а также бывшего советника Трампа по вопросам ИИ Дэвида Сакса.

В ответ на сообщение на X о сообщениях в СМИ, Маск сказал: «Это ложь», добавив: «Я до сих пор не знаю, что было в этом указе, и президент поговорил со мной только после того, как отказался его подписать».

«Я думаю, это помешает, знаете ли, мы лидируем в Китае, мы лидируем во всех, и я не хочу делать ничего, что помешало бы этому лидерству», — сказал Трамп журналистам в Овальном кабинете. Указ создаст добровольную структуру для взаимодействия разработчиков ИИ с правительством США до публичного выпуска передовых моделей ИИ, сообщили Reuters в среду два источника, знакомые с указом.

Трамп не уточнил, против каких именно частей исполнительного указа он возражает. Представители технологической индустрии опасаются, что положения указа могут нанести ущерб прибыли отрасли, если они замедлят внедрение новых моделей или побудят компании изменить работу этих моделей для решения проблем безопасности. По словам другого источника, президент также планировал поручить правительству США использовать передовые модели для улучшения кибербезопасности государственных систем, а также сетей, принадлежащих секторам, имеющим жизненно важное значение для экономики, таким как банки и больницы. В правительстве США и частном секторе растет обеспокоенность по поводу рисков кибербезопасности, создаваемых мощными новыми системами искусственного интеллекта, включая Mythos от Anthropic. Anthropic предупреждала, что Mythos может значительно ускорить сложные кибератаки, хотя эксперты по кибербезопасности заявили Reuters, что опасения по поводу бесконтрольного взлома преувеличены.

После возвращения к власти Трамп занял более мягкую позицию по отношению к крупным технологическим компаниям, чем администрация его предшественника Джо Байдена, в связи с появлением искусственного интеллекта и его огромной ролью на американских фондовых рынках. Однако некоторые видные сторонники Трампа призывают к ужесточению мер контроля.

отсюда

100 таксистов

На улицах китайского города Ухань роботакси Apollo Go компании Baidu остановились посреди дороги, заблокировав пассажиров и вызвав столкновения.

Автономный транспорт сегодня сделать безопасным можно только декларативно. То есть объявить безопасным и все. Обосновать (формально подтвердить) это нельзя.

Лучше не надеяться

Anthropic опубликовал разбор безопасности свои продуктов. Цитата: "Первый способ обеспечения безопасности — это контроль поведения агента с помощью участия человека. Ранее Claude Code защищал агентов от непреднамеренных действий, запрашивая у пользователей разрешение на каждом шагу. Теоретически это работает, но мы обнаружили, что такой подход несовершенен. Наши телеметрические данные показали, что пользователи одобряли примерно 93% запросов на разрешение. Чем больше подтверждений видит пользователь, тем меньше внимания он уделяет каждому из них, со временем становясь гораздо менее внимательным к контролю.

Адаптивные косвенные инъекции подсказок

Агенты на основе LLM все чаще используются для сложных задач, требующих планирования, использования инструментов, и взаимодействия с внешними сервисами. Их зависимость от ненадежного внешнего контента делает их уязвимыми для косвенной инъекции подсказок (IPI), при которой враждебные инструкции, встроенные в полученные данные, перехватывают поведение агента. Существующие атаки основаны на статических полезных нагрузках, которые не могут адаптироваться к специфическим для агента средствам защиты; даже в современных адаптивных методах отсутствует структурированная обратная связь для управления оптимизацией. Мы представляем IterInject, итеративную структуру с обратной связью, которая замыкает цикл между инъекцией, диагностикой и уточнением: диагност, основанный на правилах, генерирует структурированные метки результатов с описаниями поведения, а оптимизатор на основе LLM уточняет полезные нагрузки с учетом полной истории оптимизации. Этап синтеза генерирует новые начальные значения маскировки из шаблонов ошибок, позволяя пространству стратегий самостоятельно развиваться. На AgentDojo и InjectAgent IterInject значительно превосходит статические базовые модели и существующие адаптивные методы по четырем моделям жертв. Эксперименты по расширению на примере Claude Code, агента кодирования производственного уровня, обладающего многоуровневой защитой, показывают, что оптимизированные полезные нагрузки достигают полного успеха на 5 из 9 целей; даже те, которые сопротивляются полной эксплуатации, демонстрируют измеримое улучшение в результате итеративного уточнения. Мы также представляем механистический анализ IPI, выявляющий механизм порогового значения, опосредованный вниманием, на средних и поздних уровнях; три причинно-следственных вмешательства подтверждают это открытие и указывают на конкретные направления защиты. - IterInject: Indirect Prompt Injection Against LLM Agents via Feedback-Guided Iterative Optimization

См. также другие публикации, посвященные агентам

ИИ в кибербезопасности - хроника событий

Данная публикация представляет собой открывает очередной, восьмой по счёту, выпуск периодического аналитического обзора использования Искусственного интеллекта (ИИ) в кибербезопасности. Цикл этих материалов направлен на углублённое исследование стремительно эволюционирующей сферы, возникающей на стыке искусственного интеллекта и кибербезопасности. Ключевая цель данного проекта — планомерное отслеживание мировых тенденций и обобщение наиболее примечательных событий. Помимо сбора информации, в рамках инициативы проводится тщательный разбор законодательных инициатив, резонансных происшествий и передовых технологических новшеств, которые формируют контуры современной кибербезопасности под влиянием ИИ. Каждый номер серии имеет унифицированную структуру, состоящую из трёх разделов, что гарантирует всестороннее освещение рассматриваемой тематики. Первый раздел фокусируется на разборе базы инцидентов и существующих вызовов безопасности: здесь исследуются реальные сценарии атак, обнаруживаются свежие уязвимости и даётся оценка угрозам, порождаемым внедрением алгоритмов ИИ как в оборонительные механизмы, так и в арсенал злоумышленников. Второй раздел даёт характеристику текущему состоянию нормативно-правовой среды и векторам её изменений. Осознание этих процессов имеет первостепенное значение, поскольку именно они задают правовые и эксплуатационные рамки, в которых должны будут развиваться надёжные и безопасные системы на базе ИИ. Третий раздел освещает хронику научно-технологических достижений. Каждый выпуск включает в себя аннотированный перечень наиболее весомых — с точки зрения авторов — научных работ, экспертных докладов ведущих организаций и описаний новаторских разработок. - отсюда

Китайский исследователь

Быстрое развитие базовых моделей катализировало сдвиг парадигмы от систем ИИ, которые помогают исследователям, к агентам, способным проводить исследования автономно. Однако этой новой области не хватает единой аналитической структуры: агенты, работающие с кодом, системы научных открытий и многоагентные исследовательские платформы развивались в значительной степени изолированно, с непоследовательной терминологией и несравнимой оценкой. Данный обзор восполняет этот пробел четырьмя важными вкладами. Во-первых, мы предлагаем пятиуровневую таксономию автономности (L1–L5) — от автозаполнения кода до полностью самоуправляемых исследовательских программ — которая предоставляет точный словарь для характеристики и сравнения систем. Во-вторых, мы выявляем и анализируем четыре доминирующих архитектурных шаблона (циклы с одним агентом, многоагентное сотрудничество, иерархическая оркестровка и выполнение с использованием инструментов) с помощью сравнительной структуры, оценивающей компромиссы между масштабируемостью, стоимостью, надежностью и человеческим контролем. В-третьих, мы проводим подробный анализ 17 основных систем в рамках шестимерной матрицы признаков, показывая, что современные передовые системы работают на уровне L4 (многоэтапное автономное выполнение в ограниченных областях), в то время как уровень L5 остается желаемым. В-четвертых, мы выявляем шесть фундаментальных открытых проблем — когнитивные циклы, ограничения контекста, оценка новизны, воспроизводимость, безопасность и стоимость — и предлагаем конкретные направления исследований для каждой из них. Наш анализ показывает, что наиболее критическими барьерами на пути к автономности уровня L5 являются не столько собственные возможности, сколько постоянное накопление знаний, надежная самооценка и принципиальное масштабирование архитектуры агентов. Мы рассматриваем более 95 статей в области машинного обучения, разработки программного обеспечения и научных открытий, предоставляя первое единое рассмотрение автономных исследовательских агентов как целостной области исследований. - From Copilots to Colleagues: A Survey of Autonomous Research Agents

INJOIT vol. 14, no. 6

Вышел шестой номер журнала INJOIT в 2026 году. И четырнадцатый год издания журнала.

Темы статей:

• Sleeper Channels and Provenance Gates: Persistent Prompt Injection in Always-on Autonomous AI Agents
• Метод слияния данных и фильтрации аномалий на основе расстояния Махаланобиса для обеспечения целостности информации в группах автономных транспортных средств
• Эквивалентность порога метода Оцу решающему правилу MAP-классификатора в задаче обнаружения аномалий сетевого трафика
• Повышение эффективности состязательных атак на модель прогнозирования трафика TGC-LSTM
• Состязательные атаки на модели обнаружения фишинга на основе URL-адресов
• Устойчивость сессионных рекомендательных систем к атакам отравления обучающей выборки
• Искусственный Интеллект в Кибербезопасности. Хроника. Выпуск 8
• No-Op-Aware Training and Quantization Framework for Outlier Robust Transformer based Language Models
• Синтез арифметико-логических выражений с использованием SMT-решателя
• Direct adaptive output-feedback control for unstable linear multidimensional systems with distinct input delays
• Оценка распространения искажений в Data-продуктах реляционной архитектуры Data Mesh
• Проблема полноты поиска в B2B-каталогах DIY-товаров: ограничения семантических эмбеддингов и сущностно-ориентированный подход
• Исследование интерпретируемости моделей детектирования пешеходов на основе векторов активации концептов (TCAV): межархитектурный эмпирический анализ
• Методология структурного синтеза хранилища гетерогенных данных технической диагностики высоковольтного оборудования объектов электроэнергетики
• О некорректности ветвящейся программы и цикла
• Методы синтеза промежуточных представлений программ для высокоуровневого проектирования специализированных вычислителей
• Revolutionizing navigation: Deep Learning for lane detection in mobile robots
• An easy way to boost home calculation performance with HGRID
• Разработка механизма динамического доверия для защиты веб-сессий в архитектуре ZeroTrust
• Реактивное управление идентификацией и контролем доступа в контейнерных средах на базе прокси-сервера Envoy
• Использование геймификации и искусственного интеллекта в образовательном процессе при изучении логистики

Архив журнала находится здесь.

/via Лаборатория ОИТ

Еще о галлюцинациях

Библиографическая ссылка в статье: Куприяновский, В.П. Умные дома как основа умных городов / В.П. Куприяновский, С.А. Тищенко // International Journal of Open Information Technologies. - 2016. - Т. 4, № 2. - С. 16-23.

Такой статьи не существует. Работа, которая это "цитирует", была написана генеративной моделью. Библиотека Elibrary не проверяет мусор, который в нее загружают

Отсюда

См. также другие публикации по теме elibrary

Контекстные атаки в агентах

Появление агентов на основе больших языковых моделей (LLM), дополненных использованием инструментов, навыками, и внешними знаниями, породило новые риски безопасности. Среди них основной угрозой стали атаки с внедрением подсказок, когда злоумышленники внедряют вредоносные инструкции в рабочий процесс агента. Однако существующие бенчмарки и средства защиты принципиально ограничены, поскольку они предполагают контекстно-независимые условия, в которых агент работает в соответствии с полностью заданной инструкцией пользователя, а атаки являются простыми и контекстно-независимыми. В результате они не позволяют оценить реальные условия эксплуатации, где поведение агента обычно зависит от динамического контекста, а не только от подсказки пользователя, и злоумышленники могут адаптировать свои атаки к различным контекстам. Аналогично, существующие средства защиты, построенные на этой узкой модели угроз, игнорируют природу реального делегирования агентам. В этой статье мы представляем AgentLure, бенчмарк, который позволяет выявлять контекстно-зависимые задачи и атаки с внедрением подсказок с учетом контекста. AgentLure охватывает четыре агентных домена и восемь векторов атак на различных поверхностях атаки. Наша оценка показывает, что существующие средства защиты часто испытывают трудности в этой среде, демонстрируя низкую эффективность против таких атак в агентных системах. Для решения этой проблемы мы предлагаем ARGUS, механизм защиты, который обеспечивает аудит решений с учетом происхождения информации для агентов LLM. ARGUS строит граф происхождения влияния, чтобы отслеживать, как недостоверный контекст распространяется на решения агентов, и проверяет, оправдано ли решение достоверными доказательствами до его выполнения. Наша оценка показывает, что ARGUS снижает вероятность успешной атаки до 3,8%, сохраняя при этом 87,5% полезности задачи, значительно превосходя существующие средства защиты и оставаясь устойчивым к адаптивным противникам типа «белый ящик». - ARGUS: Defending LLM Agents Against Context-Aware Prompt Injection

См. также другие публикации, посвященные агентам

Состязательное машинное обучение сегодня

Состязательное машинное обучение (СМО) представляет собой существенное препятствие для крупномасштабного внедрения искусственного интеллекта (ИИ) в критически важных с точки зрения безопасности средах. Хотя ранние исследования были сосредоточены на надежности алгоритмов, эта область превратилась в сложное пересечение вопросов безопасности, обеспечения и политики. В данной статье представлен всесторонний междисциплинарный обзор ландшафта СМО, охватывающий более 250 рецензируемых работ. Мы используем таксономию, ориентированную на жизненный цикл, которая сопоставляет векторы атак и механизмы защиты с конкретными этапами конвейера ИИ от сбора данных до развертывания, расширяя традиционную триаду конфиденциальности, целостности и доступности (CIA) за счет включения управления и регулирования. Мы выявляем критические пробелы в исследованиях, включая сертифицированную надежность для обработки естественного языка (NLP) и возникающие угрозы в генеративном ИИ. Для обоснования этих теоретических выводов на практике мы анализируем пять конкретных тематических исследований: автономные транспортные средства, медицинский ИИ, финансовые системы, обработка естественного языка (NLP) и Интернет вещей (IoT). Уникальность этого обзора заключается в том, что он преодолевает разрыв между академической литературой и промышленной практикой, сопоставляя технические результаты исследований в области противодействия отмыванию денег с новыми стандартами, включая структуру управления рисками в области ИИ NIST (RMF), MITRE ATLAS и ISO/IEC 42001. В заключение мы предлагаем дорожную карту для исследователей, практиков и регулирующих органов по созданию проверяемых, заслуживающих доверия и соответствующих требованиям систем ИИ. - Adversarial Machine Learning: A 20-Year Survey of Attacks, Defenses, and Standards

P.S. См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Архитектура безопасных ИИ-агентов

Агенты ИИ, преимущественно работающие на основе больших языковых моделей (LLM), уязвимы для косвенного внедрения подсказок, когда вредоносные инструкции, встроенные в недоверенные данные, могут запускать опасные действия агента. В этом документе излагается наше видение защиты на системном уровне от атак с косвенным внедрением подсказок. Мы формулируем три позиции: (1) динамическое перепланирование и обновление политики безопасности часто необходимы для динамических задач и реалистичных сред; (2) некоторые контекстно-зависимые решения в области безопасности по-прежнему потребуют использования LLM (или других обученных моделей), но должны приниматься только в рамках системных проектов, которые строго ограничивают то, что модель может наблюдать и решать; (3) в случаях с изначально неоднозначной ситуацией персонализация и взаимодействие с человеком должны рассматриваться как основные проектные соображения. В дополнение к нашим основным позициям мы обсуждаем ограничения существующих бенчмарков, которые могут создавать ложное ощущение полезности и безопасности. Мы также подчеркиваем ценность системной защиты, которая служит основой для агентных систем, структурируя и контролируя поведение агентов, интегрируя проверки безопасности на основе правил и моделей, а также позволяя проводить более целенаправленные исследования устойчивости моделей и взаимодействия с человеком. - Architecting Secure AI Agents: Perspectives on System-Level Defenses Against Indirect Prompt Injection Attacks

См. также другие публикации, посвященные агентам

ТГ каналы

Каналы в Telegram, посвященные безопасности ИИ

Подсудные галлюцинации

Компанию из Кемерово оштрафовали на 50 тысяч рублей за ссылки на несуществующую судебную практику — их могла сгенерировать нейросеть.

Решение принял Арбитражный суд Западно-Сибирского округа. Как следует из постановления, компания «ЦСС» была ответчиком в процессе о взыскании задолженности. В кассационной жалобе представители компании сделали несколько ссылок на судебные акты с цитатами, которых не существует и информации о них нет ни в одной базе. Однако впоследствии они попросили суд не принимать эти ссылки во внимание, признав, что таких решений нигде нет.

Суд посчитал, что компания предоставила ему заведомо ложные сведения и сфальсифицировала источники. Это посчитали неуважением к правосудию и надеждой на то, что аргументы будут изучаться поверхностно. В суде заявили, что оправданий этому быть не может — даже подготовка жалобы через нейросеть, поскольку в таком случае ответственность за достоверность сгенерированного текста несет лицо, которое использовало эту технологию. Компании выписали судебный штраф в 50 тысяч рублей.

Отсюда

Публикации по теме Искусственный интеллект в кибербезопасности 24.05.2026

Вопросы безопасности систем ИИ рассматриваются в двух магистерских программах факультета ВМК МГУ имени М.В. Ломоносова: Искусственный интеллект в кибербезопасности и Кибербезопасность. Ниже приведен список публикаций, подготовленных в процессе реализации этих программ по состоянию на 24.05.2026

Ильюшин Е. А., Намиот Д. Е. An approach to the automatic enhancement of the robustness of ml models to external influences on the example of the problem of biometric speaker identification by voice // International Journal of Open Information Technologies. — 2021. — Vol. 9, no. 6. — P. 11–19.

Намиот Д. Е., Ильюшин Е. А., Чижов И. В. Текущие академические и индустриальные проекты, посвященные устойчивому машинному обучению // International Journal of Open Information Technologies. — 2021. — Т. 9, № 10. — С. 35–46.

Намиот Д. Е., Ильюшин Е. А., Чижов И. В. Основания для работ по устойчивому машинному обучению // International Journal of Open Information Technologies. — 2021. — Т. 9, № 11. — С. 68–74.

Намиот Д. Е., Ильшин Е. А., Чижов И. В. Военные применения машинного обучения // International Journal of Open Information Technologies. — 2022. — Т. 10, № 1. — С. 69–76.

Ильюшин Е. А., Намиот Д. Е., Чижов И. В. Атаки на системы машинного обучения – общие проблемы и методы // International Journal of Open Information Technologies. — 2022. — Т. 10, № 3. — С. 17–22.

Namiot D., Ilyushin E. On monitoring of machine learning models // Distributed Computer and Communication Networks: Control, Computation, Communications (DCCN-2022) : материалы XXV международной научной конференции: Москва, 26–30 сентября 2022 года / под общ. ред. В. М. Вишневского и К. Е. Самуйлова. — РУДН Москва: 2022. — P. 150–157.

Namiot D., Ilyushin E., Chizhov I. On a formal verification of machine learning systems // International Journal of Open Information Technologies. — 2022. — Vol. 10, no. 5. — P. 30–34.

Huayu L., Namiot D. A survey of adversarial attacks and defenses for image data on deep learning // International Journal of Open Information Technologies. — 2022. — Vol. 10, no. 5. — P. 9–16.

Намиот Д., Ильюшин Е., Пилипенко О. Доверенные платформы искусственного интеллекта // International Journal of Open Information Technologies. — 2022. — Т. 10, № 7. — С. 119–127.

Намиот Д., Ильюшин Е. Порождающие модели в машинном обучении // International Journal of Open Information Technologies. — 2022. — Т. 10, № 7. — С. 101–118.

Биджиев Т. М., Намиот Д. Е. Исследование существующих подходов к встраиванию вредоносного программного обеспечения в искусственные нейронные сети // International Journal of Open Information Technologies. — 2022. — Т. 10, № 9. — С. 21–31.

Намиот Д. Е., Ильюшин Е. А. Об устойчивости и безопасности систем искусственного интеллекта // International Journal of Open Information Technologies. — 2022. — Т. 10, № 9. — С. 126–134.

Намиот Д. Е., Ильюшин Е. А., Чижов И. В. Искусственный интеллект и кибербезопасность // International Journal of Open Information Technologies. — 2022. — Т. 10, № 9. — С. 135–147.

Stroeva E., Tonkikh A. Methods for formal verification of artificial neural networks: A review of existing approaches // International Journal of Open Information Technologies. — 2022. — Vol. 10, no. 10. — P. 3.

Намиот Д., Ильюшин Е. Мониторинг сдвига данных в моделях машинного обучения // International Journal of Open Information Technologies. — 2022. — Т. 10, № 12. — С. 84–93.

Костюмов, Василий Владимирович. "Обзор и систематизация атак уклонением на модели компьютерного зрения." International Journal of Open Information Technologies 10.10 (2022): 11-20.

Намиот Д. Е., Ильюшин Е. А. О причинах неудач проектов машинного обучения // International Journal of Open Information Technologies. — 2023. — Т. 11, № 1. — С. 60–69.

Намиот Д. Е. Введение в атаки отравлением на модели машинного обучения // International Journal of Open Information Technologies. — 2023. — Т. 11, № 3. — С. 58–68.

Namiot D. E., Ilyushin E., Chizhov I. On the practical generation of counterfactual examples // Труды Института системного анализа Российской академии наук. — 2023. — Vol. 73, no. 1. — P. 73–81.

Junzhe S., Namiot D. E. A survey of model inversion attacks and countermeasures // Труды Института системного анализа Российской академии наук. — 2023. — Vol. 73, no. 1. — P. 82–93.

Junzhe S., Namiot D. A survey of the implementations of model inversion attacks // Communications in Computer and Information Science. — 2023. — Vol. 1748. — P. 3–16.

Намиот Д. Е. Схемы атак на модели машинного обучения // International Journal of Open Information Technologies. — 2023. — Т. 11, № 5. — С. 68–86.

On the evasion attack detector / L. Huayui, V. Kostyumov, O. Pilipenko, D. Namiot // DCCN 2023. Материалы конференции. — ИПУ РАН Москва: 2023. — P. 183–188.

Junzhe S., Namiot D. On the machine learning models inversion attack detector // DCCN 2023. Материалы конференции. — ИПУ РАН Москва: 2023. — P. 194.

Lozinskii I., Kostyumov V., Stroeva E. Extraction of trigger and mask from poisoned data using modified activation clustering and neural cleanse methods // International Journal of Open Information Technologies. — 2023. — Vol. 11, no. 7. — P. 1

Чехонина, Екатерина Андреевна, and Василий Владимирович Костюмов. "ОБЗОР СОСТЯЗАТЕЛЬНЫХ АТАК И МЕТОДОВ ЗАЩИТЫ ДЛЯ ДЕТЕКТОРОВ ОБЪЕКТОВ." International Journal of Open Information Technologies 11.7 (2023): 11-20.

Пришлецов Д. Е., Пришлецов С. Е., Намиот Д. Е. Камуфляж как состязательные атаки на модели машинного обучения // International Journal of Open Information Technologies. — 2023. — Т. 11, № 9. — С. 41–49.

Намиот Д. Е., Зубарева Е. В. О работе ai red team // International Journal of Open Information Technologies. — 2023. — Т. 11, № 10. — С. 130–139.

Намиот Д. Е., Ильюшин Е. А. Доверенные платформы искусственного интеллекта: сертификация и аудит // International Journal of Open Information Technologies. — 2024. — Т. 12, № 1. — С. 43–60.

Киржинов Д. А., Ильюшин Е. А. Сравнительный анализ алгоритмов атак и защиты на графовые архитектуры ИНС // International Journal of Open Information Technologies. — 2024. — Т. 12, № 2.

Намиот Д. Е., Романов В. Ю. Об улучшении робастности моделей машинного обучения // International Journal of Open Information Technologies. — 2024. — Т. 12, № 3. — С. 88–98.

Junzhe S., Namiot D. On real-time model inversion attacks detection // Lecture Notes in Computer Science. — 2024. — Vol. 14123. — P. 56–67.

Мударова Р. М., Намиот Д. Е. Противодействие атакам типа инъекция подсказок на большие языковые модели // International Journal of Open Information Technologies. — 2024. — Т. 12, № 5. — С. 39–48.

Намиот Д. Е., Ильюшин Е. А. Искусственный интеллект в кибербезопасности: поиск вредоносного программного обеспечения // International Journal of Open Information Technologies. — 2024. — Т. 12, № 6. — С. 143–149.

Lebed, S. V., et al. "Large Language Models in Cyberattacks." Doklady Mathematics. Vol. 110. No. Suppl 2. Moscow: Pleiades Publishing, 2024.

Селевенко Р. М., Строева Е. Н. Исследование и разработка алгоритма формальной верификации и метрики оценки качества на основе методов понижения размерности ИНС // INJOIT. — 2024. — Т. 12, № 6. — С. 2.

Биджиев Т. М., Намиот Д. Е. Атаки на модели машинного обучения, основанные на фреймворке pytorch // Автоматика и телемеханика. — 2024. — № 3. — С. 38–50.

Намиот Д. Е., Ильюшин Е. А. О сертификации систем искусственного интеллекта // Физика элементарных частиц и атомного ядра. — 2024. — Т. 55, № 3. — С. 530–536.

Намиот Д. Е., Куприяновский В. П., Пичугов А. А. Состязательные атаки для автономных транспортных средств // International Journal of Open Information Technologies. — 2024. — Т. 12, № 7. — С. 139–149.

Намиот Д. Е. О кибератаках с помощью систем Искусственного интеллекта // International Journal of Open Information Technologies. — 2024. — Т. 12, № 9. — С. 132–141.

Воробьев, Егор Александрович. "Анализ состязательных атак на системы сегментации изображений." International Journal of Open Information Technologies 12.10 (2024): 1-25.

Намиот Д. Е., Ильюшин Е. А. О киберрисках генеративного Искусственного Интеллекта // International Journal of Open Information Technologies. — 2024. — Т. 12, № 10. — С. 109–119.

Порывай, Максим Викторович. "Сравнительное исследование методов естественной аугментации изображений." International Journal of Open Information Technologies 12.10 (2024): 26-33.

Герасименко, Денис Валерьевич, and Дмитрий Евгеньевич Намиот. "Извлечение тренировочных данных: Риски и решения в контексте безопасности LLM." International Journal of Open Information Technologies 12.11 (2024): 9-19.

Костиков, Егор Вячеславович. "Методы анализа логов Sysmon для обнаружения киберугроз." International Journal of Open Information Technologies 12.11 (2024): 25-34.

Намиот Д. Е., Ильюшин Е. А. Архитектура LLM агентов //International Journal of Open Information Technologies. – 2025. – Т. 13. – №. 1. – С. 67-74.

Воробьев Е. А., Намиот Д. Е. Состязательное тестирование моделей сегментации изображений // Программная инженерия. — 2025. — Т. 16, № 4. — С. 190–198.

Намиот, Д. Е., and Е. А. Ильюшин. "Об оценке доверия к системам Искусственного интеллекта." International Journal of Open Information Technologies 13.3 (2025): 75-90.

Хамзаева, М. А., and О. Р. Лапонина. "Повышение устойчивости к состязательным атакам моделей машинного обучения для обнаружения межсайтового выполнения сценариев." International Journal of Open Information Technologies 13.6 (2025): 25-33.

Бербер, Д. В., and О. Р. Лапонина. "Разработка подходов к увеличению устойчивости моделей машинного обучения для обнаружения распределенных атак отказа обслуживания." International Journal of Open Information Technologies 13.6 (2025): 16-24.

Егорова, Е. С., and О. Р. Лапонина. "Состязательное тестирование моделей машинного обучения, предназначенных для обнаружения SQL-инъекций." International Journal of Open Information Technologies 13.6 (2025): 34-41.

Лапонина, О. Р., and Р. Н. Костин. "Разработка программного обеспечения моделирования угроз для систем на базе LLM-агентов." International Journal of Open Information Technologies 13.6 (2025): 132-146.

Намиот, Д. Е. "Что LLM знает о кибербезопасности." International Journal of Open Information Technologies 13.7 (2025): 37-46.

Намиот, Д. Е. "Искусственный Интеллект в. Кибербезопасности. Хроника. Выпуск 1." International Journal of Open Information Technologies 13.9 (2025): 34-42.

Намиот, Д. Е., and Е. А. Ильюшин. "О кибербезопасности ИИ-агентов." International Journal of Open Information Technologies 13.9 (2025): 13-24.

Егоров, М. Э., et al. "Объяснения моделей машинного обучения и состязательные атаки." International Journal of Open Information Technologies 13.9 (2025): 50-59.

Намиот, Д. Е., and Е. А. Ильюшин. "Уязвимости экосистемы MCP." International Journal of Open Information Technologies 13.10 (2025): 74-82.

Намиот, Д. Е. "Искусственный Интеллект в Кибербезопасности. Хроника. Выпуск 2." International Journal of Open Information Technologies 13.10 (2025): 58-67.

Poryvai, Maxim, and Dmitry Namiot. "On Natural Image Augmentation to Increase Robustness of Machine Learning Models." 2025 International Russian Automation Conference (RusAutoCon). IEEE, 2025.

Namiot D., Zubareva E. On open datasets for llm adversarial testing // Communications in Computer and Information Science. — 2025. — Vol. 2641. — P. 137–148. 

Намиот, Д. Е. "Искусственный Интеллект в Кибербезопасности. Хроника. Выпуск 3." International Journal of Open Information Technologies 13.11 (2025): 169-179.

Maloyan, Narek, Bislan Ashinov, and Dmitry Namiot. "Investigating the Vulnerability of LLM-as-a-Judge Architectures to Prompt-Injection Attacks."  arXiv preprint arXiv:2505.13348 (2025).

Maloyan, Narek, and Dmitry Namiot. "Adversarial Attacks on LLM-as-a-Judge Systems: Insights from Prompt Injections." arXiv preprint arXiv:2504.18333 (2025).

Намиот, Д. Е. "Искусственный Интеллект в Кибербезопасности. Хроника. Выпуск 4." International Journal of Open Information Technologies 14.1 (2026): 81-94.

Maloyan, Narek, and Dmitry Namiot. "Prompt Injection Attacks on Agentic Coding Assistants: A Systematic Analysis of Vulnerabilities in Skills, Tools, and Protocol Ecosystems." arXiv preprint arXiv:2601.17548 (2026).

Намиот, Д. Е. "Искусственный Интеллект в Кибербезопасности. Хроника. Выпуск 5." International Journal of Open Information Technologies 14.2 (2026): 47-57.

Maloyan, Narek, and Dmitry Namiot. "Breaking the Protocol: Security Analysis of the Model Context Protocol Specification and Prompt Injection Vulnerabilities in Tool-Integrated LLM Agents." arXiv preprint arXiv:2601.17549 (2026).

Намиот, Д. Е. "Искусственный Интеллект в Кибербезопасности. Хроника. Выпуск 6." International Journal of Open Information Technologies 14.3 (2026): 76-86.

Намиот, Д. Е. "Искусственный Интеллект в Кибербезопасности. Хроника. Выпуск 7." International Journal of Open Information Technologies 14.5 (2026): 43-56.

Евграфов, Владимир Андреевич, Маратович Нутфуллин Булат, and Дмитрий Евгеньевич Намиот. "Методы атак и защиты в агентных системах на основе больших языковых моделей." International Journal of Open Information Technologies 14.5 (2026): 1-8.

Namiot, Dmitry. "On the AI Agents Audit Model." 2026 International Russian Smart Industry Conference (SmartIndustryCon). IEEE2026.

Namiot, Dmitry Evgenyevich, and Valery Alexandrovich Vasenin. "Осведомленность о фишинге–вопросы обучения." Современные информационные технологии и ИТ-образование 21.2 (2025): 221-229.

Kuzmenko, Ilya Dmitrievich, Dmitry Evgenyevich Namiot, and Valery Alexandrovich Vasenin.. "Методы обнаружения дипфейков в видеоконференциях в реальном времени." Современные информационные технологии и ИТ-образование 21.2 (2025): 204-220.