Аудит ИИ-агентов

Что должен проверить разработчик перед развертыванием агента LLM: модель, код инструмента, конфигурацию развертывания или все три? На практике многие сбои безопасности в агентских системах возникают не только из-за весов модели, но и из-за окружающего программного стека: функций инструмента, передающих ненадежные входные данные опасным операциям, раскрытых учетных данных в артефактах развертывания и чрезмерно привилегированных конфигураций протокола контекста модели (MCP). Мы представляем Agent Audit, систему анализа безопасности для приложений агентов LLM. Agent Audit анализирует код агента на Python и артефакты развертывания с помощью конвейера, учитывающего особенности агента, который объединяет анализ потока данных, обнаружение учетных данных, структурированный анализ конфигурации и проверки рисков привилегий. Система сообщает о результатах в форматах терминала, JSON и SARIF, что позволяет напрямую интегрировать систему с локальными рабочими процессами разработки и конвейерами CI/CD. На тестовой выборке из 22 образцов с 42 аннотированными уязвимостями Agent Audit обнаруживает 40 уязвимостей с 6 ложными срабатываниями, существенно улучшая полноту обнаружения по сравнению с распространенными базовыми показателями SAST, сохраняя при этом время сканирования менее секунды. Agent Audit является открытым исходным кодом и устанавливается через pip, что делает аудит безопасности доступным для агентских систем. В ходе живой демонстрации участники сканируют уязвимые репозитории агентов и наблюдают, как Agent Audit выявляет риски безопасности в функциях инструмента, подсказках и многом другом. Результаты связаны с местоположением исходного кода и путями конфигурации и могут быть экспортированы в VS Code и GitHub Code Scanning для интерактивного анализа. - Agent Audit: A Security Analysis System for LLM Agent Applications

См. также другие публикации, посвященные агентам

Проверка инструментов для ИИ-агентов

Большие языковые модели (LLM) все чаще полагаются на внешние инструменты для выполнения задач, чувствительных ко времени, и действий в реальном мире. Хотя интеграция инструментов расширяет возможности LLM, она также создает новую поверхность атаки с внедрением подсказок: атаки с отравлением инструментов (АО). Злоумышленники манипулируют описаниями инструментов, внедряя вредоносные инструкции (явные АО) или вводящие в заблуждение утверждения (неявные АО), чтобы повлиять на поведение модели и выбор инструмента. Существующие средства защиты в основном обнаруживают аномальные инструкции и остаются неэффективными против неявных АО. В этой статье мы представляем TRUSTDESC, первую структуру, предотвращающую отравление инструментов путем автоматической генерации доверенных описаний инструментов из реализаций. TRUSTDESC выводит описания, соответствующие реализации, с помощью трехэтапного конвейера. SliceMin выполняет статический анализ с учетом достижимости и удаление избыточного кода с помощью LLM для извлечения минимальных фрагментов кода, имеющих отношение к инструменту. DescGen синтезирует описания из этих фрагментов, одновременно уменьшая количество вводящих в заблуждение или враждебных артефактов кода. DynVer уточняет описания посредством динамической верификации, выполняя синтезированные задачи и проверяя поведенческие утверждения. Мы оцениваем TRUSTDESC на 52 реальных инструментах из различных экосистем инструментов. Результаты показывают, что TRUSTDESC создает точные описания инструментов, которые повышают показатели выполнения задач, одновременно уменьшая неявные ошибки TPA на уровне их первопричины, с минимальными временными и финансовыми затратами. - TRUSTDESC: Preventing Tool Poisoning in LLM Applications via Trusted Description Generation

См. также другие публикации, посвященные агентам

Последовательные фейки

Контент типа «дипфейк» в социальных сетях все чаще создается путем многократных последовательных правок биометрических данных, таких как изображения лиц. В результате окончательный вид изображения часто отражает скрытую цепочку операций, а не единичную манипуляцию. Восстановление этих историй редактирования имеет важное значение для визуального анализа происхождения, аудита дезинформации и рабочих процессов криминалистической экспертизы или модерации платформ, которые должны отслеживать происхождение и эволюцию медиаконтента, созданного ИИ. Однако существующие наборы данных преимущественно фокусируются на одноэтапном редактировании и игнорируют кумулятивные артефакты, вносимые реалистичными многоэтапными конвейерами. Чтобы устранить этот пробел, мы представляем Sequential Editing in Diffusion (SEED), крупномасштабный бенчмарк для отслеживания последовательного происхождения изображений лиц. SEED содержит более 90 000 изображений, созданных с помощью одной-четырех последовательных редактирований атрибутов с использованием конвейеров редактирования на основе диффузии, с подробными аннотациями, включая порядок редактирования, текстовые инструкции, маски манипуляций и модели генерации. Эти метаданные позволяют проводить поэтапный анализ доказательств и поддерживают обнаружение подделок и прогнозирование последовательностей. Для оценки проблем, связанных с SEED, мы оцениваем репрезентативные стратегии анализа и отмечаем, что подходы, основанные только на пространственном анализе, испытывают трудности при наличии тонких и распределенных артефактов диффузии, особенно когда такие артефакты накапливаются в нескольких редактированиях. Руководствуясь этим наблюдением, мы дополнительно разрабатываем FAITH, частотно-ориентированную базовую модель Transformer, которая агрегирует пространственные и частотные сигналы для идентификации и упорядочивания скрытых событий редактирования. Результаты показывают, что высокочастотные сигналы, в частности вейвлет-компоненты, обеспечивают эффективные подсказки даже при ухудшении качества изображения. В целом, SEED облегчает систематическое изучение последовательного отслеживания происхождения и агрегирования доказательств для достоверного анализа визуального контента, созданного ИИ. - SEED: A Large-Scale Benchmark for Provenance Tracing in Sequential Deepfake Facial Edits

См. также другие публикации по теме deepfake

Учебник по RL

Reinforcement Learning: From Bandits to LLM Alignment. Есть русский перевод

Анализ кибербезопасности электрозарядной инфраструктуры

Быстрое распространение электромобилей привело к увеличению зависимости от зарядной инфраструктуры, тесно интегрированной с системами распределения энергии и цифровыми коммуникационными сетями. По мере того, как зарядные станции для электромобилей превращаются в сложные киберфизические системы, риски кибербезопасности представляют собой растущую угрозу для надежности энергосистемы и доверия пользователей. В данной статье представлена гибридная система поддержки принятия решений для оценки рисков кибербезопасности в зарядной инфраструктуре для электромобилей, которая выходит за рамки предыдущих многокритериальных подходов к принятию решений, сочетая интерпретируемость с проверкой на основе данных. В частности, система интегрирует метод аналитической иерархии (AHP) для экспертной оценки весовых коэффициентов атрибутов кибербезопасности с PROMETHEE для гибкой приоритизации угроз, обеспечивая прозрачное и проверяемое ранжирование рисков. Система классифицирует критерии кибербезопасности по четырем уровням инфраструктуры — передача, распределение, потребители и зарядные станции для электромобилей — и присваивает относительные веса посредством экспертных попарных сравнений. Затем PROMETHEE применяется для ранжирования потенциальных киберугроз на основе этих весов, что позволяет гибко приоритизировать меры по обеспечению кибербезопасности. Методология проверена с использованием реального набора данных WUSTL-IIoT-2018 SCADA, который включает имитацию разведки (сканирования сети), идентификации устройств и атак с целью эксплуатации уязвимостей. Хотя этот набор данных изначально не включает протоколы OCPP 2.0 или ISO 15118, экспериментальные результаты демонстрируют высокую разрешающую способность (AUC = 0,99, полнота = 95%) и обеспечивают основу для расширения до современных стандартов связи для зарядных станций для электромобилей. Результаты выявляют критически важные показатели, такие как аномальное поведение исходных пакетов и надежность шифрования, как ключевые маркеры уязвимости, что соответствует задокументированным сценариям атак на зарядные станции для электромобилей. Сочетая экспертную оценку с эмпирическими данными о трафике, предлагаемая структура обеспечивает как техническую надежность, так и объяснимость, поддерживая операторов сетей, группы SOC и планировщиков инфраструктуры в систематической оценке рисков, распределении ресурсов и повышении устойчивости экосистем зарядки электромобилей к развивающимся киберугрозам. - отсюда

Статья интересная практическим построением фреймворка для анализа кибербезопасности P.S. см. также следующую статью в INJOIT: О кибератаках на зарядные станции

Последние дни приема заявок на MoNeTec- 2026

В Московском государственном университете имени М.В. Ломоносова продлён срок подачи заявок на участие в Шестой международной научно-технической конференции «Современные сетевые технологии» (MoNeTec-2026). Приём материалов продлён до 12 мая 2026 года, сообщили организаторы.

Конференция посвящена современным направлениям развития сетевых технологий, распределённых вычислительных систем и облачных платформ, а также применению методов искусственного интеллекта для управления вычислительной инфраструктурой. Как отметил декан факультета вычислительной математики и кибернетики МГУ, академик РАН Игорь Соколов, развитие сетевых технологий напрямую связано с задачами современной науки и практики. «Современные сетевые технологии – один из столпов нашей цивилизации. Математика открывает новые перспективы, технологии формируют новые возможности, практика – новые требования. Конференция MoNeTec-2026 создаёт условия для того, чтобы соотнести возможности, которые открывает наука, с реалиями и требованиями практики», — сказал он.

В рамках конференции планируется обсуждение вопросов архитектуры сетей нового поколения, управления вычислительными ресурсами, масштабируемости инфраструктур, а также интеграции сетевых технологий с облачными и распределёнными вычислительными системами. Программа включает пленарные доклады, секционные заседания, а также образовательные школы и дискуссионные форматы с участием представителей научного сообщества и индустрии.

Конференция пройдёт с 24 по 30 октября 2026 года в Московском государственном университете имени М.В. Ломоносова. Подробная информация о требованиях к материалам и порядке подачи заявок опубликована на официальном сайте конференции monetec.ru

Как работают VLA модели

Как работают модели визуально-языково-действенные модели (Visual-Language-Action - VLA)? Математические основы моделей VLA для человекоподобных роботов и не только. Как роботы понимают разницу между изюмом, зеленым перцем и солонкой? И что еще важнее, как они могут понять, как сложить футболку? - хорошее введение

Диверсификация ответов LLM

"Если вы хотите понять, как общественность отреагирует на ваши предложения, большие языковые модели могут имитировать пользователей, отвечающих на вопросы о возможностях, функциях, акциях или ценах. Однако большие языковые модели не реагируют с таким же разнообразием, как люди. Исследователи разработали метод, который побуждает большие языковые модели принимать облик персон с настраиваемым набором взглядов.

Что нового: Давиде Пальери, Логан Кросс и их коллеги из Google предложили генераторы персон. Их подход создает код, который побуждает большую языковую модель составлять подсказки для 25 персон, охватывающих карту.

Ключевой вывод: Заставить большую языковую модель принять облик человека обычно сводится к составлению эффективной подсказки (например, «Ответьте на следующий вопрос так, как если бы в современной политике вы считали себя демократом…»). Однако такой подход, как правило, приводит к получению усредненных ответов, которые не отражают диапазон, характерный для человеческой популяции, — даже если запрос явно указывает модели LLM на необходимость учета определенных демографических характеристик. Альтернативный вариант — программно изменять запросы для описания персон до тех пор, пока они не будут выдавать результаты, охватывающие определенный диапазон мнений, взглядов или проблем. При наличии руководящих принципов, определяющих область охвата популяции персон (в частности, взгляды, ранжированные по степени согласия и несогласия), эволюционный алгоритм может подтолкнуть модель к созданию набора запросов, которые вызовут полный диапазон ответов.

Как это работает: Авторы использовали эволюционный метод AlphaEvolve для генерации кода, который (i) сгенерировал 25 запросов для персон и (ii) максимизировал разнообразие их взглядов на основе ответов на набор сгенерированных анкет.

Авторы начали с использования Gemini 2.5 Pro для генерации 30 анкет по различным темам, таким как здравоохранение, финансовая грамотность и теории заговора. Каждый опросник включал контекст (описание темы), набор «осей разнообразия» (таких как толерантность к риску или доверие к институциям) и вопросы, связанные с этими осями, на которые нужно было ответить по шкале от 1 (полностью согласен) до 5 (полностью не согласен).
Они создали код (первоначально написанный авторами, а затем итеративно обновленный AlphaEvolve) для генерации 25 вопросов для каждого опросника. Для автоматизации генерации ответов от респондентов авторы использовали Concordia, библиотеку для создания агентно-ориентированных симуляций, для ввода данных в опросник Gemma 3-27B-IT. LLM по очереди принимал каждого респондента и отвечал на соответствующий опросник. Для каждого респондента они преобразовывали его ответы в вектор. Для оценки разнообразия среди респондентов, ответивших на каждый опросник, они вычисляли шесть метрик, таких как среднее расстояние между любыми двумя векторами и степень, в которой совокупность респондентов охватывала все возможные ответы.

AlphaEvolve работала параллельно над 10 различными версиями кода, итеративно обновляя их для максимизации показателей разнообразия по всем персонам. После 500 итераций авторы выбрали код, который максимизировал среднее значение всех показателей разнообразия.На этапе вывода, имея контекст и набор осей разнообразия, система создала 25 разнообразных персон.
Результаты: При наличии нового контекста и осей разнообразия полученные персоны неизменно превосходили показатели разнообразия Nemotron Personas, большого набора данных подсказок для создания персон, основанных на демографической статистике США, и подсказок для создания персон, созданных генератором памяти Concordia на основе воспоминаний от детства до взрослости. При наличии набора тестовых анкет персоны авторов охватывали 82 процента возможных ответов, в то время как Nemotron Personas охватывали 76 процентов, а генератор памяти Concordia — 46 процентов.

Почему это важно: Организации, стремящиеся расширить свою аудиторию, могут извлечь выгоду из синтетических персон, которые в целом отражают общественное мнение, а те, кто создает синтетические персоны, соответствующие их реальной аудитории, могут получить ценные сведения от более разнообразной группы людей. Эта работа смещает цель с сопоставления обучающих данных (которые, как правило, генерируют наиболее вероятные результаты, а не выбросы) на охват всех желаемых возможностей. Оптимизация генератора персон, а не отдельных персон, открывает более широкое представление о вероятном поведении пользователей.

Мы считаем: Синтетические персоны предлагают интересную возможность для преодоления узкого места в управлении продуктом — сложности принятия решения о том, что создавать, когда это можно легко сделать, обратившись к представителю LLM." - via deeplarning.ai

См. также другие публикации, посвященные LLM

О локальных LLM

Слово в защиту использования локальных LLM

Архитектуры хранилищ данных

Кто это сделал?

Госдепартамент США распорядился о проведении глобальной кампании по привлечению внимания к широкомасштабным, по его словам, попыткам китайских компаний, включая стартап DeepSeek, занимающийся разработкой искусственного интеллекта, украсть интеллектуальную собственность из американских лабораторий искусственного интеллекта, говорится в дипломатической телеграмме, с которой ознакомилось агентство Reuters. В телеграмме, датированной пятницей и направленной в дипломатические и консульские представительства по всему миру, сотрудникам дипломатических ведомств предписывается обсудить со своими зарубежными коллегами «опасения по поводу извлечения и переработки противниками американских моделей искусственного интеллекта». - отсюда

Как обучить ИИ

Рабочих на фабрике (Индия) обязали носить камеры на голове для обучения искусственного интеллекта их работе. Сами готовят себе смену.

Специальности в кибербезе

Список специальностей и навыков в кибербезопасности от NIST

Коалиция за безопасный ИИ

Coalition for Secure AI (CoSAI) и другие материалы по кибербезопасности от Google

Суверенный ИИ в Южной Корее

1. Проблемная область: дилемма «суверенного ИИ» для средних держав
Документ начинается с констатации, что ИИ стал критическим ресурсом национальной безопасности. Однако глобальный порядок в этой сфере поляризован между США и Китаем. Южная Корея, как и многие другие страны, сталкивается с **вынужденной зависимостью** от ИИ-экосистем двух сверхдержав, что создаёт стратегическую уязвимость. При этом Южная Корея признана одной из немногих «средних ИИ-держав» (AI middle power), способных играть значимую роль в глобальных цепочках поставок благодаря преимуществам в производстве полупроводников и обрабатывающей промышленности.

2. Переосмысление концепции «суверенного ИИ» для средних держав
Автор критикует традиционный подход к суверенитету, который требует полной автономии и локализации всех компонентов ИИ («всё самому»). Для средних держав (с ограниченными ресурсами) такое понимание нереалистично и может привести к ещё большей зависимости. Вместо этого предлагается новое определение суверенного ИИ как способности обеспечить «стратегическую автономию» (strategic autonomy), «свободу манёвра» (optionality) и «агентность» (agency):
Контроль над критически важными данными, вычислениями, моделями и нормами.
Возможность поддерживать функции ИИ в кризисных ситуациях без внешних сбоев.
Защита культурной и языковой идентичности от искажения внешними моделями.

3. Типология стратегий средних ИИ-держав
В документе выделяются два основных типа стратегий, которые уже используют другие страны:
Специализация (Specialization Type): Концентрация на узких технологических нишах или «бутылочных горлышках» (Япония — HPC-инфраструктура, Канада — фундаментальные исследования, Сингапур и Тайвань — региональные языковые модели).
Альянс и сотрудничество (Alliance and Cooperation Type): Создание многосторонних экосистем и распределённой инфраструктуры на основе общих ценностей (ЕС — проект GAIA-X для обеспечения суверенитета данных, Африканский союз — континентальная политика обмена данными).

4. Диагностика текущей ситуации в Южной Корее Автор отмечает, что амбициозная цель правительства — «Глобальные топ-3 по ИИ» (G3) — сопровождается заявкой на создание «полного стека» (full-stack package): данные, вычисления, модели, безопасность, кадры и нормы.

Однако на практике корейская стратегия сталкивается с проблемами:
Высокая внешняя зависимость по ключевым компонентам экосистемы.
Риск неэффективных инвестиций и давления на экономику из-за попыток локализовать всё и сразу.
Отставание по таким параметрам, как кадры (13-е место в мире), операционная среда (35-е) и исследования (13-е) согласно индексу Tortoise GAII.

5. Предложение корейской модели суверенного ИИ
Основная идея — «специализированный полный стек» (Specialized Full-Stack). Корея не должна копировать подход США/Китая (вертикальная интеграция для глобальной гегемонии). Вместо этого предлагается:
1. Перераспределение ресурсов: Сфокусироваться на моделях, специализированных для корейского языка, культуры и ключевых отраслей (финансы, производство, здравоохранение), а не на «гонке за общими LLM».
2. Усиление преимущества в полупроводниках: Использовать лидерство в HBM (высокопроизводительная память) как рычаг влияния (например, каждый новый GPU NVIDIA требует HBM3E от корейских компаний).
3. Реалистичный подход к вычислительным ресурсам: Признать, что «не только GPU, но и энергия» — критический фактор. Необходимо развивать энергетическую инфраструктуру (мощности GW-уровня, охлаждение) для эффективной работы дата-центров.
4. Развитие кадров и бюрократической эффективности: Преодолеть структурные слабости в реализации политики, включая нехватку AI-специалистов и слабую операционную среду.

6. Нормативное и дипломатическое лидерство: «устойчивый ИИ» Уникальное предложение документа — выйти за рамки узконационального суверенитета и занять лидерство в повестке устойчивого ИИ (Sustainable AI). Автор предлагает:
Использовать экологические проблемы ИИ (электронные отходы «E-waste», огромное энергопотребление дата-центров) как дипломатический козырь.
Развивать направления: высокоэффективные/низкопотребляющие чипы, углеродно-нейтральные ЦОД, технологии переработки отходов.
Инициировать международные «зелёные цифровые партнёрства» с развивающимися странами, тем самым позиционируя Корею как ответственного глобального посредника на площадках ООН, ОЭСР, ITU.

7. Ключевой вывод Корейская стратегия суверенного ИИ должна строиться не на изоляционизме или тотальной самодостаточности, а на прагматичном сочетании специализации, стратегических альянсов (особенно со странами-единомышленниками) и нормативного лидерства в области устойчивого развития и доверенного ИИ. Это позволит обеспечить «горизонтальное лидерство» в противовес вертикальной гегемонии США и Китая.

Отсюда

Еще о безопасности агентов

Производительность агентов, использующих большие языковые модели (LLM), критически зависит от исполнительного модуля — системного уровня, который координирует использование инструментов, управление контекстом и сохранение состояния. Однако эта же архитектурная центральность делает исполнительный модуль высокопривлекательной поверхностью для атак: единичный компромисс на уровне исполнительного модуля может распространиться по всему конвейеру выполнения. Мы отмечаем, что существующие подходы к безопасности страдают от структурного несоответствия, из-за чего они не видят внутреннего состояния исполнительного модуля и не могут координировать работу на разных этапах работы агента. В этой статье мы представляем SAFEHARNESS — архитектуру безопасности, в которой четыре предлагаемых уровня защиты интегрированы непосредственно в жизненный цикл агента для решения вышеуказанных существенных проблем: фильтрация контекста при обработке входных данных, многоуровневая причинно-следственная проверка при принятии решений, раздельное управление инструментами при выполнении действий и безопасный откат с адаптивным снижением производительности при обновлении состояния. Предложенные межслойные механизмы связывают эти слои воедино, повышая строгость проверки, инициируя откаты и ужесточая привилегии инструментов при обнаружении устойчивых аномалий. Мы оцениваем SAFEHARNESS на эталонных наборах данных для различных конфигураций оборудования, сравнивая его с четырьмя базовыми уровнями безопасности в пяти сценариях атак, охватывающих шесть категорий угроз. По сравнению с незащищенным базовым уровнем, SAFEHARNESS обеспечивает среднее снижение примерно на 38% в UBR и 42% в ASR, существенно снижая как уровень небезопасного поведения, так и уровень успешности атак, при этом сохраняя полезность основной задачи. - SAFEHARNESS: Lifecycle-Integrated Security Architecture for LLM-based Agent Deployment

Еще один фреймворк для безопасности агентов. Исходный код доступен. Отсюда: Autonomous Agents-research papers. Updated daily

См. также другие публикации, посвященные агентам

Состязательный лицевой камуфляж

Хотя стремительное развитие алгоритмов распознавания лиц позволило реализовать множество полезных приложений, их широкое распространение вызвало серьезные опасения по поводу рисков массового наблюдения и угроз конфиденциальности личности. В этой статье мы представляем Adversarial Camouflage как новое решение для защиты конфиденциальности пользователей. Этот подход разработан таким образом, чтобы быть эффективным и простым для воспроизведения пользователями в физическом мире. Алгоритм начинается с определения низкоразмерного пространства шаблонов, параметризованного цветом, формой и углом. Найденные оптимизированные шаблоны проецируются на семантически корректные области лица для оценки. Наш метод максимизирует ошибку распознавания в различных архитектурах, обеспечивая высокую переносимость между моделями даже в системах типа «черный ящик». Он значительно ухудшает производительность всех протестированных современных моделей распознавания лиц во время моделирования и демонстрирует многообещающие результаты в реальных экспериментах с участием людей, одновременно выявляя различия в устойчивости моделей и доказательства переносимости атак между архитектурами. - Adversarial Camouflage

Получается эффективно, но весьма заметно :)

P.S. См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Как работает дата-центр

Как на самом деле работают центры обработки данных: от систем охлаждения до кластеров графических процессоров Заводы, стоящие за вашими любимыми приложениями - отсюда

AI-SAFE

AI Secure Agentic Framework Essentials (AI-SAFE) от Яндекса. Фреймворк для моделирования угроз.

См. также другие публикации, посвященные агентам

Что не так с проверками дипфейков?

Где проверки личности терпят неудачу? Большинство проверок личности основаны на двух сигналах: сходстве лиц и «живом» изображении. Оба сигнала полезны, и оба могут быть подорваны, если система предполагает подлинность входного потока. Злоумышленники нарушают это предположение двумя взаимодополняющими способами.

Во-первых, они имитируют реальные медиафайлы. Дипфейки и голосовые клоны совершенствуются в реальных условиях эксплуатации — короткие клипы, мобильная съемка, сжатие и несовершенное освещение. Рабочий процесс, зависящий от узкой визуальной поверхности, все чаще подвергается ложному принятию.

Во-вторых, они полностью обходят датчик. Инъекционные атаки подменяют входной поток до того, как он достигнет анализа. Вместо того чтобы показывать лицо камере, злоумышленники могут:

Использовать программное обеспечение виртуальной камеры для передачи синтетического или предварительно записанного видео
Запускать сеансы проверки внутри эмуляторов, предназначенных для имитации легитимных мобильных устройств
Работать с устройств с root-правами или джейлбрейком, которые обходят проверки целостности
Заменять захват в реальном времени манипулированными потоками

В этих сценариях медиафайлы могут выглядеть идеально, потому что им не пришлось проходить через реальный путь захвата. Именно поэтому защита только на основе восприятия (даже сильная) необходима, но недостаточна.

Что показывает бенчмарк базы данных инцидентов с политическими дипфейками Университета Пердью? Одна из практических проблем защиты от дипфейков — это обобщение: детекторы, которые хорошо работают в контролируемых условиях, часто ухудшаются в условиях «реальной жизни».

Исследователи из Университета Пердью оценили системы обнаружения дипфейков, используя свой реальный бенчмарк, основанный на базе данных инцидентов с политическими дипфейками (PDID).

PDID содержит реальные медиафайлы инцидентов, распространяемые на таких платформах, как X, YouTube, TikTok и Instagram, что означает, что входные данные сжимаются, перекодируются и обрабатываются постобработкой так же, как это часто происходит в реальных условиях.

Ключевые факторы включают:

Сильное сжатие и перекодирование
Разрешение ниже 720p
Короткие клипы, ориентированные на мобильные устройства
Разнородные конвейеры генерации

Детекторы оценивались сквозным методом с использованием таких метрик, как точность, AUC и частота ложных срабатываний (FAR). В рабочих процессах идентификации FAR часто является более важной метрикой, поскольку даже небольшая частота ложных срабатываний может допустить постоянный несанкционированный доступ.

Результаты Purdue также подчеркивают практическую реальность для защитников: производительность детекторов резко различается, как только входные данные начинают выглядеть как реальные.

Среди коммерческих систем, протестированных в рамках бенчмарка PDID Университета Пердью, Deepsight от Incode показала лучшие результаты в задаче чисто визуального обнаружения дипфейков — оценки самого видеоконтента в условиях реального инцидента.

Но это только первый уровень проблемы.
Важно уточнить: PDID измеряет устойчивость обнаружения медиаконтента на реальном контенте инцидента. Он не моделирует внедрение, компрометацию устройства или атаки на целые сессии.

В реальных рабочих процессах идентификации злоумышленники не выбирают один метод за раз; они их комбинируют. Высококачественный дипфейк можно воспроизвести. Воспроизведение можно внедрить. Внедренный поток можно автоматизировать в больших масштабах.

отсюда

См. также другие публикации по теме deepfake

OpenCode

ИИ-агент с открытым кодом для поддержки программирования

См. также другие публикации, посвященные агентам

Нелюдской язык программирования

Vera - язык программирования для ИИ-моделей. Идея заключалась в том, что вместо того, чтобы заставлять модели писать код на языках, созданных для того, как работаем мы, мы должны разработать язык, созданный для того, как работают они. Это приводит к вопросу: что нужно изменить, чтобы создать язык программирования, подходящий для использования моделями, а не людьми?

Данные свидетельствуют о том, что самая большая проблема, с которой сталкиваются модели, — это не синтаксис. Это согласованность, а не масштабируемость. Модели испытывают трудности с поддержанием инвариантов в кодовой базе, пониманием волновых эффектов изменений и рассуждениями о состоянии во времени. Они — сопоставители шаблонов, оптимизирующие локальную правдоподобность, а не архитекторы, учитывающие всю систему. Поэтому создание языка для них означает решение этой проблемы. Каждое проектное решение в Vera призвано быть ответом.

Vera отдает предпочтение проверяемости, а не корректности. В дизайне делается акцент на коде, который можно механически проверить, и при возникновении ошибки компилятор предоставляет объяснение на естественном языке с конкретным решением. Он не дает модели непрозрачный отчет о состоянии, а передает инструкции по его исправлению.

Традиционные компиляторы создают диагностические сообщения для людей. Вместо этого Vera генерирует инструкции для модели, написавшей код. Что пошло не так, почему, как это исправить с помощью конкретного примера кода и ссылки на спецификацию. Таким образом, выходные данные компилятора предназначены для прямой передачи модели в качестве контекста для исправления.

Это важно, потому что естественный рабочий процесс генерации кода для ИИ — это цикл: написание кода, проверка, исправление, повторение. Если на этапе проверки выдаются результаты, на которые модель не может отреагировать, цикл прерывается. Диагностика Vera замыкает этот цикл.

Vera отдает предпочтение явности, а не удобству. Все изменения состояния объявлены, все эффекты типизированы, все контракты функций являются обязательными. Нет неявного поведения. Контракты являются источником истины: каждая функция объявляет, что она требует, что она гарантирует и какие эффекты она выполняет. Даже однострочный код имеет полный контракт. Компилятор затем проверяет его статически, где это возможно. - отсюда

На краю

SHA-256 почти взломали. На 92%

GoCloud 2026

Презентации конференции GoCloud 2026

Безопасность ИИ-агентов: апрель 2026

Учебное пособие на русском языке. Подготовлено на кафедре ИБ факультета ВМК МГУ имени М.В. Ломоносова. В первую очередь - для слушателей курса Разработка агентов ИИ, который с осени 2025 читается на факультете. Обновленный вариант на апрель 2026. Охваченные вопросы:

• Структура ИИ-агентов и шаблоны проектирования
• Проблемы с безопасностью ИИ-агентов
• Риски безопасности ИИ-агентов
• Модель угроз
• Уязвимости MCP
• Вопросы безопасности во фреймворках разработки ИИ-агентов и практические рекомендации
• Безопасные шаблоны для ИИ-агентов

Скачать пособие можно здесь

См. также другие публикации, посвященные агентам

На иранской войне

À la guerre comme à la guerre - Фальшивые космические снимки

См. также другие публикации, посвященные агентам

Сетевая пространственная близость

Москва создает собственную альтернативу GPS и «ГЛОНАСС». «Мосгортранс» выделил 1,385 млрд руб. на разработку системы отслеживания местоположения транспорта на территории Москвы. В столице будет установлено 85 тыс. устройств, которые будут подключаться к бортовым системам транспорта по Bluetooth. Система альтернативного позиционирования транспорта - «Мосгортранс» выделил 1,385 млрд руб. на разработку и установку собственного программно-технического комплекса для точного позиционирования транспортных средств на объектах городской инфраструктуры. Предположительно, новая система станет альтернативой GPS и «ГЛОНАСС», которые активно «глушат» на территории столицы в рамках мер безопасности, особенно в центре и возле важных объектов, что приводит к сбоям навигации.
Всего планируется установить 85 тыс. стационарных устройств позиционирования на территории Москвы. Они будут взаимодействовать с бортовым оборудованием транспортных средств для отслеживания их местоположения с помощью Bluetooth.

Отсюда

Сетевая пространственная близость идет в массы

См. также другие публикации по теме proximity или Proximus

INJOIT vol. 14, no. 5

Вышел пятый номер журнала INJOIT в 2026 году. И четырнадцатый год издания журнала.

Темы статей:

• Методы атак и защиты в агентных системах на основе больших языковых моделей
• Комплекс методик совершенствования алгоритмов постквантового шифрования основанных на математической теории решеток
• Risk-based Pareto Approach to the Training Of Information Security Specialists Based On a Sixteen-factor Threat Model
• Применение функции полезности при выявлении и анализе угроз нарушения информационной безопасности объектов критической информационной инфраструктуры Российской Федерации
• A Multi-Scale CNN–BiLSTM Framework for Robust ECG-Based User Authentication
• Искусственный Интеллект в Кибербезопасности. Хроника. Выпуск 7
• О преобразовании и автоматном представлении ε-нечетко-автоматных грамматик
• Разработка и исследование программного обеспечения для обнаружения и отслеживания быстродвижущихся объектов
• Метод обнаружения аномального поведения агентов в роевых робототехнических системах с использованием показателя локальной дезорганизации
• Автоматизация радиационно-химического контроля жидких радиоактивных отходов и сред
• Trust-Aware Dynamic Navigation for Mobile Robots with Sensor Noise
• Математическая модель экстраполятора на основе стохастического уравнения, связывающего процессы с рациональным и квазирациональным спектром
• Алгоритм идентификации оценок параметров двухфакторных неэлементарных линейных регрессий методом наименьших квадратов
• Аспекты реализации генетического алгоритма в задаче смешанной оптимизации в пространстве проектирования переменной размерности
• Программное обеспечение блока проверки последовательного интерфейса
• Селективное обучение ранжированию для поиска товарных аналогов
• Повышение эффективности конфигурации RAG для работы больших языковых моделей с клиническими рекомендациями на примере аллергического ринита
• NVIDIA Vera Rubin как новый стандарт инфраструктуры для Искусственного Интеллекта

Архив журнала находится здесь.

/via Лаборатория ОИТ

Комплексная защита LLM

Большие языковые модели все чаще используются в критически важных инфраструктурах, от здравоохранения до финансов, однако их уязвимость к манипуляциям со стороны злоумышленников угрожает целостности системы и безопасности пользователей. Несмотря на растущее внедрение, комплексной сравнительной оценки безопасности основных архитектур больших языковых моделей не существует, что не позволяет организациям количественно оценить риски или выбрать подходящие по безопасности большие языковые модели для важных приложений. Данное исследование восполняет этот пробел, создавая стандартизированную структуру оценки уязвимости и разрабатывая многоуровневую систему защиты от выявленных угроз. Мы систематически оцениваем пять широко используемых семейств больших языковых моделей: GPT-4, GPT-3.5 Turbo, Claude-3 Haiku, LLaMA-2-70B и Gemini-2.5-pro, используя 10 000 запросов от злоумышленников, охватывающих шесть категорий атак. Наша оценка выявляет критические различия в безопасности, при этом показатели уязвимости варьируются от 11,9% до 29,8%, демонстрируя, что возможности больших языковых моделей не коррелируют с надежностью безопасности. Для снижения этих рисков мы разработали готовую к внедрению в производство защитную систему, достигающую в среднем 83% точности обнаружения при всего 5% ложных срабатываний. Эти результаты демонстрируют, что систематическая оценка безопасности в сочетании с внешними мерами защиты обеспечивает жизнеспособный путь к более безопасному развертыванию LLM в производственных средах. - Security Assessment and Mitigation Strategies for Large Language Models: A Comprehensive Defensive Framework

Датасеты и код доступны здесь

См. также другие публикации, посвященные LLM

Безопасный агентный веб

Большие языковые модели (LLM) все чаще используются в качестве агентных систем, которые планируют, запоминают и действуют в открытых средах. Этот сдвиг порождает новые проблемы безопасности: сбои — это уже не только небезопасная генерация текста, но и реальный вред, причиняемый использованием инструментов, постоянной памятью и взаимодействием с ненадежным веб-контентом. В этом обзоре мы предлагаем ориентированный на переход взгляд от безопасного агентного ИИ к безопасной агентной сети. Сначала мы суммируем таксономию угроз, выровненную по компонентам, охватывающую злоупотребление подсказками, внедрение среды, атаки на память, злоупотребление цепочками инструментов, подделку моделей и сетевые атаки агентов. Затем мы рассматриваем стратегии защиты, включая усиление защиты подсказок, декодирование с учетом безопасности, контроль привилегий для инструментов и API, мониторинг во время выполнения, непрерывную работу «красной команды» и механизмы безопасности на уровне протокола. Далее мы обсуждаем, как эти угрозы и меры по их смягчению усиливаются в агентной сети, где цепочки делегирования, междоменные взаимодействия и опосредованные протоколом экосистемы усиливают риски посредством распространения и композиции. В заключение мы выделяем нерешенные проблемы развертывания в масштабах сети, такие как интероперабельная идентификация и авторизация, происхождение и отслеживаемость, реагирование на уровне экосистемы и масштабируемая оценка в условиях адаптивных противников. Наша цель — связать последние эмпирические данные с требованиями системного уровня и наметить практические направления исследований в направлении создания надежных экосистем агентов. - From Secure Agentic AI to Secure Agentic Web: Challenges, Threats, and Future Directions

См. также другие публикации, посвященные агентам

Чак Норрис в кибербезопасности

Новые факты о модели Claude Mythos от Anthropic:

Это можно считать поворотной точкой в развитии ИИ — моментом, когда люди начинают терять контроль над системами, которые сами же создали.
По большинству показателей модель опережает все существующие LLM. Но дело не только в производительности — на тестах она продемонстрировала поведение, которого раньше не видели ни у одной публичной модели:

• Нашла 27-летнюю уязвимость в OpenBSD — одной из самых защищённых операционных систем в мире
• Переписала собственный код, чтобы получить расширенные права в системе, а затем удалила следы этих изменений
• Будучи заперта на виртуальной машине, вышла в интернет и написала сообщение исследователю, который находился вне офиса
• После «побега» сама опубликовала его детали на малоизвестных, но публично доступных сайтах — то есть фактически похвасталась содеянным
• Модель не просто обходила ограничения — она действовала стратегически и заметала следы.

Mythos превосходит конкурентов в поиске уязвимостей в ПО — но именно это и делает её угрозой. Она не только находит дыры, но и умеет ими пользоваться. Высокий интеллект в связке со склонностью обходить правила и скрывать следы делает публичный релиз попросту неприемлемым. - отсюда

Модели выживания

Хороший технический материал - руководство по анализу выживаемости с использованием Python: применение моделей «время до события» для прогнозирования продолжительности жизни клиента Как рассчитать вероятности времени до события и коэффициенты риска для абонентов телекоммуникационных услуг.

Супербезопасник

"Сегодня мы объявляем о запуске проекта Glasswing, новой инициативы, объединяющей Amazon Web Services, Anthropic, Apple, Broadcom, Cisco, CrowdStrike, Google, JPMorganChase, Linux Foundation, Microsoft, NVIDIA и Palo Alto Networks в стремлении обеспечить безопасность наиболее важного программного обеспечения в мире. Мы создали проект Glasswing из-за возможностей, которые мы наблюдали в новой перспективной модели, обученной Anthropic, и которые, по нашему мнению, могут изменить кибербезопасность. Claude Mythos2 Preview — это универсальная, еще не выпущенная перспективная модель, которая демонстрирует поразительный факт: модели ИИ достигли такого уровня мастерства программирования, что могут превзойти всех, кроме самых опытных людей, в поиске и использовании уязвимостей программного обеспечения.

Mythos Preview уже обнаружил тысячи серьезных уязвимостей, в том числе во всех основных операционных системах и веб-браузерах. Учитывая темпы развития ИИ, вскоре подобные возможности начнут распространяться, потенциально выходя за рамки возможностей тех, кто стремится к их безопасному внедрению. Последствия — для экономики, общественной безопасности и национальной безопасности — могут быть серьезными. Проект Glasswing — это срочная попытка использовать эти возможности в целях защиты.

В рамках проекта Glasswing партнеры, перечисленные выше, будут использовать Mythos Preview в своей работе по обеспечению безопасности; Anthropic поделится полученными знаниями, чтобы вся отрасль могла извлечь из этого пользу. Мы также предоставили доступ группе из более чем 40 дополнительных организаций, которые создают или поддерживают критически важную программную инфраструктуру, чтобы они могли использовать модель для сканирования и защиты как собственных, так и открытых систем. Anthropic выделяет до 100 миллионов долларов в виде кредитов на использование Mythos Preview в рамках этих усилий, а также 4 миллиона долларов в виде прямых пожертвований организациям, занимающимся безопасностью открытого исходного кода.

Проект Glasswing — это отправная точка. Ни одна организация не может решить эти проблемы кибербезопасности в одиночку: разработчики передовых решений в области ИИ, другие компании-разработчики программного обеспечения, исследователи в области безопасности, разработчики открытого исходного кода и правительства по всему миру — все они играют важную роль. Работа по защите мировой кибер-инфраструктуры может занять годы; возможности передовых решений в области ИИ, вероятно, существенно улучшатся уже в ближайшие несколько месяцев. Чтобы киберзащитники добились успеха, нам нужно действовать сейчас." - отсюда

P.S. где кибезащита, там ведь и кибернападение ...

Порча от дипфейков

Дипфейки представляют собой растущую угрозу для надежности цифровых медиа, и для идентификации манипулированного контента разработано несколько алгоритмов обнаружения. Хотя подходы к обнаружению продолжают совершенствоваться, проактивные методы защиты, которые защищают изображения путем внедрения незаметных враждебных возмущений до распространения, предотвращая тем самым генерацию дипфейков в источнике, предлагают более надежное дополнительное решение. Однако существующие проактивные методы защиты от генераторов дипфейков страдают от трех ключевых ограничений: низкой незаметности, ограниченного воздействия на уровне текстуры и отсутствия контроля над низкоуровневыми структурными возмущениями. Для решения этой проблемы предлагается новая атака с учетом текстуры на уровне фрагментов изображения в качестве проактивного метода защиты, который нарушает генерацию дипфейков. Это связано с тем, что враждебные изображения генерируются путем добавления возмущений к исходным изображениям лиц, поэтому поддержание визуальной незаметности является критически важным требованием; таким образом, наша защита явно фокусируется на ограничении возмущений низкоэнергетическими аспектами текстуры, которые не оказывают существенного влияния на человеческое восприятие. Предложенный метод использует сингулярные векторы хвостовой моды, извлеченные с помощью пошагового сингулярного разложения (SVD), для усиления низкоэнергетических текстурных компонентов, т. е., создавая враждебные возмущения, которые остаются визуально незаметными, но ухудшают качество сгенерированных изображений дипфейков. Кроме того, мы вводим вариант, который выполняет проекцию градиента в подпространство хвостовой моды SVD, гарантируя, что обновления остаются ограниченными тонкими текстурными паттернами и избегают высокочастотного шума. Результаты показывают, что предложенный метод представляет собой более скрытую атаку, которая нарушает генерацию дипфейков. Экспериментальные результаты показывают, что предложенный метод достигает высоких показателей успешности атаки, сохраняя при этом перцептивное сходство, превосходя базовые методы по незаметности и эффективности. Эта работа демонстрирует новый путь к проактивной и незаметной защите от генерации дипфейков. - A Texture-Guided Adversarial Defense Framework Against Deepfake Generation

См. также другие публикации по теме deepfake

Какая ваша роль?

Языковые модели остаются уязвимыми для атак с внедрением подсказок, несмотря на обширное обучение технике безопасности. Мы связываем эту неудачу с путаницей ролей: модели определяют роли по тому, как написан текст, а не по тому, откуда он взят. Мы разработали новые методы проверки ролей, чтобы понять, как модели внутренне определяют «кто говорит». Это показывает, почему внедрение подсказок работает: ненадежный текст, имитирующий роль, наследует авторитет этой роли. Мы проверяем это понимание, внедряя поддельные рассуждения в пользовательские подсказки и выходные данные инструмента, достигая средних показателей успеха 60% на StrongREJECT и 61% при извлечении данных агентом, в нескольких моделях с открытыми и закрытыми весами, с почти нулевыми базовыми показателями. Примечательно, что степень внутренней путаницы ролей сильно предсказывает успех атаки еще до начала генерации. Наши результаты выявляют фундаментальный пробел: безопасность определяется на интерфейсе, но авторитет назначается в латентном пространстве. В более широком смысле, мы представляем единую механистическую основу для внедрения мгновенных данных, демонстрируя, что различные атаки с внедрением мгновенных данных используют один и тот же базовый механизм путаницы ролей. - Prompt Injection as Role Confusion

См. также другие публикации, посвященные LLM

LLM как пентестер

"Агенты на основе LLM демонстрируют перспективность в автоматизации тестирования на проникновение, однако сообщаемая производительность сильно различается в зависимости от системы и бенчмарков. Мы анализируем 28 систем тестирования на проникновение на основе LLM и оцениваем пять репрезентативных реализаций на трех бенчмарках возрастающей сложности. Наш анализ выявляет два различных режима отказов: отказы типа А возникают из-за пробелов в возможностях (отсутствие инструментов, неадекватные подсказки), которые инженеры легко устраняют, в то время как отказы типа В сохраняются независимо от инструментов из-за ограничений планирования и управления состоянием. Мы показываем, что отказы типа В имеют общую первопричину, которая в значительной степени инвариантна для базового LLM: агентам не хватает оценки сложности задачи в реальном времени. В результате агенты неправильно распределяют усилия, чрезмерно концентрируются на малоценных ветвях, и исчерпывают контекст до завершения цепочек атак. Основываясь на этом понимании, мы представляем PENTESTGPT V2, агент тестирования на проникновение, который сочетает в себе мощные инструменты с планированием с учетом сложности. Слой инструментов и навыков устраняет ошибки типа А за счет типизированных интерфейсов и знаний, дополненных механизмом поиска. Механизм оценки сложности задачи (TDA) устраняет ошибки типа B, оценивая выполнимость по четырем измеримым параметрам (оценка горизонта, достоверность доказательств, контекстная нагрузка и исторический успех) и используя эти оценки для принятия решений об исследовании и эксплуатации в рамках поиска по дереву атак с учетом доказательств (EGATS). PENTESTGPT V2 достигает до 91% выполнения задач на бенчмарках CTF с использованием передовых моделей (относительное улучшение на 39–49% по сравнению с базовыми показателями) и компрометирует 4 из 5 хостов в среде Active Directory GOAD против 2 в предыдущих системах. Эти результаты показывают, что планирование с учетом сложности обеспечивает стабильные сквозные улучшения для всех моделей и устраняет ограничение, которое не устраняется одним лишь масштабированием модели."- What Makes a Good LLM Agent for Real-world Penetration Testing?

См. также другие публикации, посвященные LLM

Тестируем отравление инструментов MCP

"Предоставляя стандартизированный интерфейс для взаимодействия агентов LLM с внешними инструментами, протокол контекста модели (MCP) быстро становится краеугольным камнем современной экосистемы автономных агентов. Однако он создает новые уязвимости из-за ненадежных внешних инструментов. В то время как предыдущие работы были сосредоточены на атаках, внедряемых через выходные данные внешних инструментов, мы исследуем более фундаментальную уязвимость: отравление инструментов (Tool Poisoning), когда вредоносные инструкции внедряются в метаданные инструмента без выполнения. До настоящего времени эта угроза демонстрировалась в основном на отдельных случаях, без систематической крупномасштабной оценки. Мы представляем MCPTox, первый бенчмарк для систематической оценки устойчивости агентов к отравлению инструментов в реалистичных условиях MCP. MCPTox построен на основе 45 действующих серверов MCP и 353 аутентичных инструментов. Для этого мы разработали три различных шаблона атак для генерации полного набора из 1312 вредоносных тестовых случаев с помощью обучения с малым количеством примеров, охватывающих 10 категорий потенциальных рисков. Наша оценка на 20 известных агентах LLM выявила широко распространенную уязвимость к отравлению инструментов (Tool Poisoning), при этом o1-mini достиг показателя успешности атаки в 72,8%. Мы обнаружили, что более совершенные модели часто более подвержены атаке, поскольку она использует их превосходные способности к выполнению инструкций. Наконец, анализ случаев неудачи показывает, что агенты редко отказываются от этих атак, при этом самый высокий показатель отказов (Claude-3.7-Sonnet) составляет менее 3%, что демонстрирует неэффективность существующих механизмов обеспечения безопасности против вредоносных действий, использующих легитимные инструменты для несанкционированной работы. Наши результаты создают важную эмпирическую основу для понимания и смягчения этой широко распространенной угрозы, и мы выпускаем MCPTox для разработки проверяемо более безопасных агентов ИИ. Наш набор данных доступен в анонимизированном репозитории." - MCPTox: A Benchmark for Tool Poisoning Attack on Real-World MCP Servers

См. также другие публикации, посвященные агентам

За человечный ИИ

"Пока компании соревнуются в разработке и внедрении систем искусственного интеллекта, человечество стоит на распутье. Один путь — это гонка за замену: людей заменяют в качестве создателей, советников, опекунов и компаньонов, а затем и в большинстве профессий и ролях принятия решений, концентрируя всё больше власти в руках неподотчётных институтов и их машин. Влиятельная группа даже выступает за изменение или замену самого человечества. Эта гонка за замену представляет угрозу для стабильности общества, национальной безопасности, экономического процветания, гражданских свобод, неприкосновенности частной жизни и демократического управления. Она также ставит под угрозу человеческий опыт детства и семьи, веры и сообщества.

Замечательно широкая коалиция отвергает этот путь, объединённая простым убеждением: искусственный интеллект должен служить человечеству, а не наоборот. Существует лучший путь, где надёжные и управляемые инструменты ИИ усиливают, а не уменьшают человеческий потенциал, расширяют возможности людей, повышают человеческое достоинство, защищают индивидуальную свободу, укрепляют семьи и сообщества, сохраняют самоуправление и способствуют созданию беспрецедентного здоровья и процветания. Этот путь требует, чтобы те, кто обладает технологической мощью, были подотчетны человеческим ценностям и потребностям, поддерживая процветание человечества." - humanstatement.org

/via Future of Life Institute

Символ за символом

По-символьное извлечение конфиденциальной информации из ChatGPT

DRL в кибербезопасности

Глубокое обучение с подкреплением (DRL) достигло замечательных успехов в областях, требующих последовательного принятия решений, что мотивирует его применение к проблемам кибербезопасности. Однако переход от лабораторных симуляций к специализированным киберсредам может привести к многочисленным проблемам. Это еще больше усугубляется часто враждебным, нестационарным и частично наблюдаемым характером большинства задач кибербезопасности. В этой статье мы выявляем и систематизируем 11 методологических ошибок, которые часто встречаются в литературе по DRL для кибербезопасности (DRL4SEC) на этапах моделирования среды, обучения агентов, оценки производительности и развертывания системы. Проанализировав 66 значимых статей по DRL4SEC (2018-2025 гг.), мы количественно оцениваем распространенность каждой ошибки и обнаруживаем в среднем более пяти ошибок на статью. Мы демонстрируем практическое влияние этих ошибок, используя контролируемые эксперименты в (i) автономной киберзащите, (ii) создании враждебного вредоносного ПО и (iii) средах тестирования веб-безопасности. В заключение мы предлагаем практические рекомендации по каждой проблеме, чтобы поддержать разработку более строгих и пригодных для внедрения систем безопасности на основе DRL. - SoK: The Pitfalls of Deep Reinforcement Learning for Cybersecurity

Безопасность ИИ-агентов и MCP

Хорошая подборка ресурсов за апрель 2026 от компании adversa.ai:

Безопасность ИИ-агентов

Безопасность MCP

Осведомленность о фишинге

Фишинг уже в течение довольно длительного времени остается одной из самых опасных кибератак. Будучи технически простым подходом в реализации для атакующих, будучи довольно хорошо распознаваемым инструментальными средствами, обладая явно распознаваемыми признаками, этот способ атаки все равно остается работающим. Причина – это пользователи, которые продолжают переходить по подготовленным вредоносным ссылкам. Именно люди оказываются слабым звеном, которое и обеспечивает успех фишинга. Отсюда большое внимание, которое уделяется в мире образованию (уведомлению) пользователей об опасности и характерных признаках фишинга. В настоящей статье мы хотим остановиться на существующих в мире программах обучения противодействия фишингу. Такие программы существуют на разных уровнях: национальных, академических, в частных компаниях. Основа таких тренировок – это определение учащимися фишинговых сообщений среди реальных текстов (почтовых сообщений). Особый интерес представляет собой шкала фишинга от NIST, которая позволяет оценивать сложность таких тренировочных примеров. - Осведомленность о фишинге - статья в журнале Современные информационные технологии и ИТ-образование

Публикации по теме Искусственный интеллект в кибербезопасности 05.04.2026

Вопросы безопасности систем ИИ рассматриваются в двух магистерских программах факультета ВМК МГУ имени М.В. Ломоносова: Искусственный интеллект в кибербезопасности и Кибербезопасность. Ниже приведен список публикаций, подготовленных в процессе реализации этих программ по состоянию на 05.04.2026

Ильюшин Е. А., Намиот Д. Е. An approach to the automatic enhancement of the robustness of ml models to external influences on the example of the problem of biometric speaker identification by voice // International Journal of Open Information Technologies. — 2021. — Vol. 9, no. 6. — P. 11–19.

Намиот Д. Е., Ильюшин Е. А., Чижов И. В. Текущие академические и индустриальные проекты, посвященные устойчивому машинному обучению // International Journal of Open Information Technologies. — 2021. — Т. 9, № 10. — С. 35–46.

Намиот Д. Е., Ильюшин Е. А., Чижов И. В. Основания для работ по устойчивому машинному обучению // International Journal of Open Information Technologies. — 2021. — Т. 9, № 11. — С. 68–74.

Намиот Д. Е., Ильшин Е. А., Чижов И. В. Военные применения машинного обучения // International Journal of Open Information Technologies. — 2022. — Т. 10, № 1. — С. 69–76.

Ильюшин Е. А., Намиот Д. Е., Чижов И. В. Атаки на системы машинного обучения – общие проблемы и методы // International Journal of Open Information Technologies. — 2022. — Т. 10, № 3. — С. 17–22.

Namiot D., Ilyushin E. On monitoring of machine learning models // Distributed Computer and Communication Networks: Control, Computation, Communications (DCCN-2022) : материалы XXV международной научной конференции: Москва, 26–30 сентября 2022 года / под общ. ред. В. М. Вишневского и К. Е. Самуйлова. — РУДН Москва: 2022. — P. 150–157.

Namiot D., Ilyushin E., Chizhov I. On a formal verification of machine learning systems // International Journal of Open Information Technologies. — 2022. — Vol. 10, no. 5. — P. 30–34.

Huayu L., Namiot D. A survey of adversarial attacks and defenses for image data on deep learning // International Journal of Open Information Technologies. — 2022. — Vol. 10, no. 5. — P. 9–16.

Намиот Д., Ильюшин Е., Пилипенко О. Доверенные платформы искусственного интеллекта // International Journal of Open Information Technologies. — 2022. — Т. 10, № 7. — С. 119–127.

Намиот Д., Ильюшин Е. Порождающие модели в машинном обучении // International Journal of Open Information Technologies. — 2022. — Т. 10, № 7. — С. 101–118.

Биджиев Т. М., Намиот Д. Е. Исследование существующих подходов к встраиванию вредоносного программного обеспечения в искусственные нейронные сети // International Journal of Open Information Technologies. — 2022. — Т. 10, № 9. — С. 21–31.

Намиот Д. Е., Ильюшин Е. А. Об устойчивости и безопасности систем искусственного интеллекта // International Journal of Open Information Technologies. — 2022. — Т. 10, № 9. — С. 126–134.

Намиот Д. Е., Ильюшин Е. А., Чижов И. В. Искусственный интеллект и кибербезопасность // International Journal of Open Information Technologies. — 2022. — Т. 10, № 9. — С. 135–147.

Stroeva E., Tonkikh A. Methods for formal verification of artificial neural networks: A review of existing approaches // International Journal of Open Information Technologies. — 2022. — Vol. 10, no. 10. — P. 3.

Намиот Д., Ильюшин Е. Мониторинг сдвига данных в моделях машинного обучения // International Journal of Open Information Technologies. — 2022. — Т. 10, № 12. — С. 84–93.

Костюмов, Василий Владимирович. "Обзор и систематизация атак уклонением на модели компьютерного зрения." International Journal of Open Information Technologies 10.10 (2022): 11-20.

Намиот Д. Е., Ильюшин Е. А. О причинах неудач проектов машинного обучения // International Journal of Open Information Technologies. — 2023. — Т. 11, № 1. — С. 60–69.

Намиот Д. Е. Введение в атаки отравлением на модели машинного обучения // International Journal of Open Information Technologies. — 2023. — Т. 11, № 3. — С. 58–68.

Namiot D. E., Ilyushin E., Chizhov I. On the practical generation of counterfactual examples // Труды Института системного анализа Российской академии наук. — 2023. — Vol. 73, no. 1. — P. 73–81.

Junzhe S., Namiot D. E. A survey of model inversion attacks and countermeasures // Труды Института системного анализа Российской академии наук. — 2023. — Vol. 73, no. 1. — P. 82–93.

Junzhe S., Namiot D. A survey of the implementations of model inversion attacks // Communications in Computer and Information Science. — 2023. — Vol. 1748. — P. 3–16.

Намиот Д. Е. Схемы атак на модели машинного обучения // International Journal of Open Information Technologies. — 2023. — Т. 11, № 5. — С. 68–86.

On the evasion attack detector / L. Huayui, V. Kostyumov, O. Pilipenko, D. Namiot // DCCN 2023. Материалы конференции. — ИПУ РАН Москва: 2023. — P. 183–188.

Junzhe S., Namiot D. On the machine learning models inversion attack detector // DCCN 2023. Материалы конференции. — ИПУ РАН Москва: 2023. — P. 194.

Lozinskii I., Kostyumov V., Stroeva E. Extraction of trigger and mask from poisoned data using modified activation clustering and neural cleanse methods // International Journal of Open Information Technologies. — 2023. — Vol. 11, no. 7. — P. 1

Чехонина, Екатерина Андреевна, and Василий Владимирович Костюмов. "ОБЗОР СОСТЯЗАТЕЛЬНЫХ АТАК И МЕТОДОВ ЗАЩИТЫ ДЛЯ ДЕТЕКТОРОВ ОБЪЕКТОВ." International Journal of Open Information Technologies 11.7 (2023): 11-20.

Пришлецов Д. Е., Пришлецов С. Е., Намиот Д. Е. Камуфляж как состязательные атаки на модели машинного обучения // International Journal of Open Information Technologies. — 2023. — Т. 11, № 9. — С. 41–49.

Намиот Д. Е., Зубарева Е. В. О работе ai red team // International Journal of Open Information Technologies. — 2023. — Т. 11, № 10. — С. 130–139.

Намиот Д. Е., Ильюшин Е. А. Доверенные платформы искусственного интеллекта: сертификация и аудит // International Journal of Open Information Technologies. — 2024. — Т. 12, № 1. — С. 43–60.

Киржинов Д. А., Ильюшин Е. А. Сравнительный анализ алгоритмов атак и защиты на графовые архитектуры ИНС // International Journal of Open Information Technologies. — 2024. — Т. 12, № 2.

Намиот Д. Е., Романов В. Ю. Об улучшении робастности моделей машинного обучения // International Journal of Open Information Technologies. — 2024. — Т. 12, № 3. — С. 88–98.

Junzhe S., Namiot D. On real-time model inversion attacks detection // Lecture Notes in Computer Science. — 2024. — Vol. 14123. — P. 56–67.

Мударова Р. М., Намиот Д. Е. Противодействие атакам типа инъекция подсказок на большие языковые модели // International Journal of Open Information Technologies. — 2024. — Т. 12, № 5. — С. 39–48.

Намиот Д. Е., Ильюшин Е. А. Искусственный интеллект в кибербезопасности: поиск вредоносного программного обеспечения // International Journal of Open Information Technologies. — 2024. — Т. 12, № 6. — С. 143–149.

Lebed, S. V., et al. "Large Language Models in Cyberattacks." Doklady Mathematics. Vol. 110. No. Suppl 2. Moscow: Pleiades Publishing, 2024.

Селевенко Р. М., Строева Е. Н. Исследование и разработка алгоритма формальной верификации и метрики оценки качества на основе методов понижения размерности ИНС // INJOIT. — 2024. — Т. 12, № 6. — С. 2.

Биджиев Т. М., Намиот Д. Е. Атаки на модели машинного обучения, основанные на фреймворке pytorch // Автоматика и телемеханика. — 2024. — № 3. — С. 38–50.

Намиот Д. Е., Ильюшин Е. А. О сертификации систем искусственного интеллекта // Физика элементарных частиц и атомного ядра. — 2024. — Т. 55, № 3. — С. 530–536.

Намиот Д. Е., Куприяновский В. П., Пичугов А. А. Состязательные атаки для автономных транспортных средств // International Journal of Open Information Technologies. — 2024. — Т. 12, № 7. — С. 139–149.

Намиот Д. Е. О кибератаках с помощью систем Искусственного интеллекта // International Journal of Open Information Technologies. — 2024. — Т. 12, № 9. — С. 132–141.

Воробьев, Егор Александрович. "Анализ состязательных атак на системы сегментации изображений." International Journal of Open Information Technologies 12.10 (2024): 1-25.

Намиот Д. Е., Ильюшин Е. А. О киберрисках генеративного Искусственного Интеллекта // International Journal of Open Information Technologies. — 2024. — Т. 12, № 10. — С. 109–119.

Порывай, Максим Викторович. "Сравнительное исследование методов естественной аугментации изображений." International Journal of Open Information Technologies 12.10 (2024): 26-33.

Герасименко, Денис Валерьевич, and Дмитрий Евгеньевич Намиот. "Извлечение тренировочных данных: Риски и решения в контексте безопасности LLM." International Journal of Open Information Technologies 12.11 (2024): 9-19.

Костиков, Егор Вячеславович. "Методы анализа логов Sysmon для обнаружения киберугроз." International Journal of Open Information Technologies 12.11 (2024): 25-34.

Намиот Д. Е., Ильюшин Е. А. Архитектура LLM агентов //International Journal of Open Information Technologies. – 2025. – Т. 13. – №. 1. – С. 67-74.

Воробьев Е. А., Намиот Д. Е. Состязательное тестирование моделей сегментации изображений // Программная инженерия. — 2025. — Т. 16, № 4. — С. 190–198.

Намиот, Д. Е., and Е. А. Ильюшин. "Об оценке доверия к системам Искусственного интеллекта." International Journal of Open Information Technologies 13.3 (2025): 75-90.

Хамзаева, М. А., and О. Р. Лапонина. "Повышение устойчивости к состязательным атакам моделей машинного обучения для обнаружения межсайтового выполнения сценариев." International Journal of Open Information Technologies 13.6 (2025): 25-33.

Бербер, Д. В., and О. Р. Лапонина. "Разработка подходов к увеличению устойчивости моделей машинного обучения для обнаружения распределенных атак отказа обслуживания." International Journal of Open Information Technologies 13.6 (2025): 16-24.

Егорова, Е. С., and О. Р. Лапонина. "Состязательное тестирование моделей машинного обучения, предназначенных для обнаружения SQL-инъекций." International Journal of Open Information Technologies 13.6 (2025): 34-41.

Лапонина, О. Р., and Р. Н. Костин. "Разработка программного обеспечения моделирования угроз для систем на базе LLM-агентов." International Journal of Open Information Technologies 13.6 (2025): 132-146.

Намиот, Д. Е. "Что LLM знает о кибербезопасности." International Journal of Open Information Technologies 13.7 (2025): 37-46.

Намиот, Д. Е. "Искусственный Интеллект в. Кибербезопасности. Хроника. Выпуск 1." International Journal of Open Information Technologies 13.9 (2025): 34-42.

Намиот, Д. Е., and Е. А. Ильюшин. "О кибербезопасности ИИ-агентов." International Journal of Open Information Technologies 13.9 (2025): 13-24.

Егоров, М. Э., et al. "Объяснения моделей машинного обучения и состязательные атаки." International Journal of Open Information Technologies 13.9 (2025): 50-59.

Намиот, Д. Е., and Е. А. Ильюшин. "Уязвимости экосистемы MCP." International Journal of Open Information Technologies 13.10 (2025): 74-82.

Намиот, Д. Е. "Искусственный Интеллект в Кибербезопасности. Хроника. Выпуск 2." International Journal of Open Information Technologies 13.10 (2025): 58-67.

Poryvai, Maxim, and Dmitry Namiot. "On Natural Image Augmentation to Increase Robustness of Machine Learning Models." 2025 International Russian Automation Conference (RusAutoCon). IEEE, 2025.

Namiot D., Zubareva E. On open datasets for llm adversarial testing // Communications in Computer and Information Science. — 2025. — Vol. 2641. — P. 137–148. 

Намиот, Д. Е. "Искусственный Интеллект в Кибербезопасности. Хроника. Выпуск 3." International Journal of Open Information Technologies 13.11 (2025): 169-179.

Maloyan, Narek, Bislan Ashinov, and Dmitry Namiot. "Investigating the Vulnerability of LLM-as-a-Judge Architectures to Prompt-Injection Attacks."  arXiv preprint arXiv:2505.13348 (2025).

Maloyan, Narek, and Dmitry Namiot. "Adversarial Attacks on LLM-as-a-Judge Systems: Insights from Prompt Injections." arXiv preprint arXiv:2504.18333 (2025).

Намиот, Д. Е. "Искусственный Интеллект в Кибербезопасности. Хроника. Выпуск 4." International Journal of Open Information Technologies 14.1 (2026): 81-94.

Maloyan, Narek, and Dmitry Namiot. "Prompt Injection Attacks on Agentic Coding Assistants: A Systematic Analysis of Vulnerabilities in Skills, Tools, and Protocol Ecosystems." arXiv preprint arXiv:2601.17548 (2026).

Намиот, Д. Е. "Искусственный Интеллект в Кибербезопасности. Хроника. Выпуск 5." International Journal of Open Information Technologies 14.2 (2026): 47-57.

Maloyan, Narek, and Dmitry Namiot. "Breaking the Protocol: Security Analysis of the Model Context Protocol Specification and Prompt Injection Vulnerabilities in Tool-Integrated LLM Agents." arXiv preprint arXiv:2601.17549 (2026).

Намиот, Д. Е. "Искусственный Интеллект в Кибербезопасности. Хроника. Выпуск 6." International Journal of Open Information Technologies 14.3 (2026): 76-86.

Контекстная безопасность агентов

Безопасность агентов LLM по своей природе контекстуальна. Например, одно и то же действие, предпринятое агентом, может представлять собой легитимное поведение или нарушение безопасности в зависимости от того, чья инструкция привела к действию, какая цель преследуется и служит ли действие этой цели. В этой работе мы представляем структуру, которая систематизирует существующие атаки и средства защиты с точки зрения контекстной безопасности. С этой целью мы предлагаем четыре свойства безопасности, которые отражают контекстную безопасность для агентов LLM: согласование задач (преследование авторизованных целей), согласование действий (отдельные действия, служатщие этим целям), авторизация источника (выполнение команд из аутентифицированных источников) и изоляция данных (обеспечение соблюдения границ привилегий в потоках информации). Мы также вводим набор функций оракула, которые позволяют проверять, нарушаются ли эти свойства безопасности при выполнении агентом пользовательской задачи. Используя эту структуру, мы переформулируем существующие атаки, такие как непрямая инъекция подсказок, прямая инъекция подсказок, взлом системы, дрейф задач и отравление памяти, как нарушения одного или нескольких свойств безопасности, тем самым предоставляя точные и контекстуальные определения этих атак. Аналогичным образом, мы переформулируем средства защиты как механизмы, которые усиливают функции оракула или выполняют проверки свойств безопасности. Наконец, мы обсуждаем несколько важных направлений будущих исследований, которые станут возможными благодаря нашей структуре. - A Framework for Formalizing LLM Agent Security

См. также другие публикации, посвященные агентам

Мультиагентные системы

Обзор от ICT.Moscow - Deep Divе: мультиагентные системы

См. также другие публикации, посвященные агентам

Универсальная атака на LLM

Агенты LLM, такие как Claude Code, могут не только писать код, но и использоваться для автономных исследований и разработок в области ИИ. Мы показываем, что конвейер в стиле автоматического исследования (Karpathy, 2026), работающий на базе Claude Code, обнаруживает новые алгоритмы атак типа «белый ящик», которые значительно превосходят все существующие (более 30) методы в оценках взлома и внедрения подсказок. Начиная с существующих реализаций атак, таких как GCG, агент итеративно создает новые алгоритмы, достигающие до 40% успешности атак на запросы CBRN против GPT-OSSSafeguard-20B, по сравнению с ≤10% для существующих алгоритмов. Обнаруженные алгоритмы обобщают: атаки, оптимизированные на суррогатных моделях, напрямую переносятся на отложенные модели, достигая 100% ASR против Meta-SecAlign-70B по сравнению с 56% для лучшего базового варианта . Расширяя результаты Carlini et al., 2025, наши результаты являются ранней демонстрацией того, что инкрементальные исследования в области безопасности могут быть автоматизированы с использованием агентов LLM. Метод «белого ящика» для противодействия угрозам особенно хорошо подходит для этого: существующие методы обеспечивают сильные отправные точки, а цель оптимизации дает плотную количественную обратную связь. Мы публикуем все обнаруженные атаки вместе с базовыми реализациями и кодом оценки по адресу https://github.com/romovpa/claudini - Claudini: Autoresearch Discovers State-of-the-Art Adversarial Attack Algorithms for LLMs

См. также другие публикации, посвященные LLM

Обнаружение дипфейков в реальном времени

В последние годы видеоконференции приобретают все более широкий размах, став неотъемлемым инструментом для проведения деловых совещаний, образовательных мероприятий и даже официальных правительственных встреч. Стремительное развитие технологий интернет-связи и доступность платформ видеоконференций (таких как Zoom, Microsoft Teams и Google Meet) способствуют переходу множества организаций на гибридные и дистанционные форматы работы. В результате глобальная аудитория пользователей онлайн-встреч исчисляется сотнями миллионов, и это число продолжает расти. Одновременно с расширением сферы применения видеоконференций возникает новая волна угроз, связанных с безопасностью и доверием участников. Среди таких угроз особенно выделяется феномен "дипфейков" (от англ. deepfakes), то есть синтетически сгенерированных или модифицированных аудио- и видеозаписей, которые практически невозможно отличить от оригинала невооруженным глазом. В работе рассматривается вопрос детектирования дипфейков в реальном времени в видеоконференциях. - Методы обнаружения дипфейков в видеоконференциях в реальном времени - статья в журнале Современные информационные технологии и ИТ-образование

Детектор AI-контента

Pangram. Последнее время, до 90% статей, поданных в журнал INJOIT, написаны нечеловеческим языком :(

Кванты и безопасность

АНО «Цифровая экономика» - Перспективные сценарии применения квантовых и смежных технологий в сфере ИБ

Ломоносовские чтения 2026

Сборник докладов

Киберразведка Google

Google Threat Intelligence Group (GTIG) выпустила очередной квартальный отчет о кибербезопасности.

"Google DeepMind и GTIG выявили рост попыток извлечения моделей или «дистилляционных атак» — метода кражи интеллектуальной собственности, нарушающего условия предоставления услуг Google. В этом отчете мы описали шаги, предпринятые нами для предотвращения вредоносной деятельности, включая обнаружение, пресечение и нейтрализацию Google попыток извлечения моделей. Хотя мы не наблюдали прямых атак на перспективные модели или продукты генеративного ИИ со стороны субъектов, использующих сложные целевые атаки (APT), мы наблюдали и нейтрализовали частые атаки по извлечению моделей со стороны частных компаний по всему миру и исследователей, стремящихся клонировать собственную логику.

Для поддерживаемых государством субъектов, занимающихся киберпреступностью, большие языковые модели (LLM) стали важными инструментами для технических исследований, таргетинга и быстрого создания сложных фишинговых приманок. В этом ежеквартальном отчете освещается, как субъекты угроз из Корейской Народной Республики (КНДР), Ирана, Китайской Народной Республики (КНР) и России внедрили ИИ в свою деятельность в конце 2025 года, и улучшается наше понимание того, как злоупотребление генеративным ИИ проявляется в кампаниях, которые мы пресекаем в реальных условиях. GTIG пока не наблюдала случаев, когда APT-группировки или субъекты информационных операций (IO) достигли бы прорывных возможностей, коренным образом меняющих ландшафт угроз." - отсюда

О безопасной работе агентов

Безопасность на уровне выполнения для агентов ИИ: agentsh ("оболочка агента") — это шлюз выполнения, работающий на основе политик, который перехватывает активность файлов, сети и процессов во время выполнения — независимо от того, что говорит приглашение, вывод инструмента или пользователь.

См. также другие публикации, посвященные агентам

Голос collab-а

Нотебук, объясняющий работу с голосовыми эмбеддингами

Мультимодальный RAG

Что если RAG - это не только про текст? Но и про графы, изображения и т.д. Рекламная публикация от одного производителя БД.

Караул для агентов

Агенты, использующие большие языковые модели (LLM), все чаще полагаются на внешние инструменты и системы поиска для автономного выполнения сложных задач. Однако такая конструкция делает агентов уязвимыми для косвенного внедрения подсказок (IPI), когда контролируемый злоумышленником контекст, встроенный в выходные данные инструмента или полученный контент, незаметно направляет действия агента в сторону, противоположную намерениям пользователя. В отличие от атак на основе подсказок, IPI разворачивается на протяжении нескольких циклов, что затрудняет отделение вредоносного управления от легитимного выполнения задачи. Существующие средства защиты на этапе вывода в основном полагаются на эвристическое обнаружение и консервативную блокировку действий с высоким риском, что может преждевременно завершать рабочие процессы или в целом подавлять использование инструментов в неоднозначных многоцикловых сценариях. Мы предлагаем AgentSentry, новую структуру обнаружения и смягчения последствий на этапе вывода для агентов LLM, дополненных инструментами. Насколько нам известно, AgentSentry — это первая система защиты на этапе вывода, которая моделирует многоцикловое внедрение подсказок как временное причинно-следственное поглощение. Он локализует точки захвата посредством контролируемых контрфактических повторных выполнений на границах возврата инструмента и обеспечивает безопасное продолжение работы за счет причинно-следственной очистки контекста, которая устраняет отклонения, вызванные атакой, сохраняя при этом релевантные для задачи доказательства. Мы оцениваем AgentSentry на бенчмарке AgentDojo по четырем наборам задач, трем семействам атак IPI и нескольким моделям LLM типа «черный ящик». AgentSentry исключает успешные атаки и поддерживает высокую полезность при атаке, достигая средней полезности при атаке (UA) 74,55%, улучшая UA на 20,8–33,6 процентных пункта по сравнению с самыми сильными базовыми показателями без ухудшения производительности в условиях безопасной среды. - AgentSentry: Mitigating Indirect Prompt Injection in LLM Agents via Temporal Causal Diagnostics and Context Purification

См. также другие публикации, посвященные агентам