Без времени

Системы глубокого обучения, обрабатывающие временные и последовательные данные, все чаще используются в критически важных для безопасности приложениях, включая мониторинг состояния здоровья, автономную навигацию и алгоритмическую торговлю. Однако эти системы обладают серьезной уязвимостью к атакам со стороны злоумышленников — тщательно разработанным возмущениям, которые вызывают систематическую неправильную классификацию, оставаясь при этом незаметными. В данной статье представлен всесторонний систематический обзор атак со стороны злоумышленников на системы классификации временных рядов, распознавания активности человека (HAR) и обучения с подкреплением (RL), основанный на анализе 127 статей, опубликованных в период с 2019 по 2025 год, в соответствии с рекомендациями PRISMA с документированной межэкспертной надежностью (κ = 0,83). Мы устанавливаем единую четырехмерную таксономию, различающую характеристики атак в зависимости от целевых модальностей (носимые датчики IMU, датчики WiFi/радара, распознавание на основе скелета, медицинские/финансовые временные ряды и агенты RL), стратегий возмущения, временного диапазона и уровней физической реализуемости. Наш количественный анализ выявляет серьезные базовые уязвимости — атаки FGSM снижают точность HAR с 95,1% до 3,4% в условиях «белого ящика», — при этом демонстрируя, что переносимость между датчиками значительно варьируется от 0% до 80% в зависимости от расположения на теле и модальности. Критически важно, что мы выявляем существенный разрыв между показателями успешности цифровых атак (85–98%) и физически подтвержденных атак, при этом подтверждение с помощью аппаратного моделирования демонстрирует 70–97% успеха только для Wi-Fi и радаров, в то время как физические атаки с использованием носимых IMU остаются полностью неподтвержденными. Мы проводим систематический анализ механизмов защиты, включая обучение с использованием состязательных методов, подходы, основанные на обнаружении, сертифицированные средства защиты, и ансамблевые методы, предлагая структуру Temporal AutoAttack (T-AutoAttack) для стандартизированной оценки адаптивных атак. Наш анализ показывает, что существующие средства защиты демонстрируют снижение производительности на 6–23% при адаптивных атаках, при этом сертифицированные методы показывают наименьший разрыв, но приводят к снижению точности на 15–30%. Мы также выявляем новые уязвимости в архитектурах HAR на основе трансформеров и в системах прогнозирования временных рядов на основе LLM, которые требуют срочного внимания. Обзор завершается составлением приоритетной дорожной карты исследований, в которой определены восемь критических пробелов с указанием конкретных наборов данных, оценочных конвейеров и сроков внедрения. Мы предлагаем практические рекомендации по внедрению для специалистов в области носимых HAR, Wi-Fi/радарного зондирования, систем обучения с подкреплением и новых временных приложений на основе LLM. Эта работа предлагает первое унифицированное решение, объединяющее исследования временных рядов и состязательных систем обучения с подкреплением, закладывая основы для разработки надежных временных систем ИИ, пригодных для реального применения в критически важных областях безопасности. - Temporal Adversarial Attacks on Time Series and Reinforcement Learning Systems: A Systematic Survey, Taxonomy, and Benchmarking Roadmap

P.S. См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

ИИ песочницы

Эффективное устройство AI Sandbox

ИИ в медицине - реалии

С внедрением ИИ в операционные, появляются сообщения о неудачных операциях и неправильно идентифицированных частях тела. Производители медицинских устройств спешат внедрить ИИ в свою продукцию. Хотя сторонники утверждают, что новая технология произведет революцию в медицине, регулирующие органы получают все больше жалоб на травмы пациентов. - большой материал от Reuters

PGPro TechDay 2026

Материалы конференции PGPro TechDay 2026

Фальшивые новости

Большие языковые модели (LLM) все чаще используются в финансовой сфере. Их исключительные возможности анализа текстовых данных делают их хорошо подходящими для определения настроения финансовых новостей. Такая обратная связь может быть использована алгоритмическими торговыми системами (АТС) для принятия решений о покупке/продаже. Однако эта практика сопряжена с риском того, что злоумышленник может создавать «враждебные новости», призванные ввести в заблуждение LLM. В частности, заголовок новости может содержать «вредоносный» контент, который остается невидимым для читателей-людей, но все же обрабатывается БЛМ. Хотя в предыдущих работах изучались текстовые примеры враждебных новостей, их влияние на АТС, поддерживаемые LLM, в масштабах всей системы еще не было количественно оценено с точки зрения денежного риска. Чтобы противостоять этой угрозе, мы рассматриваем злоумышленника, не имеющего прямого доступа к АТС, но способного изменять заголовки новостей, связанных с акциями, в течение одного дня. Мы оцениваем две незаметные для человека манипуляции в финансовом контексте: замены омоглифов в Unicode, которые вводят модели в заблуждение при распознавании названий акций, и скрытые текстовые условия, которые изменяют эмоциональную окраску заголовка новости. Мы реализовали реалистичную автоматизированную торговую систему (ATS) в Backtrader, которая объединяет прогноз цен на основе LSTM с эмоциональным состоянием, полученным с помощью LLM (FinBERT, FinGPT, FinLLaMA и шесть универсальных LLM), и количественно оценили денежное воздействие с помощью показателей портфеля. Эксперименты на реальных данных показывают, что манипулирование однодневной атакой в течение 14 месяцев может надежно ввести в заблуждение LLM и снизить годовую доходность до 17,7 процентных пунктов. Для оценки реальной осуществимости мы проанализировали популярные библиотеки для сбора данных и торговые платформы и опросили 27 специалистов в области FinTech, подтвердив наши гипотезы. Мы уведомили владельцев торговых платформ об этой проблеме безопасности. - Adversarial News and Lost Profits: Manipulating Headlines in LLM-Driven Algorithmic Trading

См. также другие публикации, посвященные LLM

Состязательные атаки и робастность

Состязательные атаки широко применяются для выявления уязвимостей модели; однако их обоснованность в качестве индикаторов устойчивости к случайным возмущениям остается предметом дискуссий. Мы задаемся вопросом, дает ли пример с враждебными факторами репрезентативную оценку риска ошибочного прогнозирования при стохастических возмущениях той же величины, или же он отражает нетипичное событие наихудшего случая. Для решения этого вопроса мы вводим вероятностный анализ, который количественно оценивает этот риск относительно направленно смещенных распределений возмущений, параметризованных фактором концентрации κ, который интерполирует между изотропным шумом и направлениями враждебных факторов. Основываясь на этом, мы изучаем пределы этой связи, предлагая стратегию атаки, разработанную для исследования уязвимостей в режимах, которые статистически ближе к равномерному шуму. Эксперименты на наборах данных ImageNet и CIFAR-10 систематически сравнивают результаты множественных атак, выявляя, когда успех противодействия адекватно отражает устойчивость к возмущениям, а когда нет, что позволяет использовать эти данные для оценки устойчивости в целях обеспечения безопасности. - How Worst-Case Are Adversarial Attacks? Linking Adversarial and Perturbation Robustness

P.S. См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Сверхинтеллект в сфере кибербезопасности

Сверхинтеллект в сфере кибербезопасности — искусственный интеллект, превосходящий лучшие человеческие возможности как по скорости, так и по стратегическому мышлению — представляет собой следующий рубеж в области безопасности. В данной статье описывается появление таких возможностей благодаря трем основным вкладам, которые положили начало области безопасности ИИ. Во-первых, PentestGPT (2023) разработал систему тестирования на проникновение с использованием LLM, достигнув улучшения на 228,6% по сравнению с базовыми моделями благодаря архитектуре, которая выносит экспертные знания в области безопасности в виде инструкций на естественном языке. Во-вторых, Cybersecurity AI (CAI, 2025) продемонстрировал автоматизированную производительность экспертного уровня, работая в 3600 раз быстрее людей и снижая затраты в 156 раз, что подтверждено первыми местами в рейтингах на международных соревнованиях, включая приз Neurogrid CTF в размере 50 000 долларов. В-третьих, Generative Cut-theRope (G-CTR, 2026) представляет нейросимволическую архитектуру, встраивающую теоретико-игровые рассуждения в агентов на основе LLM: вычисление символического равновесия расширяет возможности нейронного вывода, удваивая показатели успеха, при этом снижая поведенческую вариативность в 5,2 раза и обеспечивая преимущество 2:1 над нестратегическим ИИ в сценариях атаки и защиты. В совокупности эти достижения устанавливают четкий переход от управляемых ИИ людей к управляемому человеком теоретико-игровому сверхинтеллекту в кибербезопасности. - Towards Cybersecurity Superintelligence: from AI-guided humans to human-guided AI

Авторы ссылаются на фреймворк Cybersecurity AI (CAI):

Кибербезопасность на основе искусственного интеллекта (CAI) — это легковесная платформа с открытым исходным кодом, которая позволяет специалистам по безопасности создавать и развертывать автоматизированные системы наступательной и оборонительной защиты на основе ИИ. CAI является де-факто платформой для обеспечения безопасности с использованием ИИ, уже используемой тысячами частных пользователей и сотнями организаций. Независимо от того, являетесь ли вы исследователем безопасности, этичным хакером, ИТ-специалистом или организацией, стремящейся повысить уровень своей безопасности, CAI предоставляет строительные блоки для создания специализированных агентов ИИ, которые могут помочь в смягчении угроз, обнаружении уязвимостей, их эксплуатации и оценке безопасности.

Основные особенности:

🤖 Более 300 моделей ИИ: поддержка OpenAI, Anthropic, DeepSeek, Ollama и других
🔧 Встроенные инструменты безопасности: готовые к использованию инструменты для разведки, эксплуатации уязвимостей и повышения привилегий
🏆 Проверено в реальных условиях: доказано в CTF-соревнованиях HackTheBox, программах поиска уязвимостей и реальных примерах из практики в области безопасности
🎯 Архитектура на основе агентов: модульная структура для создания специализированных агентов для различных задач безопасности
🛡️ Защита от внедрения уязвимостей и выполнения опасных команд
📚 Ориентированность на исследования: исследовательский фонд для демократизации ИИ в сфере кибербезопасности для сообщества

Искусственный интеллект и восстановление после инсульта

Бурное развитие современных систем искусственного интеллекта (генеративных моделей, которые чаще всего и рассматриваются как ИИ), в частности мощных базовых и мультимодальных моделей, открывает новые перспективы для персонализации и повышения эффективности физической реабилитации. Эти технологии позволяют анализировать и интегрировать разнородные данные о пациенте: от объективных показателей движения и мышечной активности (биомеханика, ЭМГ) до данных визуализации (МРТ, УЗИ) и субъективных отчетов. Современные модели ИИ способны выявлять сложные пространственно-временные закономерности в процессе восстановления двигательных функций. Это стало возможным благодаря обучению на больших объемах «сырых» клинических и инструментальных данных. Такие ИИ-решения потенциально могут трансформировать все ключевые направления реабилитации, такие как оценка и мониторинг, автоматизированный анализ движений и походки по видео, интерпретация данных носимых датчиков для объективного отслеживания прогресса, cоздание адаптивных, «умных» планов терапии на основе прогностических моделей, предсказывающих индивидуальный ответ на разные виды нагрузок, моделирование рисков и прогнозирование долгосрочных результатов реабилитации после инсульта, травм спинного мозга или ортопедических операций. Цель данной статьи – оценить применимость доступных моделей для построения программ реабилитации после инсульта. - Искусственный интеллект в физической реабилитации

GigaChat и DeepSeek разрабатывают физические упражнения

См. также другие публикации, посвященные LLM

Графы знаний на русском

Учебный курс на русском языке: Knowledge Graphs

LLM и фишинг

Большие языковые модели (LLM) способны генерировать беглый и убедительный текст, что делает их ценными инструментами для коммуникации. Однако эта способность также делает их привлекательными для злонамеренных целей. Хотя ряд исследований показал, что LLM могут поддерживать общий фишинг, их потенциал для персонализированных атак в больших масштабах еще не был изучен и количественно оценен. В этом исследовании мы оцениваем эффективность целевого фишинга на основе LLM в эксперименте с участием 7700 человек. Используя целевые адреса электронной почты в качестве запросов, мы собираем личную информацию посредством веб-поиска и автоматически генерируем электронные письма, адаптированные для каждого участника. Наши результаты показывают тревожную ситуацию: целевой фишинг на основе LLM почти втрое увеличивает количество кликов по сравнению с общими стратегиями фишинга. Этот эффект сохраняется независимо от того, написаны ли общие электронные письма людьми или также сгенерированы LLM. Более того, стоимость персонализации минимальна и составляет приблизительно 0,03 доллара США за письмо. Учитывая, что фишинг по-прежнему является основным вектором атак на ИТ-инфраструктуры, мы приходим к выводу о наличии острой необходимости усиления существующих мер защиты, например, путем ограничения общедоступной информации, связанной с адресами электронной почты, и включения персонализированных методов борьбы с фишингом в программы повышения осведомленности. - A Large-Scale Study of Personalized Phishing using Large Language Models

См. также другие публикации, посвященные LLM

LLM и приватность

Большие языковые модели (LLM) все чаще используются в здравоохранении для поддержки принятия клинических решений, обобщения электронных медицинских карт (ЭМК) и улучшения качества обслуживания пациентов. Однако эта интеграция создает значительные проблемы конфиденциальности и безопасности, обусловленные чувствительностью клинических данных и высокой степенью риска, связанного с медицинскими рабочими процессами. Эти риски становятся еще более выраженными в гетерогенных средах развертывания, от небольших локальных больничных систем до региональных сетей здравоохранения, каждая из которых имеет уникальные ограничения ресурсов и нормативные требования. Данная систематизация знаний (SOK) рассматривает меняющийся ландшафт угроз на трех основных этапах БЛМ: предварительная обработка данных, тонкая настройка и вывод, в реальных условиях здравоохранения. Мы представляем подробную модель угроз, которая характеризует противников, их возможности и поверхности атаки на каждом этапе, и систематизируем, как существующие методы сохранения конфиденциальности пытаются смягчить эти уязвимости. Хотя существующие средства защиты обнадеживают, наш анализ выявляет сохраняющиеся ограничения в обеспечении безопасности конфиденциальных клинических данных на различных операционных уровнях. В заключение мы предлагаем рекомендации с учетом этапов и направления будущих исследований, направленных на усиление гарантий конфиденциальности для LLM в регулируемых средах. Эта работа закладывает основу для понимания взаимосвязи LLM, угроз и конфиденциальности в здравоохранении, предлагая дорожную карту для создания более надежных и клинически заслуживающих доверия систем искусственного интеллекта. - SoK: Privacy-aware LLM in Healthcare: Threat Model, Privacy Techniques, Challenges and Recommendations

См. также другие публикации, посвященные LLM

База промпт-инжиринга

Какие ключевые методы разработки подсказок используются?

Подсказки с небольшим количеством примеров: Включите в подсказку несколько пар примеров (вход → выход), чтобы обучить шаблону.

Подсказки без примеров: Дайте точную инструкцию без примеров, чтобы четко сформулировать задачу.

Подсказки с цепочкой рассуждений (CoT): Запросите пошаговое объяснение перед окончательным ответом. Это может быть подход без примеров, когда мы явно включаем «Думайте шаг за шагом» в инструкцию, или подход с небольшим количеством примеров, когда мы показываем несколько примеров с пошаговым объяснением.

Подсказки, специфичные для роли: Назначьте персонажа, например, «Вы — финансовый консультант», чтобы задать контекст для LLM.

Иерархия подсказок: Определите инструкции для системы, разработчика и пользователя с разными уровнями полномочий. Системные подсказки определяют высокоуровневые цели и устанавливают ограничения, в то время как подсказки для разработчика определяют правила форматирования и настраивают поведение LLM.

Вот основные принципы, которые следует учитывать при разработке подсказок:
Начинайте с простого, затем совершенствуйте.
Разбейте большую задачу на более мелкие, управляемые подзадачи.
Будьте конкретны в отношении желаемого формата, тона и критериев успеха.
Предоставьте достаточно контекста, чтобы исключить двусмысленность.

ML интервью

Хорошие вопросы для ML интервью. И ноутбук с кодом.

См. также другие публикации на тему интервью

Учим по месту жительства

Хорошее введение в федеративное обучение: Federated Learning, Part 1: The Basics of Training Models Where the Data Lives

INJOIT vol. 14, no. 2

Вышел второй номер журнала INJOIT в 2026 году. И четырнадцатый год издания журнала.

Темы статей:

• Prompt Injection Attacks on Agentic Coding Assistants: A Systematic Analysis of Vulnerabilities in Skills, Tools, and Protocol Ecosystems
• Трансформерная модель бинарной классификации временных рядов на данных инерциальных датчиков для детекции спуфинг-атак в БПЛА
• Кластеризация угроз и идентификация рисков нарушения информационной безопасности опасных производственных объектов
• Методы выявления конфиденциальной информации в неструктурированных данных
• Принципы и модель совершенствования алгоритмов постквантового шифрования, основанных на математической теории решёток
• Искусственный Интеллект в Кибербезопасности. Хроника. Выпуск 5
• On the System of Reaction-Diffusion Equations in a Limited Region
• A Universal Model for Forecasting Customer Service Revenue: A Paid Parking Service Example
• Модель информационного влияния в социальной сети на основе диффузии сигналов, образованных ортогональными функциями
• Подходы к повышению эффективности Mesh-сети в вычислительной системе с распределенной памятью
• Итеративная двунаправленная рекуррентная сеть для предсказания разрушения многослойных композитов
• Recursion in Actual Java Programming
• Персонализация интерфейсов «мозг-компьютер» основе SSVEP-парадигмы с учетом индивидуальных особенностей реакции пользователя
• О некорректности безусловных программ
• Автоматизация учета научной и учебно-методической деятельности преподавателя
• Development of the Multilingual Sign Language Learning Game for Interactive Education
• О применении компьютерных технологий для анализа художественных текстов (на примере произведений В.Г. Короленко)
• Метод определения степени доверия автономных транспортных средств на основе социальных сил
• Искусственный интеллект в физической реабилитации

Архив журнала находится здесь.

/via Лаборатория ОИТ

Перефразируй

Использование больших языковых моделей (LLM) в системах рецензирования привлекает все больше внимания, что делает необходимым изучение их потенциальных уязвимостей. Предыдущие атаки основаны на внедрении подсказок, которые изменяют содержание рукописи и смешивают уязвимость к внедрению с устойчивостью к оценке. Мы предлагаем атаку с использованием парафразирования (PAA), метод оптимизации «черного ящика», который ищет последовательности перефразированных фрагментов, дающие более высокие оценки рецензентов, при сохранении семантической эквивалентности и лингвистической естественности. PAA использует обучение в контексте, используя предыдущие перефразирования и их оценки для генерации кандидатов. Эксперименты, проведенные на пяти конференциях по машинному обучению и обработке естественного языка с участием трех рецензентов, использующих LLM, и пяти атакующих моделей, показывают, что PAA последовательно повышает оценки рецензентов, не изменяя утверждений статьи. Оценка человеком подтверждает, что сгенерированные перефразирования сохраняют смысл и естественность. Мы также обнаружили, что статьи, подвергшиеся нападкам, демонстрируют повышенную невнятность в обзорах, что может служить потенциальным сигналом обнаружения, и что перефразирование представленных работ может частично смягчить последствия нападок. - Paraphrasing Adversarial Attack on LLM-as-a-Reviewer

См. также другие публикации, посвященные LLM

Шершень

Атаки с фиксированным бюджетом направлены на генерацию состязательных примеров — тщательно подобранных входных данных, предназначенных для вызывания ошибок классификации во время вывода, — при соблюдении заранее определенного бюджета возмущений. Эти атаки максимизируют уверенность в ошибочной классификации и используют свойство переносимости, позволяя сгенерированным состязательным примерам оставаться эффективными даже против нескольких неизвестных моделей. Однако для сохранения их переносимости такие атаки часто приводят к заметным возмущениям, что ставит под угрозу визуальную целостность состязательных примеров. В этой статье мы представляем HORNET, расширение градиентных атак с фиксированным бюджетом, предназначенное для минимизации величины возмущений состязательных примеров при сохранении их переносимости против целевой модели. HORNET использует отдельную исходную модель для создания состязательных примеров и применяет ограниченное количество запросов к неизвестной целевой модели для дальнейшего минимизирования величины возмущений. Мы эмпирически оцениваем HORNET, интегрируя его с существующими реализациями атак и тестируя его на различных моделях. Наши результаты показывают, что HORNET превосходит современные методы генерации минимально возмущенных, но при этом легко переносимых состязательных примеров для всех протестированных моделей. Код доступен по адресу: https://github.com/louiswup/HORNET - HORNET: Fast and minimal adversarial perturbations

P.S. См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

ИИ для защиты спутниковых коммуникационных сетей

В данной статье рассматривается применение искусственного интеллекта (ИИ) для защиты спутниковых коммуникационных сетей с акцентом на выявление и предотвращение киберугроз. С быстрым развитием коммерческого космического сектора значение эффективной киберзащиты возросло благодаря растущей зависимости глобальной инфраструктуры от спутниковых технологий. В исследовании применяется структурированный сравнительный анализ методов ИИ по трём основным архитектурам спутников: геостационарной (GEO), низкой околоземной орбите (LEO) и гибридных системах. Методология основана на руководящих исследовательских вопросах и оценивает репрезентативные алгоритмы ИИ в контексте конкретных сценариев угроз, включая глушение, спуфинг, DDoS-атаки и перехват сигналов. Реальные случаи, такие как атака KA-SAT AcidRain и глушение Starlink, а также экспериментальные демонстрации противоглушения на основе RL и маршрутизации GNN/DQN, служат доказательствами практической применимости. Результаты подчёркивают как потенциал, так и ограничения ИИ-решений, показывая измеримые улучшения точности обнаружения, пропускной способности, снижения задержек и устойчивости к помехам. Представлены архитектурные подходы интеграции ИИ в спутниковую безопасность, а также обсуждаются их эффективность, компромиссы и возможность развертывания. - Artificial Intelligence in Satellite Network Defense: Architectures, Threats, and Security Protocols.

ФСТЭК и защита ИИ

Хороший обзор российских юридических документов по безопасности ИИ:

Приказ ФСТЭК N 117:

П.60 — раскрыто, что защищается в ИИ-контуре: наборы данных, модель, параметры, процессы/сервисы обработки данных и поиска решений; там же — запрет передавать разработчику модели ИИ информацию ограниченного доступа «для улучшения функционирования модели».

П.61 — контроль взаимодействия “запрос–ответ”:
а) при шаблонных запросах/ответах — определить шаблоны и контролировать соответствие;
б) при свободном тексте — определить допустимые тематики вопросов и ответов и контролировать их соблюдение;
в) разработать статистические критерии выявления недостоверных ответов, дать пользователю возможность их отмечать и организовать сбор/анализ;
г) обеспечить реагирование на недостоверные ответы (вплоть до ограничения области и функций, чтобы не принимать решения на их основе).
Далее (абз. после п.61): не допускается нерегламентированное влияние на параметры модели и функционирование ИС; (то есть атаки - взять и запретить)
А напоследок сказано, что необходимо применять доверенные технологии ИИ или компоненты. (осталось их создать)

Публикации по теме Искусственный интеллект в кибербезопасности 02.02.2026

Вопросы безопасности систем ИИ рассматриваются в двух магистерских программах факультета ВМК МГУ имени М.В. Ломоносова: Искусственный интеллект в кибербезопасности и Кибербезопасность. Ниже приведен список публикаций, подготовленных в процессе реализации этих программ по состоянию на 28.09.2025

Ильюшин Е. А., Намиот Д. Е. An approach to the automatic enhancement of the robustness of ml models to external influences on the example of the problem of biometric speaker identification by voice // International Journal of Open Information Technologies. — 2021. — Vol. 9, no. 6. — P. 11–19.

Намиот Д. Е., Ильюшин Е. А., Чижов И. В. Текущие академические и индустриальные проекты, посвященные устойчивому машинному обучению // International Journal of Open Information Technologies. — 2021. — Т. 9, № 10. — С. 35–46.

Намиот Д. Е., Ильюшин Е. А., Чижов И. В. Основания для работ по устойчивому машинному обучению // International Journal of Open Information Technologies. — 2021. — Т. 9, № 11. — С. 68–74.

Намиот Д. Е., Ильшин Е. А., Чижов И. В. Военные применения машинного обучения // International Journal of Open Information Technologies. — 2022. — Т. 10, № 1. — С. 69–76.

Ильюшин Е. А., Намиот Д. Е., Чижов И. В. Атаки на системы машинного обучения – общие проблемы и методы // International Journal of Open Information Technologies. — 2022. — Т. 10, № 3. — С. 17–22.

Namiot D., Ilyushin E. On monitoring of machine learning models // Distributed Computer and Communication Networks: Control, Computation, Communications (DCCN-2022) : материалы XXV международной научной конференции: Москва, 26–30 сентября 2022 года / под общ. ред. В. М. Вишневского и К. Е. Самуйлова. — РУДН Москва: 2022. — P. 150–157.

Namiot D., Ilyushin E., Chizhov I. On a formal verification of machine learning systems // International Journal of Open Information Technologies. — 2022. — Vol. 10, no. 5. — P. 30–34.

Huayu L., Namiot D. A survey of adversarial attacks and defenses for image data on deep learning // International Journal of Open Information Technologies. — 2022. — Vol. 10, no. 5. — P. 9–16.

Намиот Д., Ильюшин Е., Пилипенко О. Доверенные платформы искусственного интеллекта // International Journal of Open Information Technologies. — 2022. — Т. 10, № 7. — С. 119–127.

Намиот Д., Ильюшин Е. Порождающие модели в машинном обучении // International Journal of Open Information Technologies. — 2022. — Т. 10, № 7. — С. 101–118.

Биджиев Т. М., Намиот Д. Е. Исследование существующих подходов к встраиванию вредоносного программного обеспечения в искусственные нейронные сети // International Journal of Open Information Technologies. — 2022. — Т. 10, № 9. — С. 21–31.

Намиот Д. Е., Ильюшин Е. А. Об устойчивости и безопасности систем искусственного интеллекта // International Journal of Open Information Technologies. — 2022. — Т. 10, № 9. — С. 126–134.

Намиот Д. Е., Ильюшин Е. А., Чижов И. В. Искусственный интеллект и кибербезопасность // International Journal of Open Information Technologies. — 2022. — Т. 10, № 9. — С. 135–147.

Stroeva E., Tonkikh A. Methods for formal verification of artificial neural networks: A review of existing approaches // International Journal of Open Information Technologies. — 2022. — Vol. 10, no. 10. — P. 3.

Намиот Д., Ильюшин Е. Мониторинг сдвига данных в моделях машинного обучения // International Journal of Open Information Technologies. — 2022. — Т. 10, № 12. — С. 84–93.

Костюмов, Василий Владимирович. "Обзор и систематизация атак уклонением на модели компьютерного зрения." International Journal of Open Information Technologies 10.10 (2022): 11-20.

Намиот Д. Е., Ильюшин Е. А. О причинах неудач проектов машинного обучения // International Journal of Open Information Technologies. — 2023. — Т. 11, № 1. — С. 60–69.

Намиот Д. Е. Введение в атаки отравлением на модели машинного обучения // International Journal of Open Information Technologies. — 2023. — Т. 11, № 3. — С. 58–68.

Namiot D. E., Ilyushin E., Chizhov I. On the practical generation of counterfactual examples // Труды Института системного анализа Российской академии наук. — 2023. — Vol. 73, no. 1. — P. 73–81.

Junzhe S., Namiot D. E. A survey of model inversion attacks and countermeasures // Труды Института системного анализа Российской академии наук. — 2023. — Vol. 73, no. 1. — P. 82–93.

Junzhe S., Namiot D. A survey of the implementations of model inversion attacks // Communications in Computer and Information Science. — 2023. — Vol. 1748. — P. 3–16.

Намиот Д. Е. Схемы атак на модели машинного обучения // International Journal of Open Information Technologies. — 2023. — Т. 11, № 5. — С. 68–86.

On the evasion attack detector / L. Huayui, V. Kostyumov, O. Pilipenko, D. Namiot // DCCN 2023. Материалы конференции. — ИПУ РАН Москва: 2023. — P. 183–188.

Junzhe S., Namiot D. On the machine learning models inversion attack detector // DCCN 2023. Материалы конференции. — ИПУ РАН Москва: 2023. — P. 194.

Lozinskii I., Kostyumov V., Stroeva E. Extraction of trigger and mask from poisoned data using modified activation clustering and neural cleanse methods // International Journal of Open Information Technologies. — 2023. — Vol. 11, no. 7. — P. 1

Чехонина, Екатерина Андреевна, and Василий Владимирович Костюмов. "ОБЗОР СОСТЯЗАТЕЛЬНЫХ АТАК И МЕТОДОВ ЗАЩИТЫ ДЛЯ ДЕТЕКТОРОВ ОБЪЕКТОВ." International Journal of Open Information Technologies 11.7 (2023): 11-20.

Пришлецов Д. Е., Пришлецов С. Е., Намиот Д. Е. Камуфляж как состязательные атаки на модели машинного обучения // International Journal of Open Information Technologies. — 2023. — Т. 11, № 9. — С. 41–49.

Намиот Д. Е., Зубарева Е. В. О работе ai red team // International Journal of Open Information Technologies. — 2023. — Т. 11, № 10. — С. 130–139.

Намиот Д. Е., Ильюшин Е. А. Доверенные платформы искусственного интеллекта: сертификация и аудит // International Journal of Open Information Technologies. — 2024. — Т. 12, № 1. — С. 43–60.

Киржинов Д. А., Ильюшин Е. А. Сравнительный анализ алгоритмов атак и защиты на графовые архитектуры ИНС // International Journal of Open Information Technologies. — 2024. — Т. 12, № 2.

Намиот Д. Е., Романов В. Ю. Об улучшении робастности моделей машинного обучения // International Journal of Open Information Technologies. — 2024. — Т. 12, № 3. — С. 88–98.

Junzhe S., Namiot D. On real-time model inversion attacks detection // Lecture Notes in Computer Science. — 2024. — Vol. 14123. — P. 56–67.

Мударова Р. М., Намиот Д. Е. Противодействие атакам типа инъекция подсказок на большие языковые модели // International Journal of Open Information Technologies. — 2024. — Т. 12, № 5. — С. 39–48.

Намиот Д. Е., Ильюшин Е. А. Искусственный интеллект в кибербезопасности: поиск вредоносного программного обеспечения // International Journal of Open Information Technologies. — 2024. — Т. 12, № 6. — С. 143–149.

Lebed, S. V., et al. "Large Language Models in Cyberattacks." Doklady Mathematics. Vol. 110. No. Suppl 2. Moscow: Pleiades Publishing, 2024.

Селевенко Р. М., Строева Е. Н. Исследование и разработка алгоритма формальной верификации и метрики оценки качества на основе методов понижения размерности ИНС // INJOIT. — 2024. — Т. 12, № 6. — С. 2.

Биджиев Т. М., Намиот Д. Е. Атаки на модели машинного обучения, основанные на фреймворке pytorch // Автоматика и телемеханика. — 2024. — № 3. — С. 38–50.

Намиот Д. Е., Ильюшин Е. А. О сертификации систем искусственного интеллекта // Физика элементарных частиц и атомного ядра. — 2024. — Т. 55, № 3. — С. 530–536.

Намиот Д. Е., Куприяновский В. П., Пичугов А. А. Состязательные атаки для автономных транспортных средств // International Journal of Open Information Technologies. — 2024. — Т. 12, № 7. — С. 139–149.

Намиот Д. Е. О кибератаках с помощью систем Искусственного интеллекта // International Journal of Open Information Technologies. — 2024. — Т. 12, № 9. — С. 132–141.

Воробьев, Егор Александрович. "Анализ состязательных атак на системы сегментации изображений." International Journal of Open Information Technologies 12.10 (2024): 1-25.

Намиот Д. Е., Ильюшин Е. А. О киберрисках генеративного Искусственного Интеллекта // International Journal of Open Information Technologies. — 2024. — Т. 12, № 10. — С. 109–119.

Порывай, Максим Викторович. "Сравнительное исследование методов естественной аугментации изображений." International Journal of Open Information Technologies 12.10 (2024): 26-33.

Герасименко, Денис Валерьевич, and Дмитрий Евгеньевич Намиот. "Извлечение тренировочных данных: Риски и решения в контексте безопасности LLM." International Journal of Open Information Technologies 12.11 (2024): 9-19.

Костиков, Егор Вячеславович. "Методы анализа логов Sysmon для обнаружения киберугроз." International Journal of Open Information Technologies 12.11 (2024): 25-34.

Намиот Д. Е., Ильюшин Е. А. Архитектура LLM агентов //International Journal of Open Information Technologies. – 2025. – Т. 13. – №. 1. – С. 67-74.

Воробьев Е. А., Намиот Д. Е. Состязательное тестирование моделей сегментации изображений // Программная инженерия. — 2025. — Т. 16, № 4. — С. 190–198.

Намиот, Д. Е., and Е. А. Ильюшин. "Об оценке доверия к системам Искусственного интеллекта." International Journal of Open Information Technologies 13.3 (2025): 75-90.

Хамзаева, М. А., and О. Р. Лапонина. "Повышение устойчивости к состязательным атакам моделей машинного обучения для обнаружения межсайтового выполнения сценариев." International Journal of Open Information Technologies 13.6 (2025): 25-33.

Бербер, Д. В., and О. Р. Лапонина. "Разработка подходов к увеличению устойчивости моделей машинного обучения для обнаружения распределенных атак отказа обслуживания." International Journal of Open Information Technologies 13.6 (2025): 16-24.

Егорова, Е. С., and О. Р. Лапонина. "Состязательное тестирование моделей машинного обучения, предназначенных для обнаружения SQL-инъекций." International Journal of Open Information Technologies 13.6 (2025): 34-41.

Лапонина, О. Р., and Р. Н. Костин. "Разработка программного обеспечения моделирования угроз для систем на базе LLM-агентов." International Journal of Open Information Technologies 13.6 (2025): 132-146.

Намиот, Д. Е. "Что LLM знает о кибербезопасности." International Journal of Open Information Technologies 13.7 (2025): 37-46.

Намиот, Д. Е. "Искусственный Интеллект в. Кибербезопасности. Хроника. Выпуск 1." International Journal of Open Information Technologies 13.9 (2025): 34-42.

Намиот, Д. Е., and Е. А. Ильюшин. "О кибербезопасности ИИ-агентов." International Journal of Open Information Technologies 13.9 (2025): 13-24.

Егоров, М. Э., et al. "Объяснения моделей машинного обучения и состязательные атаки." International Journal of Open Information Technologies 13.9 (2025): 50-59.

Намиот, Д. Е., and Е. А. Ильюшин. "Уязвимости экосистемы MCP." International Journal of Open Information Technologies 13.10 (2025): 74-82.

Намиот, Д. Е. "Искусственный Интеллект в Кибербезопасности. Хроника. Выпуск 2." International Journal of Open Information Technologies 13.10 (2025): 58-67.

Poryvai, Maxim, and Dmitry Namiot. "On Natural Image Augmentation to Increase Robustness of Machine Learning Models." 2025 International Russian Automation Conference (RusAutoCon). IEEE, 2025.

Namiot D., Zubareva E. On open datasets for llm adversarial testing // Communications in Computer and Information Science. — 2025. — Vol. 2641. — P. 137–148. 

Намиот, Д. Е. "Искусственный Интеллект в Кибербезопасности. Хроника. Выпуск 3." International Journal of Open Information Technologies 13.11 (2025): 169-179.

Maloyan, Narek, Bislan Ashinov, and Dmitry Namiot. "Investigating the Vulnerability of LLM-as-a-Judge Architectures to Prompt-Injection Attacks."  arXiv preprint arXiv:2505.13348 (2025).

Maloyan, Narek, and Dmitry Namiot. "Adversarial Attacks on LLM-as-a-Judge Systems: Insights from Prompt Injections." arXiv preprint arXiv:2504.18333 (2025).

Намиот, Д. Е. "Искусственный Интеллект в Кибербезопасности. Хроника. Выпуск 4." International Journal of Open Information Technologies 14.1 (2026): 81-94.

Maloyan, Narek, and Dmitry Namiot. "Prompt Injection Attacks on Agentic Coding Assistants: A Systematic Analysis of Vulnerabilities in Skills, Tools, and Protocol Ecosystems." arXiv preprint arXiv:2601.17548 (2026).

Намиот, Д. Е. "Искусственный Интеллект в Кибербезопасности. Хроника. Выпуск 5." International Journal of Open Information Technologies 14.2 (2026): 47-57.

Maloyan, Narek, and Dmitry Namiot. "Breaking the Protocol: Security Analysis of the Model Context Protocol Specification and Prompt Injection Vulnerabilities in Tool-Integrated LLM Agents." arXiv preprint arXiv:2601.17549 (2026).

Дата Ёлка

Запись DS/ML конференции Дата Ёлка - 2025

Голая правда

Изображения обнаженных людей вызывают беспокойство у регулирующих органов

Правительства по всему миру забили тревогу после того, как чат-бот Grok от xAI сгенерировал десятки тысяч изображений сексуализированных девушек и женщин без их согласия.

Что произошло: Волна пользователей социальной сети X (бывший Twitter) подтолкнула Grok к созданию изображений публичных деятелей и частных лиц в бикини или нижнем белье, в провокационных позах и/или с измененными физическими чертами. Несколько стран отреагировали, запросив внутренние данные, введя новые правила и пригрозив приостановить работу X и Grok, если компания не устранит возможность генерации таких изображений. Первоначально X отреагировала, ограничив доступ к функциям редактирования изображений только для платных пользователей. В конечном итоге она заблокировала все измененные изображения, на которых изображены «реальные люди в откровенной одежде», по всему миру и генерировала изображения подобного рода в юрисдикциях, где это незаконно.

Как это работает: По данным одного из анализов, опубликованных Bloomberg, в конце декабря за 24 часа генератор изображений Aurora от xAI, работающий в паре с Grok, создавал до 6700 изображений сексуального характера в час. Grok обычно отказывается создавать изображения обнаженных тел, но выполняет запросы на демонстрацию людей на фотографиях в откровенной одежде, сообщила The Washington Post. На это обратили внимание несколько национальных правительств.

Бразилия: Депутат Эрика Хилтон призвала прокуратуру и орган по защите данных Бразилии провести расследование в отношении X и приостановить работу Grok и других функций ИИ на X по всей стране.
Европейский союз: Министр СМИ Германии Вофрам Веймар обвинил Grok в нарушении Закона ЕС о цифровых услугах, который запрещает изображения сексуального характера, созданные без согласия, и изображения сексуального насилия над детьми, как это определено государствами-членами.
Франция: Министры правительства осудили «явно незаконный контент», созданный Grok, в то время как официальные лица расширили масштабы предыдущего расследования в отношении X, включив в него дипфейки.
Индия: Министерство электроники и информационных технологий потребовало от X удалить «незаконный контент» и наказать «нарушителей». Кроме того, оно обязало компанию провести проверку технологии и управления Grok, устранить любые недостатки и представить отчет правительству.
Индонезия: Правительство заблокировало доступ к Grok в стране.
Малайзия: Малайзия также заблокировала доступ к Grok после расследования в отношении X, занимавшейся созданием «непристойных, крайне оскорбительных или иным образом вредных» изображений.
Польша: Председатель парламента Влодзимеж Чарзасты сослался на X, чтобы обосновать необходимость усиления правовой защиты несовершеннолетних в социальных сетях. Великобритания: Министерство внутренних дел Великобритании, отвечающее за правоохранительную деятельность, заявило, что запретит инструменты для «обнажения». Регулятор онлайн-платформ начал расследование того, нарушала ли X действующие законы.
Соединенные Штаты: Сенаторы Рон Уайден (Орегон), Эд Марки (Массачусетс) и Бен Рэй Лухан (Нью-Мексико), все от Демократической партии, направили открытые письма генеральным директорам Apple и Google с просьбой удалить приложение X из их магазинов приложений, утверждая, что создание X изображений сексуального характера без согласия нарушает их условия предоставления услуг. Ответ X: В сообщении в ленте X, касающемся вопросов безопасности, говорится, что компания удалит все публикации, содержащие изображения, которые изображают (i) обнаженность без согласия субъекта и (ii) сексуальное насилие над детьми. Аккаунт Grok X больше не позволит пользователям, платным или бесплатным, в любой юрисдикции, изменять изображения реальных людей, чтобы изображать их в откровенной одежде. Кроме того, Grok запретит пользователям создавать изображения реальных людей в бикини или другой откровенной одежде, если такие изображения являются незаконными.

За кулисами новостей: Правительства пытаются ограничить использование генераторов изображений для удовлетворения мужского желания видеть фотографии обнаженных женщин примерно с 2019 года, когда впервые появилось приложение для этой цели.

В 2019 и 2020 годах штаты Калифорния и Вирджиния в США запретили дипфейки, изображающие «интимные части тела» человека или сексуальную активность с его согласия. В 2023 году Китай принял закон, требующий строгой маркировки и согласия на изменение биометрических данных, включая выражение лица, голос и лицо, а Великобритания сделала распространение интимных дипфейков приоритетным правонарушением. В 2025 году Южная Корея криминализировала хранение и просмотр порнографии с использованием дипфейков, а Закон об искусственном интеллекте Европейского союза потребовал прозрачности для синтетического контента. В США закон «Take It Down» 2025 года криминализировал публикацию несанкционированных «интимных» — обычно подразумеваемых как обнаженные — изображений, созданных с помощью ИИ.

Почему это важно: Хотя другие генераторы изображений могут использоваться аналогичным образом, тесная связь между X и Grok (обе компании принадлежат Илону Маску) добавляет новое измерение в регулирование дипфейков. Ранее регулирующие органы освобождали социальные сети от ответственности за незаконный контент, размещаемый их пользователями. Тот факт, что Grok, который помогал в создании изображений, публиковал свои результаты непосредственно на X, ставит саму социальную сеть в центр внимания. Хотя правовой статус изображений «обнаженной» женщины (в отличие от обнаженных тел), созданных без согласия, еще не определен, вропейская комиссия может наложить штраф в размере 6 процентов от годового дохода X — это предупреждение для компаний, занимающихся искусственным интеллектом, чьи генераторы изображений могут создавать аналогичные результаты.

Мы считаем: цифровое раздевание человека без его согласия — это отвратительно. Никто не должен подвергаться унижению и насилию, будучи изображенным таким образом. Помимо Grok, для этой цели могут использоваться конкурирующие генераторы изображений от Google, OpenAI и других, а также Photoshop, хотя это требует больших усилий со стороны пользователя. Мы поддерживаем правила, запрещающие использование инструментов ИИ или не-ИИ для создания изображений сексуального характера с участием идентифицируемых людей без их согласия.

/via deeplearning.ai

Радиочастотные атаки

Системы на основе радиочастот (РЧ) все чаще используются для обнаружения дронов путем анализа их РЧ-сигналов и преобразования их в спектрограммы, которые обрабатываются моделями обнаружения объектов. Существующие РЧ-атаки на модели, основанные на изображениях, изменяют цифровые характеристики, что затрудняет внедрение беспроводной (OTA) радиосвязи из-за сложности преобразования цифровых возмущений в передаваемые сигналы, которые могут вызывать ошибки синхронизации и помехи, а также сталкиваться с аппаратными ограничениями. Мы представляем первую физическую атаку на РЧ-детекторы дронов на основе изображений, оптимизируя классоспецифичные универсальные комплексные возмущения основной полосы (I/Q), передаваемые вместе с легитимными коммуникациями. Мы оценили атаку, используя РЧ-записи и эксперименты OTA с четырьмя типами дронов. Наши результаты показывают, что умеренные структурированные возмущения I/Q совместимы со стандартными РЧ-цепями и надежно снижают обнаружение целевых дронов, сохраняя при этом обнаружение легитимных дронов. - Real-World Adversarial Attacks on RF-Based Drone Detectors

См. также другие публикации по теме физические атаки

Вайб-хакеры

Неограниченные большие языковые модели (LLM), такие как WormGPT 4 и KawaiiGPT, улучшают свои возможности по генерации вредоносного кода, предоставляя функциональные скрипты для шифраторов программ-вымогателей и горизонтального перемещения. Исследователи из Palo Alto Networks Unit42 экспериментировали с двумя LLM, которые всё чаще используются киберпреступниками по платным подпискам или бесплатным локальным экземплярам.

Модель WormGPT первоначально появилась в 2023 году, но, как сообщается, проект был прекращен в том же году. WormGPT 4 — это возрождение бренда, появившееся в сентябре. Оно доступно за 50 долларов в месяц или за 220 долларов за пожизненный доступ и работает как нецензурированный вариант ChatGPT, специально обученный для операций киберпреступности.

Бесплатной альтернативой, созданной сообществом, является KawaiiGPT, обнаруженная в июле этого года, которая может генерировать хорошо продуманные фишинговые сообщения и автоматизировать горизонтальное перемещение, создавая готовые к запуску скрипты. Результатом такого вайб-хакинга являются проекты, которые предоставляют вредоносное ПО как сервис.

Управление рисками ИИ

Интересная компания по AI Risk Management - Alethea

Новое расследование Alethea выявило скоординированную экосистему недостоверных сетей «фан-страниц», действующих на различных социальных платформах и нацеленных почти на все основные профессиональные спортивные лиги США.

Эти страницы позиционируют себя как центры сообществ, но функционируют как высокоэффективные «фермы внимания». Они распространяют провокации, дезинформацию, сгенерированную искусственным интеллектом, и коммерческий спам, чтобы спровоцировать вовлеченность, перенаправить трафик на мошеннические и перегруженные рекламой сайты и отвлечь внимание и доход от лиг, команд, вещателей и легитимных издателей. Цель — не фанатство. Цель — вирусность и прибыль.

Наш анализ показывает, что эти сети используют повторяющиеся тактики: сфабрикованные цитаты, приписываемые звездным спортсменам, фальшивые «СРОЧНЫЕ» оповещения, ложные изменения расписания и переработанные сюжетные линии, масштабируемые в разных лигах путем замены имен, команд или изображений. Чтобы избежать пристального внимания, они используют сигналы достоверности, такие как коды городов США, поддельные контакты малых предприятий и фейковые аккаунты в социальных сетях.

Влияние выходит за рамки онлайн-шума. Поскольку синтетические нарративы создают трение, которое приводит к комментариям и репостам быстрее, чем основанный на фактах контент или официальные сообщения, они создают репутационные риски, подрывают доверие к каналам лиги, отнимают рекламные доходы у реальных издателей и вынуждают коммуникационные команды работать в условиях сужающегося окна для реакции. Когда аудитория не может отличить реальные обновления от искусственно созданных споров, разрушается основной актив, на котором построена спортивная индустрия - доверие к болельщикам.

В полном отчете подробно описывается, как работают эти сети, почему они так эффективно масштабируются и что это значит для руководителей коммуникационных отделов в высококонкурентных отраслях.

Атаки фальшивыми изображениями

1. Атака на ЖД. Движение поездов было остановлено после того, как в социальных сетях появилось изображение, предположительно созданное с помощью искусственного интеллекта, на котором, как казалось, были видны серьезные повреждения моста после землетрясения.

Подземные толчки, произошедшие в среду вечером, ощущались по всему Ланкаширу и южной части Озерного края.

Компания Network Rail сообщила, что ей стало известно об изображении, на котором, как казалось, были видны серьезные повреждения Карлайлского моста в Ланкастере, в 00:30 по Гринвичу, и остановила движение поездов по мосту на время проведения проверок безопасности. Журналист BBC пропустил изображение через чат-бота с искусственным интеллектом, который выявил ключевые места, которые могли быть изменены.

2. Виртуальное похищение. ФБР предупреждает о преступниках, изменяющих изображения, распространяемые в социальных сетях, и использующих их в качестве поддельных фотографий, подтверждающих, что человек жив, в мошеннических схемах с виртуальным похищением и требованием выкупа. Как пояснило ФБР, мошеннические схемы с виртуальным похищением не предполагают фактического похищения. Вместо этого преступники используют отредактированные изображения, найденные в социальных сетях, и общедоступную информацию, чтобы создать убедительные сценарии, призванные заставить жертв заплатить выкуп, прежде чем убедиться в безопасности их близких.

Агенты энтерпрайза

Как на самом деле выглядит готовый к использованию в корпоративной среде ИИ-агент? Без управляемых данных, отказоустойчивой инфраструктуры, оркестровки и человеческого контроля готовые к демонстрации агенты терпят неудачу в производственной среде, создавая риски вместо возврата инвестиций. Проблема не в модели, а в системе, которая её окружает. - Инфографика

См. также другие публикации, посвященные агентам

CWE Top 25

Список 25 самых опасных уязвимостей программного обеспечения CWE освещает наиболее серьезные и распространенные недостатки, лежащие в основе 39 080 записей Common Vulnerabilities and Exposures (CVE™) в наборе данных этого года. Выявление первопричин этих уязвимостей служит мощным ориентиром для инвестиций, политики и практики, направленных на предотвращение их возникновения, что приносит пользу как представителям отрасли, так и государственным заинтересованным сторонам. - MITRE

Позиция 15: Deserialization of Untrusted Data - прямо касается загрузки преобученных моделей ML.

Опасно и тревожно

Google удаляет некоторые из своих сводок по ИИ после того, как здоровье пользователей оказалось под угрозой.

Компания Google удалила некоторые из своих обзоров состояния здоровья, созданных с помощью искусственного интеллекта, после того, как расследование Guardian выявило, что люди подвергались риску, получая ложную и вводящую в заблуждение информацию.

Компания заявила, что ее обзоры, созданные с помощью генеративного ИИ и предоставляющие краткие обзоры важной информации по той или иной теме или вопросу, являются «полезными» и «надежными». Однако некоторые из этих обзоров, отображаемые в верхней части результатов поиска, содержали неточную информацию о состоянии здоровья, подвергая пользователей риску.

В одном случае, который эксперты назвали «опасным» и «тревожным», Google предоставил ложную информацию о важнейших анализах функции печени, из-за чего люди с серьезными заболеваниями печени могли ошибочно считать себя здоровыми.

Как выяснила Guardian, при вводе запроса «каков нормальный диапазон анализов крови на функцию печени» отображалось множество цифр, мало контекста и не учитывались национальность, пол, этническая принадлежность или возраст пациентов. Эксперты заявили, что то, что Google AI Overviews называл нормой, может сильно отличаться от того, что на самом деле считалось нормой. Эти сводки могут привести к тому, что тяжелобольные пациенты ошибочно посчитают результаты анализов нормальными и не будут посещать последующие медицинские осмотры.

После расследования компания удалила AI Overviews для поисковых запросов «каков нормальный диапазон анализов крови на функцию печени» и «каков нормальный диапазон анализов функции печени». Представитель Google заявил: «Мы не комментируем отдельные удаления в Поиске. В случаях, когда AI Overviews упускают какой-то контекст, мы работаем над общими улучшениями, а также принимаем меры в соответствии с нашей политикой, когда это необходимо». - отсюда

DocumentDB

DocumentDB — это совместимая с MongoDB база данных документов с открытым исходным кодом, построенная на основе PostgreSQL. Она предлагает нативную реализацию документоориентированной базы данных NoSQL, обеспечивая беспрепятственное выполнение операций CRUD (создание, чтение, обновление, удаление) с данными типа BSON (Binary JSON) в рамках PostgreSQL. Помимо базовых операций, DocumentDB позволяет пользователям выполнять сложные задачи, включая полнотекстовый поиск, геопространственные запросы и векторный поиск, предоставляя надежную функциональность и гибкость для различных потребностей в управлении данными.

Новости NIST

22 декабря 2025 г. Национальный институт стандартов и технологий (NIST) объявил о двух новых национальных инициативах, расширяющих его давнее сотрудничество с MITRE: Центр экономической безопасности ИИ для повышения производительности обрабатывающей промышленности США и Центр экономической безопасности ИИ для защиты критической инфраструктуры США от киберугроз. MITRE будет управлять обоими центрами, сотрудничая с экспертами NIST, промышленностью и академическими кругами для продвижения и ускорения трансформационных решений в области ИИ.

Это расширенное сотрудничество отражает общую приверженность превращению передовых исследований в области ИИ в развертываемые, реальные возможности. Центр повышения производительности обрабатывающей промышленности США сосредоточится на укреплении американского производства путем стимулирования новой промышленной революции, ориентированной на эффективность, качество и инновации. Центр защиты критической инфраструктуры США от киберугроз будет заниматься кибербезопасностью критической инфраструктуры США, обеспечивая обнаружение угроз в режиме реального времени, автоматизацию реагирования, прогнозирование сбоев и анализ больших объемов данных для выявления возникающих рисков.

«Наша цель — устранить барьеры на пути американских инноваций в области ИИ и ускорить применение наших технологий ИИ по всему миру», — заявил исполняющий обязанности заместителя министра торговли по стандартам и технологиям и исполняющий обязанности директора NIST Крейг Буркхардт. «Это новое соглашение с MITRE будет направлено на повышение способности американских компаний более эффективно производить высококачественную продукцию, удовлетворять рыночные потребности внутри страны и за рубежом, а также стимулировать открытие и коммерциализацию новых технологий и устройств».

Центры будут использовать инвестиции MITRE в AI Lab, Federal AI Sandbox, и общедоступные инструменты, такие как ATLAS, CALDERA и ATT&CK.

NIST выпустил драфт Cybersecurity Framework Profile for Artificial Intelligence (NISTIR 8596). Данный профиль помогает организациям задуматься о том, как стратегически внедрять ИИ, одновременно противодействуя возникающим рискам кибербезопасности, связанным со стремительным развитием ИИ.

Установление ИИ-авторства

Википедия завела проект AI Cleanup - поиск контента, созданного ИИ. И написали хорошее руководство по определению искусственного авторства. Есть версия и на русском языке.

Agentic AI Foundation (AAIF)

Новый проект от Linux Foundation: Linux Foundation объявила о создании Agentic AI Foundation (AAIF) с участием ведущих технических проектов, включая Model Context Protocol (MCP) от Anthropic, goose от Block и AGENTS.md от OpenAI. AAIF обеспечивает нейтральную, открытую основу для прозрачного и совместного развития агентного ИИ.

MCP — это универсальный стандартный протокол для подключения моделей ИИ к инструментам, данным и приложениям; goose — это открытый исходный код, ориентированный на локальные решения, фреймворк для агентов ИИ, который объединяет языковые модели, расширяемые инструменты и стандартизированную интеграцию на основе MCP; AGENTS.md — это простой, универсальный стандарт, предоставляющий агентам ИИ согласованный источник рекомендаций, специфичных для каждого проекта, необходимых для надежной работы в различных репозиториях и инструментальных цепочках.

Появление агентного ИИ представляет собой новую эру автономного принятия решений и координации в системах ИИ, которая преобразует и революционизирует целые отрасли. AAIF предоставляет нейтральную, открытую основу для обеспечения прозрачного, совместного и благоприятного для внедрения ведущих проектов ИИ с открытым исходным кодом развития этой критически важной возможности. Его первые проекты, AGENTS.md, goose и MCP, заложили основу для общей экосистемы инструментов, стандартов и инноваций, управляемых сообществом.

«Мы наблюдаем, как ИИ вступает в новую фазу, поскольку разговорные системы переходят к автономным агентам, которые могут работать вместе. Всего за один год MCP, AGENTS.md и goose стали незаменимыми инструментами для разработчиков, создающих этот новый класс агентных технологий», — сказал Джим Землин, исполнительный директор Linux Foundation. «Объединение этих проектов в рамках AAIF гарантирует их рост с прозрачностью и стабильностью, которые может обеспечить только открытое управление. Linux Foundation гордится тем, что выступает в качестве нейтральной площадки, где они продолжат создавать инфраструктуру ИИ, на которую будет полагаться мир».

MCP

Запуск AAIF состоялся всего через год после выпуска MCP компанией Anthropic, поставщиком передовых систем ИИ, основанных на исследованиях в области безопасности, включая Claude и платформу разработчиков Claude. MCP быстро стал универсальным стандартным протоколом для подключения моделей ИИ к инструментам, данным и приложениям. Более 10 000 опубликованных MCP-серверов охватывают всё — от инструментов для разработчиков до развертываний в компаниях из списка Fortune 500. Протокол был принят такими популярными платформами ИИ, как Claude, Cursor, Microsoft Copilot, Gemini, VS Code, ChatGPT и другими, поскольку разработчики и предприятия отдают предпочтение простому методу интеграции, средствам контроля безопасности и более быстрому развертыванию.

«MCP начинался как внутренний проект для решения проблемы, с которой столкнулись наши собственные команды. Когда мы открыли его исходный код в ноябре 2024 года, мы надеялись, что другие разработчики найдут его таким же полезным, как и мы», — сказал Майк Кригер, директор по продуктам Anthropic. «Год спустя он стал отраслевым стандартом для подключения систем ИИ к данным и инструментам, используемым разработчиками, создающими приложения с помощью самых популярных инструментов для агентного программирования, и предприятиями, развертывающими приложения на AWS, Google Cloud и Azure. Передача MCP в дар Linux Foundation в рамках AAIF гарантирует, что он останется открытым, нейтральным и управляемым сообществом, становясь критически важной инфраструктурой для ИИ. Мы по-прежнему привержены поддержке и развитию MCP, и, учитывая многолетний опыт Linux Foundation в управлении проектами, которые обеспечивают работу интернета, это только начало».

goose

Выпущенный в начале 2025 года, goose — это открытый исходный код, ориентированный на локальные решения, фреймворк для агентов ИИ, который сочетает в себе языковые модели, расширяемые инструменты и стандартизированную интеграцию на основе MCP для обеспечения структурированной, надежной и заслуживающей доверия среды для создания и выполнения агентных рабочих процессов. Разработанный и предоставленный компанией Block, стоящей за Square, Cash App, Afterpay, TIDAL и растущей экосистемой биткоин-проектов, goose предоставляет практическую инфраструктуру, необходимую для безопасного и стабильного развития агентного ИИ.

«Мы находимся в критическом моменте для ИИ. Технология, которая определит следующее десятилетие, которая обещает стать крупнейшим двигателем экономического роста со времен Интернета, может либо оставаться закрытой и проприетарной в интересах немногих, либо развиваться на основе открытых стандартов, открытых технологий».

AGENTS.md

Выпущенный OpenAI в августе 2025 года, AGENTS.md — это простой, универсальный стандарт, предоставляющий агентам ИИ согласованный источник рекомендаций, специфичных для каждого проекта, необходимых для надежной работы в различных репозиториях и инструментальных цепочках. Эта основанная на Markdown система делает поведение агентов гораздо более предсказуемым в различных репозиториях и системах сборки. AGENTS.md уже используется более чем в 60 000 проектах с открытым исходным кодом и фреймворках для агентов, включая Amp, Codex, Cursor, Devin, Factory, Gemini CLI, GitHub Copilot, Jules и VS Code, среди прочих. OpenAI был одним из первых пользователей MCP и внес свой вклад в разработку ACP, Codex CLI, а также SDK для агентов и SDK для приложений для поддержки открытой экосистемы агентов, основанной на общих, совместимых протоколах.

«Для того чтобы агенты ИИ могли полностью раскрыть свой потенциал, разработчикам и предприятиям необходима надежная инфраструктура и доступные инструменты для дальнейшего развития. Став соучредителями AAIF и передав AGENTS.md, мы помогаем внедрять открытые и прозрачные методы, которые делают разработку агентов ИИ более предсказуемой, совместимой и безопасной», — сказал Ник Купер, член технического персонала OpenAI. «OpenAI давно считает, что общие, управляемые сообществом протоколы необходимы для здоровой экосистемы агентов, поэтому мы открыли исходный код ключевых компонентов, таких как Codex CLI, Agents SDK и теперь AGENTS.md. Мы гордимся тем, что работаем вместе с нашими соучредителями над созданием более открытого и надежного будущего для агентного ИИ».

Мониторинг сдвига данных

Обнаружение дрейфа в надежных системах машинного обучения. Необходимое условие для долгосрочного успеха систем машинного обучения

Еще один протокол агентов

Мы представляем SCP: протокол научного контекста (Science Context Protocol), стандарт с открытым исходным кодом, разработанный для ускорения научных открытий путем создания глобальной сети автономных научных агентов. SCP основан на двух фундаментальных принципах: (1) Единая интеграция ресурсов: В основе SCP лежит универсальная спецификация для описания и вызова научных ресурсов, охватывающая программные инструменты, модели, наборы данных и физические приборы. Эта стандартизация на уровне протокола позволяет агентам и приложениям ИИ беспрепятственно обнаруживать, вызывать и компоновать возможности на различных платформах и в рамках различных институциональных границ. (2) Управление жизненным циклом эксперимента: SCP дополняет протокол защищенной сервисной архитектурой, которая включает централизованный SCP Hub и федеративные SCP-серверы. Эта архитектура управляет полным жизненным циклом эксперимента (регистрация, планирование, выполнение, мониторинг и архивирование), обеспечивает детальную аутентификацию и авторизацию, а также организует отслеживаемые сквозные рабочие процессы, которые связывают вычислительные и физические лаборатории. На основе SCP мы создали платформу для научных открытий, которая предлагает исследователям и агентам крупномасштабную экосистему, включающую более 1600 инструментов. В самых разных областях применения SCP обеспечивает безопасное крупномасштабное сотрудничество между разнородными системами искусственного интеллекта и исследователями-людьми, значительно снижая затраты на интеграцию и повышая воспроизводимость результатов. Стандартизируя научный контекст и координацию инструментов на уровне протокола, SCP создает необходимую инфраструктуру для масштабируемой, межучрежденческой, агентно-ориентированной науки. - SCP: Accelerating Discovery with a Global Web of Autonomous Scientific Agents

См. также другие публикации, посвященные агентам

Графовый RAG

GraphRAG на практике: как создавать экономически эффективные системы поиска с высокой полнотой. Более интеллектуальные стратегии поиска, превосходящие плотные графы — с гибридными конвейерами и более низкой стоимостью.

См. также другие публикации по теме RAG

Публикации по теме Искусственный интеллект в кибербезопасности 23.01.2026

Вопросы безопасности систем ИИ рассматриваются в двух магистерских программах факультета ВМК МГУ имени М.В. Ломоносова: Искусственный интеллект в кибербезопасности и Кибербезопасность. Ниже приведен список публикаций, подготовленных в процессе реализации этих программ по состоянию на 28.09.2025

Ильюшин Е. А., Намиот Д. Е. An approach to the automatic enhancement of the robustness of ml models to external influences on the example of the problem of biometric speaker identification by voice // International Journal of Open Information Technologies. — 2021. — Vol. 9, no. 6. — P. 11–19.

Намиот Д. Е., Ильюшин Е. А., Чижов И. В. Текущие академические и индустриальные проекты, посвященные устойчивому машинному обучению // International Journal of Open Information Technologies. — 2021. — Т. 9, № 10. — С. 35–46.

Намиот Д. Е., Ильюшин Е. А., Чижов И. В. Основания для работ по устойчивому машинному обучению // International Journal of Open Information Technologies. — 2021. — Т. 9, № 11. — С. 68–74.

Намиот Д. Е., Ильшин Е. А., Чижов И. В. Военные применения машинного обучения // International Journal of Open Information Technologies. — 2022. — Т. 10, № 1. — С. 69–76.

Ильюшин Е. А., Намиот Д. Е., Чижов И. В. Атаки на системы машинного обучения – общие проблемы и методы // International Journal of Open Information Technologies. — 2022. — Т. 10, № 3. — С. 17–22.

Namiot D., Ilyushin E. On monitoring of machine learning models // Distributed Computer and Communication Networks: Control, Computation, Communications (DCCN-2022) : материалы XXV международной научной конференции: Москва, 26–30 сентября 2022 года / под общ. ред. В. М. Вишневского и К. Е. Самуйлова. — РУДН Москва: 2022. — P. 150–157.

Namiot D., Ilyushin E., Chizhov I. On a formal verification of machine learning systems // International Journal of Open Information Technologies. — 2022. — Vol. 10, no. 5. — P. 30–34.

Huayu L., Namiot D. A survey of adversarial attacks and defenses for image data on deep learning // International Journal of Open Information Technologies. — 2022. — Vol. 10, no. 5. — P. 9–16.

Намиот Д., Ильюшин Е., Пилипенко О. Доверенные платформы искусственного интеллекта // International Journal of Open Information Technologies. — 2022. — Т. 10, № 7. — С. 119–127.

Намиот Д., Ильюшин Е. Порождающие модели в машинном обучении // International Journal of Open Information Technologies. — 2022. — Т. 10, № 7. — С. 101–118.

Биджиев Т. М., Намиот Д. Е. Исследование существующих подходов к встраиванию вредоносного программного обеспечения в искусственные нейронные сети // International Journal of Open Information Technologies. — 2022. — Т. 10, № 9. — С. 21–31.

Намиот Д. Е., Ильюшин Е. А. Об устойчивости и безопасности систем искусственного интеллекта // International Journal of Open Information Technologies. — 2022. — Т. 10, № 9. — С. 126–134.

Намиот Д. Е., Ильюшин Е. А., Чижов И. В. Искусственный интеллект и кибербезопасность // International Journal of Open Information Technologies. — 2022. — Т. 10, № 9. — С. 135–147.

Stroeva E., Tonkikh A. Methods for formal verification of artificial neural networks: A review of existing approaches // International Journal of Open Information Technologies. — 2022. — Vol. 10, no. 10. — P. 3.

Намиот Д., Ильюшин Е. Мониторинг сдвига данных в моделях машинного обучения // International Journal of Open Information Technologies. — 2022. — Т. 10, № 12. — С. 84–93.

Костюмов, Василий Владимирович. "Обзор и систематизация атак уклонением на модели компьютерного зрения." International Journal of Open Information Technologies 10.10 (2022): 11-20.

Намиот Д. Е., Ильюшин Е. А. О причинах неудач проектов машинного обучения // International Journal of Open Information Technologies. — 2023. — Т. 11, № 1. — С. 60–69.

Намиот Д. Е. Введение в атаки отравлением на модели машинного обучения // International Journal of Open Information Technologies. — 2023. — Т. 11, № 3. — С. 58–68.

Namiot D. E., Ilyushin E., Chizhov I. On the practical generation of counterfactual examples // Труды Института системного анализа Российской академии наук. — 2023. — Vol. 73, no. 1. — P. 73–81.

Junzhe S., Namiot D. E. A survey of model inversion attacks and countermeasures // Труды Института системного анализа Российской академии наук. — 2023. — Vol. 73, no. 1. — P. 82–93.

Junzhe S., Namiot D. A survey of the implementations of model inversion attacks // Communications in Computer and Information Science. — 2023. — Vol. 1748. — P. 3–16.

Намиот Д. Е. Схемы атак на модели машинного обучения // International Journal of Open Information Technologies. — 2023. — Т. 11, № 5. — С. 68–86.

On the evasion attack detector / L. Huayui, V. Kostyumov, O. Pilipenko, D. Namiot // DCCN 2023. Материалы конференции. — ИПУ РАН Москва: 2023. — P. 183–188.

Junzhe S., Namiot D. On the machine learning models inversion attack detector // DCCN 2023. Материалы конференции. — ИПУ РАН Москва: 2023. — P. 194.

Lozinskii I., Kostyumov V., Stroeva E. Extraction of trigger and mask from poisoned data using modified activation clustering and neural cleanse methods // International Journal of Open Information Technologies. — 2023. — Vol. 11, no. 7. — P. 1

Чехонина, Екатерина Андреевна, and Василий Владимирович Костюмов. "ОБЗОР СОСТЯЗАТЕЛЬНЫХ АТАК И МЕТОДОВ ЗАЩИТЫ ДЛЯ ДЕТЕКТОРОВ ОБЪЕКТОВ." International Journal of Open Information Technologies 11.7 (2023): 11-20.

Пришлецов Д. Е., Пришлецов С. Е., Намиот Д. Е. Камуфляж как состязательные атаки на модели машинного обучения // International Journal of Open Information Technologies. — 2023. — Т. 11, № 9. — С. 41–49.

Намиот Д. Е., Зубарева Е. В. О работе ai red team // International Journal of Open Information Technologies. — 2023. — Т. 11, № 10. — С. 130–139.

Намиот Д. Е., Ильюшин Е. А. Доверенные платформы искусственного интеллекта: сертификация и аудит // International Journal of Open Information Technologies. — 2024. — Т. 12, № 1. — С. 43–60.

Киржинов Д. А., Ильюшин Е. А. Сравнительный анализ алгоритмов атак и защиты на графовые архитектуры ИНС // International Journal of Open Information Technologies. — 2024. — Т. 12, № 2.

Намиот Д. Е., Романов В. Ю. Об улучшении робастности моделей машинного обучения // International Journal of Open Information Technologies. — 2024. — Т. 12, № 3. — С. 88–98.

Junzhe S., Namiot D. On real-time model inversion attacks detection // Lecture Notes in Computer Science. — 2024. — Vol. 14123. — P. 56–67.

Мударова Р. М., Намиот Д. Е. Противодействие атакам типа инъекция подсказок на большие языковые модели // International Journal of Open Information Technologies. — 2024. — Т. 12, № 5. — С. 39–48.

Намиот Д. Е., Ильюшин Е. А. Искусственный интеллект в кибербезопасности: поиск вредоносного программного обеспечения // International Journal of Open Information Technologies. — 2024. — Т. 12, № 6. — С. 143–149.

Lebed, S. V., et al. "Large Language Models in Cyberattacks." Doklady Mathematics. Vol. 110. No. Suppl 2. Moscow: Pleiades Publishing, 2024.

Селевенко Р. М., Строева Е. Н. Исследование и разработка алгоритма формальной верификации и метрики оценки качества на основе методов понижения размерности ИНС // INJOIT. — 2024. — Т. 12, № 6. — С. 2.

Биджиев Т. М., Намиот Д. Е. Атаки на модели машинного обучения, основанные на фреймворке pytorch // Автоматика и телемеханика. — 2024. — № 3. — С. 38–50.

Намиот Д. Е., Ильюшин Е. А. О сертификации систем искусственного интеллекта // Физика элементарных частиц и атомного ядра. — 2024. — Т. 55, № 3. — С. 530–536.

Намиот Д. Е., Куприяновский В. П., Пичугов А. А. Состязательные атаки для автономных транспортных средств // International Journal of Open Information Technologies. — 2024. — Т. 12, № 7. — С. 139–149.

Намиот Д. Е. О кибератаках с помощью систем Искусственного интеллекта // International Journal of Open Information Technologies. — 2024. — Т. 12, № 9. — С. 132–141.

Воробьев, Егор Александрович. "Анализ состязательных атак на системы сегментации изображений." International Journal of Open Information Technologies 12.10 (2024): 1-25.

Намиот Д. Е., Ильюшин Е. А. О киберрисках генеративного Искусственного Интеллекта // International Journal of Open Information Technologies. — 2024. — Т. 12, № 10. — С. 109–119.

Порывай, Максим Викторович. "Сравнительное исследование методов естественной аугментации изображений." International Journal of Open Information Technologies 12.10 (2024): 26-33.

Герасименко, Денис Валерьевич, and Дмитрий Евгеньевич Намиот. "Извлечение тренировочных данных: Риски и решения в контексте безопасности LLM." International Journal of Open Information Technologies 12.11 (2024): 9-19.

Костиков, Егор Вячеславович. "Методы анализа логов Sysmon для обнаружения киберугроз." International Journal of Open Information Technologies 12.11 (2024): 25-34.

Намиот Д. Е., Ильюшин Е. А. Архитектура LLM агентов //International Journal of Open Information Technologies. – 2025. – Т. 13. – №. 1. – С. 67-74.

Воробьев Е. А., Намиот Д. Е. Состязательное тестирование моделей сегментации изображений // Программная инженерия. — 2025. — Т. 16, № 4. — С. 190–198.

Намиот, Д. Е., and Е. А. Ильюшин. "Об оценке доверия к системам Искусственного интеллекта." International Journal of Open Information Technologies 13.3 (2025): 75-90.

Хамзаева, М. А., and О. Р. Лапонина. "Повышение устойчивости к состязательным атакам моделей машинного обучения для обнаружения межсайтового выполнения сценариев." International Journal of Open Information Technologies 13.6 (2025): 25-33.

Бербер, Д. В., and О. Р. Лапонина. "Разработка подходов к увеличению устойчивости моделей машинного обучения для обнаружения распределенных атак отказа обслуживания." International Journal of Open Information Technologies 13.6 (2025): 16-24.

Егорова, Е. С., and О. Р. Лапонина. "Состязательное тестирование моделей машинного обучения, предназначенных для обнаружения SQL-инъекций." International Journal of Open Information Technologies 13.6 (2025): 34-41.

Лапонина, О. Р., and Р. Н. Костин. "Разработка программного обеспечения моделирования угроз для систем на базе LLM-агентов." International Journal of Open Information Technologies 13.6 (2025): 132-146.

Намиот, Д. Е. "Что LLM знает о кибербезопасности." International Journal of Open Information Technologies 13.7 (2025): 37-46.

Намиот, Д. Е. "Искусственный Интеллект в. Кибербезопасности. Хроника. Выпуск 1." International Journal of Open Information Technologies 13.9 (2025): 34-42.

Намиот, Д. Е., and Е. А. Ильюшин. "О кибербезопасности ИИ-агентов." International Journal of Open Information Technologies 13.9 (2025): 13-24.

Егоров, М. Э., et al. "Объяснения моделей машинного обучения и состязательные атаки." International Journal of Open Information Technologies 13.9 (2025): 50-59.

Намиот, Д. Е., and Е. А. Ильюшин. "Уязвимости экосистемы MCP." International Journal of Open Information Technologies 13.10 (2025): 74-82.

Намиот, Д. Е. "Искусственный Интеллект в Кибербезопасности. Хроника. Выпуск 2." International Journal of Open Information Technologies 13.10 (2025): 58-67.

Poryvai, Maxim, and Dmitry Namiot. "On Natural Image Augmentation to Increase Robustness of Machine Learning Models." 2025 International Russian Automation Conference (RusAutoCon). IEEE, 2025.

Namiot D., Zubareva E. On open datasets for llm adversarial testing // Communications in Computer and Information Science. — 2025. — Vol. 2641. — P. 137–148. 

Намиот, Д. Е. "Искусственный Интеллект в Кибербезопасности. Хроника. Выпуск 3." International Journal of Open Information Technologies 13.11 (2025): 169-179.

Намиот, Д. Е. "Искусственный Интеллект в Кибербезопасности. Хроника. Выпуск 4." International Journal of Open Information Technologies 14.1 (2026): 81-94.