ИИ для защиты спутниковых коммуникационных сетей

В данной статье рассматривается применение искусственного интеллекта (ИИ) для защиты спутниковых коммуникационных сетей с акцентом на выявление и предотвращение киберугроз. С быстрым развитием коммерческого космического сектора значение эффективной киберзащиты возросло благодаря растущей зависимости глобальной инфраструктуры от спутниковых технологий. В исследовании применяется структурированный сравнительный анализ методов ИИ по трём основным архитектурам спутников: геостационарной (GEO), низкой околоземной орбите (LEO) и гибридных системах. Методология основана на руководящих исследовательских вопросах и оценивает репрезентативные алгоритмы ИИ в контексте конкретных сценариев угроз, включая глушение, спуфинг, DDoS-атаки и перехват сигналов. Реальные случаи, такие как атака KA-SAT AcidRain и глушение Starlink, а также экспериментальные демонстрации противоглушения на основе RL и маршрутизации GNN/DQN, служат доказательствами практической применимости. Результаты подчёркивают как потенциал, так и ограничения ИИ-решений, показывая измеримые улучшения точности обнаружения, пропускной способности, снижения задержек и устойчивости к помехам. Представлены архитектурные подходы интеграции ИИ в спутниковую безопасность, а также обсуждаются их эффективность, компромиссы и возможность развертывания. - Artificial Intelligence in Satellite Network Defense: Architectures, Threats, and Security Protocols.

ФСТЭК и защита ИИ

Хороший обзор российских юридических документов по безопасности ИИ:

Приказ ФСТЭК N 117:

П.60 — раскрыто, что защищается в ИИ-контуре: наборы данных, модель, параметры, процессы/сервисы обработки данных и поиска решений; там же — запрет передавать разработчику модели ИИ информацию ограниченного доступа «для улучшения функционирования модели».

П.61 — контроль взаимодействия “запрос–ответ”:
а) при шаблонных запросах/ответах — определить шаблоны и контролировать соответствие;
б) при свободном тексте — определить допустимые тематики вопросов и ответов и контролировать их соблюдение;
в) разработать статистические критерии выявления недостоверных ответов, дать пользователю возможность их отмечать и организовать сбор/анализ;
г) обеспечить реагирование на недостоверные ответы (вплоть до ограничения области и функций, чтобы не принимать решения на их основе).
Далее (абз. после п.61): не допускается нерегламентированное влияние на параметры модели и функционирование ИС; (то есть атаки - взять и запретить)
А напоследок сказано, что необходимо применять доверенные технологии ИИ или компоненты. (осталось их создать)

Публикации по теме Искусственный интеллект в кибербезопасности 02.02.2026

Вопросы безопасности систем ИИ рассматриваются в двух магистерских программах факультета ВМК МГУ имени М.В. Ломоносова: Искусственный интеллект в кибербезопасности и Кибербезопасность. Ниже приведен список публикаций, подготовленных в процессе реализации этих программ по состоянию на 28.09.2025

Ильюшин Е. А., Намиот Д. Е. An approach to the automatic enhancement of the robustness of ml models to external influences on the example of the problem of biometric speaker identification by voice // International Journal of Open Information Technologies. — 2021. — Vol. 9, no. 6. — P. 11–19.

Намиот Д. Е., Ильюшин Е. А., Чижов И. В. Текущие академические и индустриальные проекты, посвященные устойчивому машинному обучению // International Journal of Open Information Technologies. — 2021. — Т. 9, № 10. — С. 35–46.

Намиот Д. Е., Ильюшин Е. А., Чижов И. В. Основания для работ по устойчивому машинному обучению // International Journal of Open Information Technologies. — 2021. — Т. 9, № 11. — С. 68–74.

Намиот Д. Е., Ильшин Е. А., Чижов И. В. Военные применения машинного обучения // International Journal of Open Information Technologies. — 2022. — Т. 10, № 1. — С. 69–76.

Ильюшин Е. А., Намиот Д. Е., Чижов И. В. Атаки на системы машинного обучения – общие проблемы и методы // International Journal of Open Information Technologies. — 2022. — Т. 10, № 3. — С. 17–22.

Namiot D., Ilyushin E. On monitoring of machine learning models // Distributed Computer and Communication Networks: Control, Computation, Communications (DCCN-2022) : материалы XXV международной научной конференции: Москва, 26–30 сентября 2022 года / под общ. ред. В. М. Вишневского и К. Е. Самуйлова. — РУДН Москва: 2022. — P. 150–157.

Namiot D., Ilyushin E., Chizhov I. On a formal verification of machine learning systems // International Journal of Open Information Technologies. — 2022. — Vol. 10, no. 5. — P. 30–34.

Huayu L., Namiot D. A survey of adversarial attacks and defenses for image data on deep learning // International Journal of Open Information Technologies. — 2022. — Vol. 10, no. 5. — P. 9–16.

Намиот Д., Ильюшин Е., Пилипенко О. Доверенные платформы искусственного интеллекта // International Journal of Open Information Technologies. — 2022. — Т. 10, № 7. — С. 119–127.

Намиот Д., Ильюшин Е. Порождающие модели в машинном обучении // International Journal of Open Information Technologies. — 2022. — Т. 10, № 7. — С. 101–118.

Биджиев Т. М., Намиот Д. Е. Исследование существующих подходов к встраиванию вредоносного программного обеспечения в искусственные нейронные сети // International Journal of Open Information Technologies. — 2022. — Т. 10, № 9. — С. 21–31.

Намиот Д. Е., Ильюшин Е. А. Об устойчивости и безопасности систем искусственного интеллекта // International Journal of Open Information Technologies. — 2022. — Т. 10, № 9. — С. 126–134.

Намиот Д. Е., Ильюшин Е. А., Чижов И. В. Искусственный интеллект и кибербезопасность // International Journal of Open Information Technologies. — 2022. — Т. 10, № 9. — С. 135–147.

Stroeva E., Tonkikh A. Methods for formal verification of artificial neural networks: A review of existing approaches // International Journal of Open Information Technologies. — 2022. — Vol. 10, no. 10. — P. 3.

Намиот Д., Ильюшин Е. Мониторинг сдвига данных в моделях машинного обучения // International Journal of Open Information Technologies. — 2022. — Т. 10, № 12. — С. 84–93.

Костюмов, Василий Владимирович. "Обзор и систематизация атак уклонением на модели компьютерного зрения." International Journal of Open Information Technologies 10.10 (2022): 11-20.

Намиот Д. Е., Ильюшин Е. А. О причинах неудач проектов машинного обучения // International Journal of Open Information Technologies. — 2023. — Т. 11, № 1. — С. 60–69.

Намиот Д. Е. Введение в атаки отравлением на модели машинного обучения // International Journal of Open Information Technologies. — 2023. — Т. 11, № 3. — С. 58–68.

Namiot D. E., Ilyushin E., Chizhov I. On the practical generation of counterfactual examples // Труды Института системного анализа Российской академии наук. — 2023. — Vol. 73, no. 1. — P. 73–81.

Junzhe S., Namiot D. E. A survey of model inversion attacks and countermeasures // Труды Института системного анализа Российской академии наук. — 2023. — Vol. 73, no. 1. — P. 82–93.

Junzhe S., Namiot D. A survey of the implementations of model inversion attacks // Communications in Computer and Information Science. — 2023. — Vol. 1748. — P. 3–16.

Намиот Д. Е. Схемы атак на модели машинного обучения // International Journal of Open Information Technologies. — 2023. — Т. 11, № 5. — С. 68–86.

On the evasion attack detector / L. Huayui, V. Kostyumov, O. Pilipenko, D. Namiot // DCCN 2023. Материалы конференции. — ИПУ РАН Москва: 2023. — P. 183–188.

Junzhe S., Namiot D. On the machine learning models inversion attack detector // DCCN 2023. Материалы конференции. — ИПУ РАН Москва: 2023. — P. 194.

Lozinskii I., Kostyumov V., Stroeva E. Extraction of trigger and mask from poisoned data using modified activation clustering and neural cleanse methods // International Journal of Open Information Technologies. — 2023. — Vol. 11, no. 7. — P. 1

Чехонина, Екатерина Андреевна, and Василий Владимирович Костюмов. "ОБЗОР СОСТЯЗАТЕЛЬНЫХ АТАК И МЕТОДОВ ЗАЩИТЫ ДЛЯ ДЕТЕКТОРОВ ОБЪЕКТОВ." International Journal of Open Information Technologies 11.7 (2023): 11-20.

Пришлецов Д. Е., Пришлецов С. Е., Намиот Д. Е. Камуфляж как состязательные атаки на модели машинного обучения // International Journal of Open Information Technologies. — 2023. — Т. 11, № 9. — С. 41–49.

Намиот Д. Е., Зубарева Е. В. О работе ai red team // International Journal of Open Information Technologies. — 2023. — Т. 11, № 10. — С. 130–139.

Намиот Д. Е., Ильюшин Е. А. Доверенные платформы искусственного интеллекта: сертификация и аудит // International Journal of Open Information Technologies. — 2024. — Т. 12, № 1. — С. 43–60.

Киржинов Д. А., Ильюшин Е. А. Сравнительный анализ алгоритмов атак и защиты на графовые архитектуры ИНС // International Journal of Open Information Technologies. — 2024. — Т. 12, № 2.

Намиот Д. Е., Романов В. Ю. Об улучшении робастности моделей машинного обучения // International Journal of Open Information Technologies. — 2024. — Т. 12, № 3. — С. 88–98.

Junzhe S., Namiot D. On real-time model inversion attacks detection // Lecture Notes in Computer Science. — 2024. — Vol. 14123. — P. 56–67.

Мударова Р. М., Намиот Д. Е. Противодействие атакам типа инъекция подсказок на большие языковые модели // International Journal of Open Information Technologies. — 2024. — Т. 12, № 5. — С. 39–48.

Намиот Д. Е., Ильюшин Е. А. Искусственный интеллект в кибербезопасности: поиск вредоносного программного обеспечения // International Journal of Open Information Technologies. — 2024. — Т. 12, № 6. — С. 143–149.

Lebed, S. V., et al. "Large Language Models in Cyberattacks." Doklady Mathematics. Vol. 110. No. Suppl 2. Moscow: Pleiades Publishing, 2024.

Селевенко Р. М., Строева Е. Н. Исследование и разработка алгоритма формальной верификации и метрики оценки качества на основе методов понижения размерности ИНС // INJOIT. — 2024. — Т. 12, № 6. — С. 2.

Биджиев Т. М., Намиот Д. Е. Атаки на модели машинного обучения, основанные на фреймворке pytorch // Автоматика и телемеханика. — 2024. — № 3. — С. 38–50.

Намиот Д. Е., Ильюшин Е. А. О сертификации систем искусственного интеллекта // Физика элементарных частиц и атомного ядра. — 2024. — Т. 55, № 3. — С. 530–536.

Намиот Д. Е., Куприяновский В. П., Пичугов А. А. Состязательные атаки для автономных транспортных средств // International Journal of Open Information Technologies. — 2024. — Т. 12, № 7. — С. 139–149.

Намиот Д. Е. О кибератаках с помощью систем Искусственного интеллекта // International Journal of Open Information Technologies. — 2024. — Т. 12, № 9. — С. 132–141.

Воробьев, Егор Александрович. "Анализ состязательных атак на системы сегментации изображений." International Journal of Open Information Technologies 12.10 (2024): 1-25.

Намиот Д. Е., Ильюшин Е. А. О киберрисках генеративного Искусственного Интеллекта // International Journal of Open Information Technologies. — 2024. — Т. 12, № 10. — С. 109–119.

Порывай, Максим Викторович. "Сравнительное исследование методов естественной аугментации изображений." International Journal of Open Information Technologies 12.10 (2024): 26-33.

Герасименко, Денис Валерьевич, and Дмитрий Евгеньевич Намиот. "Извлечение тренировочных данных: Риски и решения в контексте безопасности LLM." International Journal of Open Information Technologies 12.11 (2024): 9-19.

Костиков, Егор Вячеславович. "Методы анализа логов Sysmon для обнаружения киберугроз." International Journal of Open Information Technologies 12.11 (2024): 25-34.

Намиот Д. Е., Ильюшин Е. А. Архитектура LLM агентов //International Journal of Open Information Technologies. – 2025. – Т. 13. – №. 1. – С. 67-74.

Воробьев Е. А., Намиот Д. Е. Состязательное тестирование моделей сегментации изображений // Программная инженерия. — 2025. — Т. 16, № 4. — С. 190–198.

Намиот, Д. Е., and Е. А. Ильюшин. "Об оценке доверия к системам Искусственного интеллекта." International Journal of Open Information Technologies 13.3 (2025): 75-90.

Хамзаева, М. А., and О. Р. Лапонина. "Повышение устойчивости к состязательным атакам моделей машинного обучения для обнаружения межсайтового выполнения сценариев." International Journal of Open Information Technologies 13.6 (2025): 25-33.

Бербер, Д. В., and О. Р. Лапонина. "Разработка подходов к увеличению устойчивости моделей машинного обучения для обнаружения распределенных атак отказа обслуживания." International Journal of Open Information Technologies 13.6 (2025): 16-24.

Егорова, Е. С., and О. Р. Лапонина. "Состязательное тестирование моделей машинного обучения, предназначенных для обнаружения SQL-инъекций." International Journal of Open Information Technologies 13.6 (2025): 34-41.

Лапонина, О. Р., and Р. Н. Костин. "Разработка программного обеспечения моделирования угроз для систем на базе LLM-агентов." International Journal of Open Information Technologies 13.6 (2025): 132-146.

Намиот, Д. Е. "Что LLM знает о кибербезопасности." International Journal of Open Information Technologies 13.7 (2025): 37-46.

Намиот, Д. Е. "Искусственный Интеллект в. Кибербезопасности. Хроника. Выпуск 1." International Journal of Open Information Technologies 13.9 (2025): 34-42.

Намиот, Д. Е., and Е. А. Ильюшин. "О кибербезопасности ИИ-агентов." International Journal of Open Information Technologies 13.9 (2025): 13-24.

Егоров, М. Э., et al. "Объяснения моделей машинного обучения и состязательные атаки." International Journal of Open Information Technologies 13.9 (2025): 50-59.

Намиот, Д. Е., and Е. А. Ильюшин. "Уязвимости экосистемы MCP." International Journal of Open Information Technologies 13.10 (2025): 74-82.

Намиот, Д. Е. "Искусственный Интеллект в Кибербезопасности. Хроника. Выпуск 2." International Journal of Open Information Technologies 13.10 (2025): 58-67.

Poryvai, Maxim, and Dmitry Namiot. "On Natural Image Augmentation to Increase Robustness of Machine Learning Models." 2025 International Russian Automation Conference (RusAutoCon). IEEE, 2025.

Namiot D., Zubareva E. On open datasets for llm adversarial testing // Communications in Computer and Information Science. — 2025. — Vol. 2641. — P. 137–148. 

Намиот, Д. Е. "Искусственный Интеллект в Кибербезопасности. Хроника. Выпуск 3." International Journal of Open Information Technologies 13.11 (2025): 169-179.

Maloyan, Narek, Bislan Ashinov, and Dmitry Namiot. "Investigating the Vulnerability of LLM-as-a-Judge Architectures to Prompt-Injection Attacks."  arXiv preprint arXiv:2505.13348 (2025).

Maloyan, Narek, and Dmitry Namiot. "Adversarial Attacks on LLM-as-a-Judge Systems: Insights from Prompt Injections." arXiv preprint arXiv:2504.18333 (2025).

Намиот, Д. Е. "Искусственный Интеллект в Кибербезопасности. Хроника. Выпуск 4." International Journal of Open Information Technologies 14.1 (2026): 81-94.

Maloyan, Narek, and Dmitry Namiot. "Prompt Injection Attacks on Agentic Coding Assistants: A Systematic Analysis of Vulnerabilities in Skills, Tools, and Protocol Ecosystems." arXiv preprint arXiv:2601.17548 (2026).

Намиот, Д. Е. "Искусственный Интеллект в Кибербезопасности. Хроника. Выпуск 5." International Journal of Open Information Technologies 14.2 (2026): 47-57.

Maloyan, Narek, and Dmitry Namiot. "Breaking the Protocol: Security Analysis of the Model Context Protocol Specification and Prompt Injection Vulnerabilities in Tool-Integrated LLM Agents." arXiv preprint arXiv:2601.17549 (2026).

Дата Ёлка

Запись DS/ML конференции Дата Ёлка - 2025

Голая правда

Изображения обнаженных людей вызывают беспокойство у регулирующих органов

Правительства по всему миру забили тревогу после того, как чат-бот Grok от xAI сгенерировал десятки тысяч изображений сексуализированных девушек и женщин без их согласия.

Что произошло: Волна пользователей социальной сети X (бывший Twitter) подтолкнула Grok к созданию изображений публичных деятелей и частных лиц в бикини или нижнем белье, в провокационных позах и/или с измененными физическими чертами. Несколько стран отреагировали, запросив внутренние данные, введя новые правила и пригрозив приостановить работу X и Grok, если компания не устранит возможность генерации таких изображений. Первоначально X отреагировала, ограничив доступ к функциям редактирования изображений только для платных пользователей. В конечном итоге она заблокировала все измененные изображения, на которых изображены «реальные люди в откровенной одежде», по всему миру и генерировала изображения подобного рода в юрисдикциях, где это незаконно.

Как это работает: По данным одного из анализов, опубликованных Bloomberg, в конце декабря за 24 часа генератор изображений Aurora от xAI, работающий в паре с Grok, создавал до 6700 изображений сексуального характера в час. Grok обычно отказывается создавать изображения обнаженных тел, но выполняет запросы на демонстрацию людей на фотографиях в откровенной одежде, сообщила The Washington Post. На это обратили внимание несколько национальных правительств.

Бразилия: Депутат Эрика Хилтон призвала прокуратуру и орган по защите данных Бразилии провести расследование в отношении X и приостановить работу Grok и других функций ИИ на X по всей стране.
Европейский союз: Министр СМИ Германии Вофрам Веймар обвинил Grok в нарушении Закона ЕС о цифровых услугах, который запрещает изображения сексуального характера, созданные без согласия, и изображения сексуального насилия над детьми, как это определено государствами-членами.
Франция: Министры правительства осудили «явно незаконный контент», созданный Grok, в то время как официальные лица расширили масштабы предыдущего расследования в отношении X, включив в него дипфейки.
Индия: Министерство электроники и информационных технологий потребовало от X удалить «незаконный контент» и наказать «нарушителей». Кроме того, оно обязало компанию провести проверку технологии и управления Grok, устранить любые недостатки и представить отчет правительству.
Индонезия: Правительство заблокировало доступ к Grok в стране.
Малайзия: Малайзия также заблокировала доступ к Grok после расследования в отношении X, занимавшейся созданием «непристойных, крайне оскорбительных или иным образом вредных» изображений.
Польша: Председатель парламента Влодзимеж Чарзасты сослался на X, чтобы обосновать необходимость усиления правовой защиты несовершеннолетних в социальных сетях. Великобритания: Министерство внутренних дел Великобритании, отвечающее за правоохранительную деятельность, заявило, что запретит инструменты для «обнажения». Регулятор онлайн-платформ начал расследование того, нарушала ли X действующие законы.
Соединенные Штаты: Сенаторы Рон Уайден (Орегон), Эд Марки (Массачусетс) и Бен Рэй Лухан (Нью-Мексико), все от Демократической партии, направили открытые письма генеральным директорам Apple и Google с просьбой удалить приложение X из их магазинов приложений, утверждая, что создание X изображений сексуального характера без согласия нарушает их условия предоставления услуг. Ответ X: В сообщении в ленте X, касающемся вопросов безопасности, говорится, что компания удалит все публикации, содержащие изображения, которые изображают (i) обнаженность без согласия субъекта и (ii) сексуальное насилие над детьми. Аккаунт Grok X больше не позволит пользователям, платным или бесплатным, в любой юрисдикции, изменять изображения реальных людей, чтобы изображать их в откровенной одежде. Кроме того, Grok запретит пользователям создавать изображения реальных людей в бикини или другой откровенной одежде, если такие изображения являются незаконными.

За кулисами новостей: Правительства пытаются ограничить использование генераторов изображений для удовлетворения мужского желания видеть фотографии обнаженных женщин примерно с 2019 года, когда впервые появилось приложение для этой цели.

В 2019 и 2020 годах штаты Калифорния и Вирджиния в США запретили дипфейки, изображающие «интимные части тела» человека или сексуальную активность с его согласия. В 2023 году Китай принял закон, требующий строгой маркировки и согласия на изменение биометрических данных, включая выражение лица, голос и лицо, а Великобритания сделала распространение интимных дипфейков приоритетным правонарушением. В 2025 году Южная Корея криминализировала хранение и просмотр порнографии с использованием дипфейков, а Закон об искусственном интеллекте Европейского союза потребовал прозрачности для синтетического контента. В США закон «Take It Down» 2025 года криминализировал публикацию несанкционированных «интимных» — обычно подразумеваемых как обнаженные — изображений, созданных с помощью ИИ.

Почему это важно: Хотя другие генераторы изображений могут использоваться аналогичным образом, тесная связь между X и Grok (обе компании принадлежат Илону Маску) добавляет новое измерение в регулирование дипфейков. Ранее регулирующие органы освобождали социальные сети от ответственности за незаконный контент, размещаемый их пользователями. Тот факт, что Grok, который помогал в создании изображений, публиковал свои результаты непосредственно на X, ставит саму социальную сеть в центр внимания. Хотя правовой статус изображений «обнаженной» женщины (в отличие от обнаженных тел), созданных без согласия, еще не определен, вропейская комиссия может наложить штраф в размере 6 процентов от годового дохода X — это предупреждение для компаний, занимающихся искусственным интеллектом, чьи генераторы изображений могут создавать аналогичные результаты.

Мы считаем: цифровое раздевание человека без его согласия — это отвратительно. Никто не должен подвергаться унижению и насилию, будучи изображенным таким образом. Помимо Grok, для этой цели могут использоваться конкурирующие генераторы изображений от Google, OpenAI и других, а также Photoshop, хотя это требует больших усилий со стороны пользователя. Мы поддерживаем правила, запрещающие использование инструментов ИИ или не-ИИ для создания изображений сексуального характера с участием идентифицируемых людей без их согласия.

/via deeplearning.ai

Радиочастотные атаки

Системы на основе радиочастот (РЧ) все чаще используются для обнаружения дронов путем анализа их РЧ-сигналов и преобразования их в спектрограммы, которые обрабатываются моделями обнаружения объектов. Существующие РЧ-атаки на модели, основанные на изображениях, изменяют цифровые характеристики, что затрудняет внедрение беспроводной (OTA) радиосвязи из-за сложности преобразования цифровых возмущений в передаваемые сигналы, которые могут вызывать ошибки синхронизации и помехи, а также сталкиваться с аппаратными ограничениями. Мы представляем первую физическую атаку на РЧ-детекторы дронов на основе изображений, оптимизируя классоспецифичные универсальные комплексные возмущения основной полосы (I/Q), передаваемые вместе с легитимными коммуникациями. Мы оценили атаку, используя РЧ-записи и эксперименты OTA с четырьмя типами дронов. Наши результаты показывают, что умеренные структурированные возмущения I/Q совместимы со стандартными РЧ-цепями и надежно снижают обнаружение целевых дронов, сохраняя при этом обнаружение легитимных дронов. - Real-World Adversarial Attacks on RF-Based Drone Detectors

См. также другие публикации по теме физические атаки

Вайб-хакеры

Неограниченные большие языковые модели (LLM), такие как WormGPT 4 и KawaiiGPT, улучшают свои возможности по генерации вредоносного кода, предоставляя функциональные скрипты для шифраторов программ-вымогателей и горизонтального перемещения. Исследователи из Palo Alto Networks Unit42 экспериментировали с двумя LLM, которые всё чаще используются киберпреступниками по платным подпискам или бесплатным локальным экземплярам.

Модель WormGPT первоначально появилась в 2023 году, но, как сообщается, проект был прекращен в том же году. WormGPT 4 — это возрождение бренда, появившееся в сентябре. Оно доступно за 50 долларов в месяц или за 220 долларов за пожизненный доступ и работает как нецензурированный вариант ChatGPT, специально обученный для операций киберпреступности.

Бесплатной альтернативой, созданной сообществом, является KawaiiGPT, обнаруженная в июле этого года, которая может генерировать хорошо продуманные фишинговые сообщения и автоматизировать горизонтальное перемещение, создавая готовые к запуску скрипты. Результатом такого вайб-хакинга являются проекты, которые предоставляют вредоносное ПО как сервис.

Управление рисками ИИ

Интересная компания по AI Risk Management - Alethea

Новое расследование Alethea выявило скоординированную экосистему недостоверных сетей «фан-страниц», действующих на различных социальных платформах и нацеленных почти на все основные профессиональные спортивные лиги США.

Эти страницы позиционируют себя как центры сообществ, но функционируют как высокоэффективные «фермы внимания». Они распространяют провокации, дезинформацию, сгенерированную искусственным интеллектом, и коммерческий спам, чтобы спровоцировать вовлеченность, перенаправить трафик на мошеннические и перегруженные рекламой сайты и отвлечь внимание и доход от лиг, команд, вещателей и легитимных издателей. Цель — не фанатство. Цель — вирусность и прибыль.

Наш анализ показывает, что эти сети используют повторяющиеся тактики: сфабрикованные цитаты, приписываемые звездным спортсменам, фальшивые «СРОЧНЫЕ» оповещения, ложные изменения расписания и переработанные сюжетные линии, масштабируемые в разных лигах путем замены имен, команд или изображений. Чтобы избежать пристального внимания, они используют сигналы достоверности, такие как коды городов США, поддельные контакты малых предприятий и фейковые аккаунты в социальных сетях.

Влияние выходит за рамки онлайн-шума. Поскольку синтетические нарративы создают трение, которое приводит к комментариям и репостам быстрее, чем основанный на фактах контент или официальные сообщения, они создают репутационные риски, подрывают доверие к каналам лиги, отнимают рекламные доходы у реальных издателей и вынуждают коммуникационные команды работать в условиях сужающегося окна для реакции. Когда аудитория не может отличить реальные обновления от искусственно созданных споров, разрушается основной актив, на котором построена спортивная индустрия - доверие к болельщикам.

В полном отчете подробно описывается, как работают эти сети, почему они так эффективно масштабируются и что это значит для руководителей коммуникационных отделов в высококонкурентных отраслях.

Атаки фальшивыми изображениями

1. Атака на ЖД. Движение поездов было остановлено после того, как в социальных сетях появилось изображение, предположительно созданное с помощью искусственного интеллекта, на котором, как казалось, были видны серьезные повреждения моста после землетрясения.

Подземные толчки, произошедшие в среду вечером, ощущались по всему Ланкаширу и южной части Озерного края.

Компания Network Rail сообщила, что ей стало известно об изображении, на котором, как казалось, были видны серьезные повреждения Карлайлского моста в Ланкастере, в 00:30 по Гринвичу, и остановила движение поездов по мосту на время проведения проверок безопасности. Журналист BBC пропустил изображение через чат-бота с искусственным интеллектом, который выявил ключевые места, которые могли быть изменены.

2. Виртуальное похищение. ФБР предупреждает о преступниках, изменяющих изображения, распространяемые в социальных сетях, и использующих их в качестве поддельных фотографий, подтверждающих, что человек жив, в мошеннических схемах с виртуальным похищением и требованием выкупа. Как пояснило ФБР, мошеннические схемы с виртуальным похищением не предполагают фактического похищения. Вместо этого преступники используют отредактированные изображения, найденные в социальных сетях, и общедоступную информацию, чтобы создать убедительные сценарии, призванные заставить жертв заплатить выкуп, прежде чем убедиться в безопасности их близких.

Агенты энтерпрайза

Как на самом деле выглядит готовый к использованию в корпоративной среде ИИ-агент? Без управляемых данных, отказоустойчивой инфраструктуры, оркестровки и человеческого контроля готовые к демонстрации агенты терпят неудачу в производственной среде, создавая риски вместо возврата инвестиций. Проблема не в модели, а в системе, которая её окружает. - Инфографика

См. также другие публикации, посвященные агентам

CWE Top 25

Список 25 самых опасных уязвимостей программного обеспечения CWE освещает наиболее серьезные и распространенные недостатки, лежащие в основе 39 080 записей Common Vulnerabilities and Exposures (CVE™) в наборе данных этого года. Выявление первопричин этих уязвимостей служит мощным ориентиром для инвестиций, политики и практики, направленных на предотвращение их возникновения, что приносит пользу как представителям отрасли, так и государственным заинтересованным сторонам. - MITRE

Позиция 15: Deserialization of Untrusted Data - прямо касается загрузки преобученных моделей ML.

Опасно и тревожно

Google удаляет некоторые из своих сводок по ИИ после того, как здоровье пользователей оказалось под угрозой.

Компания Google удалила некоторые из своих обзоров состояния здоровья, созданных с помощью искусственного интеллекта, после того, как расследование Guardian выявило, что люди подвергались риску, получая ложную и вводящую в заблуждение информацию.

Компания заявила, что ее обзоры, созданные с помощью генеративного ИИ и предоставляющие краткие обзоры важной информации по той или иной теме или вопросу, являются «полезными» и «надежными». Однако некоторые из этих обзоров, отображаемые в верхней части результатов поиска, содержали неточную информацию о состоянии здоровья, подвергая пользователей риску.

В одном случае, который эксперты назвали «опасным» и «тревожным», Google предоставил ложную информацию о важнейших анализах функции печени, из-за чего люди с серьезными заболеваниями печени могли ошибочно считать себя здоровыми.

Как выяснила Guardian, при вводе запроса «каков нормальный диапазон анализов крови на функцию печени» отображалось множество цифр, мало контекста и не учитывались национальность, пол, этническая принадлежность или возраст пациентов. Эксперты заявили, что то, что Google AI Overviews называл нормой, может сильно отличаться от того, что на самом деле считалось нормой. Эти сводки могут привести к тому, что тяжелобольные пациенты ошибочно посчитают результаты анализов нормальными и не будут посещать последующие медицинские осмотры.

После расследования компания удалила AI Overviews для поисковых запросов «каков нормальный диапазон анализов крови на функцию печени» и «каков нормальный диапазон анализов функции печени». Представитель Google заявил: «Мы не комментируем отдельные удаления в Поиске. В случаях, когда AI Overviews упускают какой-то контекст, мы работаем над общими улучшениями, а также принимаем меры в соответствии с нашей политикой, когда это необходимо». - отсюда

DocumentDB

DocumentDB — это совместимая с MongoDB база данных документов с открытым исходным кодом, построенная на основе PostgreSQL. Она предлагает нативную реализацию документоориентированной базы данных NoSQL, обеспечивая беспрепятственное выполнение операций CRUD (создание, чтение, обновление, удаление) с данными типа BSON (Binary JSON) в рамках PostgreSQL. Помимо базовых операций, DocumentDB позволяет пользователям выполнять сложные задачи, включая полнотекстовый поиск, геопространственные запросы и векторный поиск, предоставляя надежную функциональность и гибкость для различных потребностей в управлении данными.

Новости NIST

22 декабря 2025 г. Национальный институт стандартов и технологий (NIST) объявил о двух новых национальных инициативах, расширяющих его давнее сотрудничество с MITRE: Центр экономической безопасности ИИ для повышения производительности обрабатывающей промышленности США и Центр экономической безопасности ИИ для защиты критической инфраструктуры США от киберугроз. MITRE будет управлять обоими центрами, сотрудничая с экспертами NIST, промышленностью и академическими кругами для продвижения и ускорения трансформационных решений в области ИИ.

Это расширенное сотрудничество отражает общую приверженность превращению передовых исследований в области ИИ в развертываемые, реальные возможности. Центр повышения производительности обрабатывающей промышленности США сосредоточится на укреплении американского производства путем стимулирования новой промышленной революции, ориентированной на эффективность, качество и инновации. Центр защиты критической инфраструктуры США от киберугроз будет заниматься кибербезопасностью критической инфраструктуры США, обеспечивая обнаружение угроз в режиме реального времени, автоматизацию реагирования, прогнозирование сбоев и анализ больших объемов данных для выявления возникающих рисков.

«Наша цель — устранить барьеры на пути американских инноваций в области ИИ и ускорить применение наших технологий ИИ по всему миру», — заявил исполняющий обязанности заместителя министра торговли по стандартам и технологиям и исполняющий обязанности директора NIST Крейг Буркхардт. «Это новое соглашение с MITRE будет направлено на повышение способности американских компаний более эффективно производить высококачественную продукцию, удовлетворять рыночные потребности внутри страны и за рубежом, а также стимулировать открытие и коммерциализацию новых технологий и устройств».

Центры будут использовать инвестиции MITRE в AI Lab, Federal AI Sandbox, и общедоступные инструменты, такие как ATLAS, CALDERA и ATT&CK.

NIST выпустил драфт Cybersecurity Framework Profile for Artificial Intelligence (NISTIR 8596). Данный профиль помогает организациям задуматься о том, как стратегически внедрять ИИ, одновременно противодействуя возникающим рискам кибербезопасности, связанным со стремительным развитием ИИ.

Установление ИИ-авторства

Википедия завела проект AI Cleanup - поиск контента, созданного ИИ. И написали хорошее руководство по определению искусственного авторства. Есть версия и на русском языке.

Agentic AI Foundation (AAIF)

Новый проект от Linux Foundation: Linux Foundation объявила о создании Agentic AI Foundation (AAIF) с участием ведущих технических проектов, включая Model Context Protocol (MCP) от Anthropic, goose от Block и AGENTS.md от OpenAI. AAIF обеспечивает нейтральную, открытую основу для прозрачного и совместного развития агентного ИИ.

MCP — это универсальный стандартный протокол для подключения моделей ИИ к инструментам, данным и приложениям; goose — это открытый исходный код, ориентированный на локальные решения, фреймворк для агентов ИИ, который объединяет языковые модели, расширяемые инструменты и стандартизированную интеграцию на основе MCP; AGENTS.md — это простой, универсальный стандарт, предоставляющий агентам ИИ согласованный источник рекомендаций, специфичных для каждого проекта, необходимых для надежной работы в различных репозиториях и инструментальных цепочках.

Появление агентного ИИ представляет собой новую эру автономного принятия решений и координации в системах ИИ, которая преобразует и революционизирует целые отрасли. AAIF предоставляет нейтральную, открытую основу для обеспечения прозрачного, совместного и благоприятного для внедрения ведущих проектов ИИ с открытым исходным кодом развития этой критически важной возможности. Его первые проекты, AGENTS.md, goose и MCP, заложили основу для общей экосистемы инструментов, стандартов и инноваций, управляемых сообществом.

«Мы наблюдаем, как ИИ вступает в новую фазу, поскольку разговорные системы переходят к автономным агентам, которые могут работать вместе. Всего за один год MCP, AGENTS.md и goose стали незаменимыми инструментами для разработчиков, создающих этот новый класс агентных технологий», — сказал Джим Землин, исполнительный директор Linux Foundation. «Объединение этих проектов в рамках AAIF гарантирует их рост с прозрачностью и стабильностью, которые может обеспечить только открытое управление. Linux Foundation гордится тем, что выступает в качестве нейтральной площадки, где они продолжат создавать инфраструктуру ИИ, на которую будет полагаться мир».

MCP

Запуск AAIF состоялся всего через год после выпуска MCP компанией Anthropic, поставщиком передовых систем ИИ, основанных на исследованиях в области безопасности, включая Claude и платформу разработчиков Claude. MCP быстро стал универсальным стандартным протоколом для подключения моделей ИИ к инструментам, данным и приложениям. Более 10 000 опубликованных MCP-серверов охватывают всё — от инструментов для разработчиков до развертываний в компаниях из списка Fortune 500. Протокол был принят такими популярными платформами ИИ, как Claude, Cursor, Microsoft Copilot, Gemini, VS Code, ChatGPT и другими, поскольку разработчики и предприятия отдают предпочтение простому методу интеграции, средствам контроля безопасности и более быстрому развертыванию.

«MCP начинался как внутренний проект для решения проблемы, с которой столкнулись наши собственные команды. Когда мы открыли его исходный код в ноябре 2024 года, мы надеялись, что другие разработчики найдут его таким же полезным, как и мы», — сказал Майк Кригер, директор по продуктам Anthropic. «Год спустя он стал отраслевым стандартом для подключения систем ИИ к данным и инструментам, используемым разработчиками, создающими приложения с помощью самых популярных инструментов для агентного программирования, и предприятиями, развертывающими приложения на AWS, Google Cloud и Azure. Передача MCP в дар Linux Foundation в рамках AAIF гарантирует, что он останется открытым, нейтральным и управляемым сообществом, становясь критически важной инфраструктурой для ИИ. Мы по-прежнему привержены поддержке и развитию MCP, и, учитывая многолетний опыт Linux Foundation в управлении проектами, которые обеспечивают работу интернета, это только начало».

goose

Выпущенный в начале 2025 года, goose — это открытый исходный код, ориентированный на локальные решения, фреймворк для агентов ИИ, который сочетает в себе языковые модели, расширяемые инструменты и стандартизированную интеграцию на основе MCP для обеспечения структурированной, надежной и заслуживающей доверия среды для создания и выполнения агентных рабочих процессов. Разработанный и предоставленный компанией Block, стоящей за Square, Cash App, Afterpay, TIDAL и растущей экосистемой биткоин-проектов, goose предоставляет практическую инфраструктуру, необходимую для безопасного и стабильного развития агентного ИИ.

«Мы находимся в критическом моменте для ИИ. Технология, которая определит следующее десятилетие, которая обещает стать крупнейшим двигателем экономического роста со времен Интернета, может либо оставаться закрытой и проприетарной в интересах немногих, либо развиваться на основе открытых стандартов, открытых технологий».

AGENTS.md

Выпущенный OpenAI в августе 2025 года, AGENTS.md — это простой, универсальный стандарт, предоставляющий агентам ИИ согласованный источник рекомендаций, специфичных для каждого проекта, необходимых для надежной работы в различных репозиториях и инструментальных цепочках. Эта основанная на Markdown система делает поведение агентов гораздо более предсказуемым в различных репозиториях и системах сборки. AGENTS.md уже используется более чем в 60 000 проектах с открытым исходным кодом и фреймворках для агентов, включая Amp, Codex, Cursor, Devin, Factory, Gemini CLI, GitHub Copilot, Jules и VS Code, среди прочих. OpenAI был одним из первых пользователей MCP и внес свой вклад в разработку ACP, Codex CLI, а также SDK для агентов и SDK для приложений для поддержки открытой экосистемы агентов, основанной на общих, совместимых протоколах.

«Для того чтобы агенты ИИ могли полностью раскрыть свой потенциал, разработчикам и предприятиям необходима надежная инфраструктура и доступные инструменты для дальнейшего развития. Став соучредителями AAIF и передав AGENTS.md, мы помогаем внедрять открытые и прозрачные методы, которые делают разработку агентов ИИ более предсказуемой, совместимой и безопасной», — сказал Ник Купер, член технического персонала OpenAI. «OpenAI давно считает, что общие, управляемые сообществом протоколы необходимы для здоровой экосистемы агентов, поэтому мы открыли исходный код ключевых компонентов, таких как Codex CLI, Agents SDK и теперь AGENTS.md. Мы гордимся тем, что работаем вместе с нашими соучредителями над созданием более открытого и надежного будущего для агентного ИИ».

Мониторинг сдвига данных

Обнаружение дрейфа в надежных системах машинного обучения. Необходимое условие для долгосрочного успеха систем машинного обучения

Еще один протокол агентов

Мы представляем SCP: протокол научного контекста (Science Context Protocol), стандарт с открытым исходным кодом, разработанный для ускорения научных открытий путем создания глобальной сети автономных научных агентов. SCP основан на двух фундаментальных принципах: (1) Единая интеграция ресурсов: В основе SCP лежит универсальная спецификация для описания и вызова научных ресурсов, охватывающая программные инструменты, модели, наборы данных и физические приборы. Эта стандартизация на уровне протокола позволяет агентам и приложениям ИИ беспрепятственно обнаруживать, вызывать и компоновать возможности на различных платформах и в рамках различных институциональных границ. (2) Управление жизненным циклом эксперимента: SCP дополняет протокол защищенной сервисной архитектурой, которая включает централизованный SCP Hub и федеративные SCP-серверы. Эта архитектура управляет полным жизненным циклом эксперимента (регистрация, планирование, выполнение, мониторинг и архивирование), обеспечивает детальную аутентификацию и авторизацию, а также организует отслеживаемые сквозные рабочие процессы, которые связывают вычислительные и физические лаборатории. На основе SCP мы создали платформу для научных открытий, которая предлагает исследователям и агентам крупномасштабную экосистему, включающую более 1600 инструментов. В самых разных областях применения SCP обеспечивает безопасное крупномасштабное сотрудничество между разнородными системами искусственного интеллекта и исследователями-людьми, значительно снижая затраты на интеграцию и повышая воспроизводимость результатов. Стандартизируя научный контекст и координацию инструментов на уровне протокола, SCP создает необходимую инфраструктуру для масштабируемой, межучрежденческой, агентно-ориентированной науки. - SCP: Accelerating Discovery with a Global Web of Autonomous Scientific Agents

См. также другие публикации, посвященные агентам

Графовый RAG

GraphRAG на практике: как создавать экономически эффективные системы поиска с высокой полнотой. Более интеллектуальные стратегии поиска, превосходящие плотные графы — с гибридными конвейерами и более низкой стоимостью.

См. также другие публикации по теме RAG

Публикации по теме Искусственный интеллект в кибербезопасности 23.01.2026

Вопросы безопасности систем ИИ рассматриваются в двух магистерских программах факультета ВМК МГУ имени М.В. Ломоносова: Искусственный интеллект в кибербезопасности и Кибербезопасность. Ниже приведен список публикаций, подготовленных в процессе реализации этих программ по состоянию на 28.09.2025

Ильюшин Е. А., Намиот Д. Е. An approach to the automatic enhancement of the robustness of ml models to external influences on the example of the problem of biometric speaker identification by voice // International Journal of Open Information Technologies. — 2021. — Vol. 9, no. 6. — P. 11–19.

Намиот Д. Е., Ильюшин Е. А., Чижов И. В. Текущие академические и индустриальные проекты, посвященные устойчивому машинному обучению // International Journal of Open Information Technologies. — 2021. — Т. 9, № 10. — С. 35–46.

Намиот Д. Е., Ильюшин Е. А., Чижов И. В. Основания для работ по устойчивому машинному обучению // International Journal of Open Information Technologies. — 2021. — Т. 9, № 11. — С. 68–74.

Намиот Д. Е., Ильшин Е. А., Чижов И. В. Военные применения машинного обучения // International Journal of Open Information Technologies. — 2022. — Т. 10, № 1. — С. 69–76.

Ильюшин Е. А., Намиот Д. Е., Чижов И. В. Атаки на системы машинного обучения – общие проблемы и методы // International Journal of Open Information Technologies. — 2022. — Т. 10, № 3. — С. 17–22.

Namiot D., Ilyushin E. On monitoring of machine learning models // Distributed Computer and Communication Networks: Control, Computation, Communications (DCCN-2022) : материалы XXV международной научной конференции: Москва, 26–30 сентября 2022 года / под общ. ред. В. М. Вишневского и К. Е. Самуйлова. — РУДН Москва: 2022. — P. 150–157.

Namiot D., Ilyushin E., Chizhov I. On a formal verification of machine learning systems // International Journal of Open Information Technologies. — 2022. — Vol. 10, no. 5. — P. 30–34.

Huayu L., Namiot D. A survey of adversarial attacks and defenses for image data on deep learning // International Journal of Open Information Technologies. — 2022. — Vol. 10, no. 5. — P. 9–16.

Намиот Д., Ильюшин Е., Пилипенко О. Доверенные платформы искусственного интеллекта // International Journal of Open Information Technologies. — 2022. — Т. 10, № 7. — С. 119–127.

Намиот Д., Ильюшин Е. Порождающие модели в машинном обучении // International Journal of Open Information Technologies. — 2022. — Т. 10, № 7. — С. 101–118.

Биджиев Т. М., Намиот Д. Е. Исследование существующих подходов к встраиванию вредоносного программного обеспечения в искусственные нейронные сети // International Journal of Open Information Technologies. — 2022. — Т. 10, № 9. — С. 21–31.

Намиот Д. Е., Ильюшин Е. А. Об устойчивости и безопасности систем искусственного интеллекта // International Journal of Open Information Technologies. — 2022. — Т. 10, № 9. — С. 126–134.

Намиот Д. Е., Ильюшин Е. А., Чижов И. В. Искусственный интеллект и кибербезопасность // International Journal of Open Information Technologies. — 2022. — Т. 10, № 9. — С. 135–147.

Stroeva E., Tonkikh A. Methods for formal verification of artificial neural networks: A review of existing approaches // International Journal of Open Information Technologies. — 2022. — Vol. 10, no. 10. — P. 3.

Намиот Д., Ильюшин Е. Мониторинг сдвига данных в моделях машинного обучения // International Journal of Open Information Technologies. — 2022. — Т. 10, № 12. — С. 84–93.

Костюмов, Василий Владимирович. "Обзор и систематизация атак уклонением на модели компьютерного зрения." International Journal of Open Information Technologies 10.10 (2022): 11-20.

Намиот Д. Е., Ильюшин Е. А. О причинах неудач проектов машинного обучения // International Journal of Open Information Technologies. — 2023. — Т. 11, № 1. — С. 60–69.

Намиот Д. Е. Введение в атаки отравлением на модели машинного обучения // International Journal of Open Information Technologies. — 2023. — Т. 11, № 3. — С. 58–68.

Namiot D. E., Ilyushin E., Chizhov I. On the practical generation of counterfactual examples // Труды Института системного анализа Российской академии наук. — 2023. — Vol. 73, no. 1. — P. 73–81.

Junzhe S., Namiot D. E. A survey of model inversion attacks and countermeasures // Труды Института системного анализа Российской академии наук. — 2023. — Vol. 73, no. 1. — P. 82–93.

Junzhe S., Namiot D. A survey of the implementations of model inversion attacks // Communications in Computer and Information Science. — 2023. — Vol. 1748. — P. 3–16.

Намиот Д. Е. Схемы атак на модели машинного обучения // International Journal of Open Information Technologies. — 2023. — Т. 11, № 5. — С. 68–86.

On the evasion attack detector / L. Huayui, V. Kostyumov, O. Pilipenko, D. Namiot // DCCN 2023. Материалы конференции. — ИПУ РАН Москва: 2023. — P. 183–188.

Junzhe S., Namiot D. On the machine learning models inversion attack detector // DCCN 2023. Материалы конференции. — ИПУ РАН Москва: 2023. — P. 194.

Lozinskii I., Kostyumov V., Stroeva E. Extraction of trigger and mask from poisoned data using modified activation clustering and neural cleanse methods // International Journal of Open Information Technologies. — 2023. — Vol. 11, no. 7. — P. 1

Чехонина, Екатерина Андреевна, and Василий Владимирович Костюмов. "ОБЗОР СОСТЯЗАТЕЛЬНЫХ АТАК И МЕТОДОВ ЗАЩИТЫ ДЛЯ ДЕТЕКТОРОВ ОБЪЕКТОВ." International Journal of Open Information Technologies 11.7 (2023): 11-20.

Пришлецов Д. Е., Пришлецов С. Е., Намиот Д. Е. Камуфляж как состязательные атаки на модели машинного обучения // International Journal of Open Information Technologies. — 2023. — Т. 11, № 9. — С. 41–49.

Намиот Д. Е., Зубарева Е. В. О работе ai red team // International Journal of Open Information Technologies. — 2023. — Т. 11, № 10. — С. 130–139.

Намиот Д. Е., Ильюшин Е. А. Доверенные платформы искусственного интеллекта: сертификация и аудит // International Journal of Open Information Technologies. — 2024. — Т. 12, № 1. — С. 43–60.

Киржинов Д. А., Ильюшин Е. А. Сравнительный анализ алгоритмов атак и защиты на графовые архитектуры ИНС // International Journal of Open Information Technologies. — 2024. — Т. 12, № 2.

Намиот Д. Е., Романов В. Ю. Об улучшении робастности моделей машинного обучения // International Journal of Open Information Technologies. — 2024. — Т. 12, № 3. — С. 88–98.

Junzhe S., Namiot D. On real-time model inversion attacks detection // Lecture Notes in Computer Science. — 2024. — Vol. 14123. — P. 56–67.

Мударова Р. М., Намиот Д. Е. Противодействие атакам типа инъекция подсказок на большие языковые модели // International Journal of Open Information Technologies. — 2024. — Т. 12, № 5. — С. 39–48.

Намиот Д. Е., Ильюшин Е. А. Искусственный интеллект в кибербезопасности: поиск вредоносного программного обеспечения // International Journal of Open Information Technologies. — 2024. — Т. 12, № 6. — С. 143–149.

Lebed, S. V., et al. "Large Language Models in Cyberattacks." Doklady Mathematics. Vol. 110. No. Suppl 2. Moscow: Pleiades Publishing, 2024.

Селевенко Р. М., Строева Е. Н. Исследование и разработка алгоритма формальной верификации и метрики оценки качества на основе методов понижения размерности ИНС // INJOIT. — 2024. — Т. 12, № 6. — С. 2.

Биджиев Т. М., Намиот Д. Е. Атаки на модели машинного обучения, основанные на фреймворке pytorch // Автоматика и телемеханика. — 2024. — № 3. — С. 38–50.

Намиот Д. Е., Ильюшин Е. А. О сертификации систем искусственного интеллекта // Физика элементарных частиц и атомного ядра. — 2024. — Т. 55, № 3. — С. 530–536.

Намиот Д. Е., Куприяновский В. П., Пичугов А. А. Состязательные атаки для автономных транспортных средств // International Journal of Open Information Technologies. — 2024. — Т. 12, № 7. — С. 139–149.

Намиот Д. Е. О кибератаках с помощью систем Искусственного интеллекта // International Journal of Open Information Technologies. — 2024. — Т. 12, № 9. — С. 132–141.

Воробьев, Егор Александрович. "Анализ состязательных атак на системы сегментации изображений." International Journal of Open Information Technologies 12.10 (2024): 1-25.

Намиот Д. Е., Ильюшин Е. А. О киберрисках генеративного Искусственного Интеллекта // International Journal of Open Information Technologies. — 2024. — Т. 12, № 10. — С. 109–119.

Порывай, Максим Викторович. "Сравнительное исследование методов естественной аугментации изображений." International Journal of Open Information Technologies 12.10 (2024): 26-33.

Герасименко, Денис Валерьевич, and Дмитрий Евгеньевич Намиот. "Извлечение тренировочных данных: Риски и решения в контексте безопасности LLM." International Journal of Open Information Technologies 12.11 (2024): 9-19.

Костиков, Егор Вячеславович. "Методы анализа логов Sysmon для обнаружения киберугроз." International Journal of Open Information Technologies 12.11 (2024): 25-34.

Намиот Д. Е., Ильюшин Е. А. Архитектура LLM агентов //International Journal of Open Information Technologies. – 2025. – Т. 13. – №. 1. – С. 67-74.

Воробьев Е. А., Намиот Д. Е. Состязательное тестирование моделей сегментации изображений // Программная инженерия. — 2025. — Т. 16, № 4. — С. 190–198.

Намиот, Д. Е., and Е. А. Ильюшин. "Об оценке доверия к системам Искусственного интеллекта." International Journal of Open Information Technologies 13.3 (2025): 75-90.

Хамзаева, М. А., and О. Р. Лапонина. "Повышение устойчивости к состязательным атакам моделей машинного обучения для обнаружения межсайтового выполнения сценариев." International Journal of Open Information Technologies 13.6 (2025): 25-33.

Бербер, Д. В., and О. Р. Лапонина. "Разработка подходов к увеличению устойчивости моделей машинного обучения для обнаружения распределенных атак отказа обслуживания." International Journal of Open Information Technologies 13.6 (2025): 16-24.

Егорова, Е. С., and О. Р. Лапонина. "Состязательное тестирование моделей машинного обучения, предназначенных для обнаружения SQL-инъекций." International Journal of Open Information Technologies 13.6 (2025): 34-41.

Лапонина, О. Р., and Р. Н. Костин. "Разработка программного обеспечения моделирования угроз для систем на базе LLM-агентов." International Journal of Open Information Technologies 13.6 (2025): 132-146.

Намиот, Д. Е. "Что LLM знает о кибербезопасности." International Journal of Open Information Technologies 13.7 (2025): 37-46.

Намиот, Д. Е. "Искусственный Интеллект в. Кибербезопасности. Хроника. Выпуск 1." International Journal of Open Information Technologies 13.9 (2025): 34-42.

Намиот, Д. Е., and Е. А. Ильюшин. "О кибербезопасности ИИ-агентов." International Journal of Open Information Technologies 13.9 (2025): 13-24.

Егоров, М. Э., et al. "Объяснения моделей машинного обучения и состязательные атаки." International Journal of Open Information Technologies 13.9 (2025): 50-59.

Намиот, Д. Е., and Е. А. Ильюшин. "Уязвимости экосистемы MCP." International Journal of Open Information Technologies 13.10 (2025): 74-82.

Намиот, Д. Е. "Искусственный Интеллект в Кибербезопасности. Хроника. Выпуск 2." International Journal of Open Information Technologies 13.10 (2025): 58-67.

Poryvai, Maxim, and Dmitry Namiot. "On Natural Image Augmentation to Increase Robustness of Machine Learning Models." 2025 International Russian Automation Conference (RusAutoCon). IEEE, 2025.

Namiot D., Zubareva E. On open datasets for llm adversarial testing // Communications in Computer and Information Science. — 2025. — Vol. 2641. — P. 137–148. 

Намиот, Д. Е. "Искусственный Интеллект в Кибербезопасности. Хроника. Выпуск 3." International Journal of Open Information Technologies 13.11 (2025): 169-179.

Намиот, Д. Е. "Искусственный Интеллект в Кибербезопасности. Хроника. Выпуск 4." International Journal of Open Information Technologies 14.1 (2026): 81-94.

О защите цифровых двойников

Цифровой двойник (ЦД) — это передовая технология, получившая широкое распространение в последние годы, демонстрирующая огромный потенциал для моделирования процессов и предоставления ценной информации для улучшения и оптимизации систем. Благодаря высокой степени точности воспроизведения реальных процессов, ЦД изучаются для таких сложных приложений, как обман и проактивная защита критически важных инфраструктур. Однако это же преимущество вызывает опасения в отношении уязвимости системы, поскольку детальное цифровое представление может создавать новые риски кибербезопасности. С целью содействия развитию этой технологии в данной статье представлено адаптивное решение на основе ЦД, которое упрощает настройку отдельных компонентов цифровой системы, адаптируя различные сценарии применения специально для целей защиты, обмана и тестирования. Наконец, предложенная архитектура тестируется в конкретном сценарии использования, ориентированном на Интернет вещей (IoT), для проверки, экспериментирования и получения выводов о предлагаемом решении. - Adaptive Digital Twin: Protection, deception, and testing

См. также другие публикации, посвященные digital twins

Открытый Red Teaming

В связи с тем, что большие языковые модели (LLM) все чаще используются в средах высокого риска, тестирование на проникновение (red-teaming) становится одним из важнейших методов выявления потенциально опасного поведения, взлома и уязвимостей злоумышленников до фактического обнаружения в ходе реальной атаки. В последнее время было разработано большое количество общедоступных, основанных на исследованиях и открытых инструментов, которые помогают автоматизировать или иным образом улучшить процесс тестирования на проникновение. Хотя эти инструменты сильно различаются по подходу к проблеме, охватываемому диапазону функций и уровню развития, не существует единого источника информации, описывающего текущий ландшафт общедоступных инструментов для тестирования на проникновение в большие языковые модели. Таким образом, в данной статье будет представлен систематический анализ различных фреймворков, используемых для тестирования LLM на предмет уязвимости, путем изучения методологий каждого фреймворка, различных типов атак, стратегий, используемых каждым фреймворком, уровней автоматизации, обеспечиваемых каждым фреймворком, и целей каждого фреймворка, связанных с оценкой безопасности фреймворка. В статье также будут рассмотрены общие черты, преимущества/недостатки и операционные ограничения каждого фреймворка, а также определены области, где инструменты тестирования на предмет уязвимости не обладают достаточными возможностями, такими как: выполнение многошаговых атак с длительным горизонтом, использование взаимодействия агента/инструмента, тестирование на нескольких языках и создание динамических адаптивных циклов атак. Конечная цель авторов данной статьи — помочь исследователям, разработчикам и пользователям систем, использующих LLM, понять текущее состояние общедоступных инструментов тестирования на предмет уязвимости для LLM и дать рекомендации по будущим направлениям разработки надежных, масштабируемых и всеобъемлющих инструментов тестирования на предмет уязвимости для LLM. - Survey of Public Red-Teaming Frameworks for LLM: Techniques, Coverage, and Gaps

См. также другие публикации, посвященные LLM

Жизнь и судьба RAG

Умер ли RAG? Как генерация с использованием дополненной информации эволюционирует от статических конвейеров к управляемым, контекстно-ориентированным системам, которые делают ИИ более объяснимым, заслуживающим доверия и масштабируемым - The Rise of Context Engineering and Semantic Layers for Agentic AI

См. также другие публикации по теме RAG

Извлечение тренировочных данных

Большие языковые модели (LLM) склонны к запоминанию обучающих данных, что создает серьезные риски для конфиденциальности. Две наиболее серьезные проблемы — это извлечение обучающих данных и атаки на определение принадлежности (MIA). Предыдущие исследования показали, что эти угрозы взаимосвязаны: злоумышленники могут извлекать обучающие данные из LLM, запрашивая у модели генерацию большого объема текста и впоследствии применяя MIA, чтобы проверить, была ли конкретная точка данных включена в обучающий набор. В этом исследовании мы интегрируем несколько методов MIA в конвейер извлечения данных, чтобы систематически оценить их эффективность. Затем мы сравниваем их производительность в этой интегрированной среде с результатами обычных тестов MIA, что позволяет нам оценить их практическую полезность в реальных сценариях извлечения. - On the Effectiveness of Membership Inference in Targeted Data Extraction from Large Language Models

См. также другие публикации, посвященные LLM

Спросить за данные

Промпт-инжениринг для анализа и обработки данных

Аномалии в изображениях

Несмотря на впечатляющие результаты глубоких нейронных сетей (DNN) в классификации изображений, их уязвимость к атакам со стороны злоумышленников остается серьезной проблемой. Большинство существующих методов обнаружения основаны на сложных и плохо интерпретируемых архитектурах, которые ставят под угрозу интерпретируемость и обобщаемость. Для решения этой проблемы мы предлагаем FeatureLens — легковесную структуру, которая действует как линза для анализа аномалий в признаках изображений. FeatureLens, включающая в себя экстрактор признаков изображений (IFE) и неглубокие классификаторы (например, SVM, MLP или XGBoost) с размерами моделей от 1000 до 30000 параметров, достигает высокой точности обнаружения — от 97,8% до 99,75% при оценке в замкнутом наборе данных и от 86,17% до 99,6% при оценке обобщаемости в атаках FGSM, PGD, C&W и DAmageNet, используя только 51-мерные признаки. Благодаря сочетанию высокой эффективности обнаружения с превосходной обобщающей способностью, интерпретируемостью и вычислительной эффективностью, FeatureLens предлагает практический путь к прозрачной и эффективной защите от враждебных действий. - FeatureLens: A Highly Generalizable and Interpretable Framework for Detecting Adversarial Examples Based on Image Features

P.S. См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Систематизация безопасности MCP

Протокол контекста модели (MCP) стал фактически стандартом для подключения больших языковых моделей (LLM) к внешним данным и инструментам, фактически функционируя как «USB-C для агентного ИИ». Хотя это разделение контекста и исполнения решает критически важные проблемы совместимости, оно создает совершенно новый ландшафт угроз, где граница между эпистемическими ошибками (галлюцинациями) и нарушениями безопасности (несанкционированными действиями) размывается. Данная систематизация знаний (SoK) направлена на предоставление всеобъемлющей таксономии рисков в экосистеме MCP, различая враждебные угрозы безопасности (например, косвенное внедрение подсказок, отравление инструментов) и эпистемические угрозы безопасности (например, сбои выравнивания в распределенном делегировании инструментов). Мы анализируем структурные уязвимости примитивов MCP, в частности ресурсов, подсказок и инструментов, и демонстрируем, как «контекст» может быть использован для запуска несанкционированных операций в многоагентных средах. Кроме того, мы рассматриваем современные методы защиты, от криптографической проверки происхождения (ETDI) до проверки намерений во время выполнения, и завершаем дорожной картой по обеспечению безопасности перехода от разговорных чат-ботов к автономным агентным операционным системам. - Systematization of Knowledge: Security and Safety in the Model Context Protocol Ecosystem

См. также другие публикации, посвященные MCP

О поведении агентов

Агенты на основе LLM продемонстрировали многообещающую адаптивность в реальных приложениях. Однако эти агенты остаются уязвимыми для широкого спектра атак, таких как отравление инструментов и вредоносные инструкции, которые нарушают поток их выполнения и могут привести к серьезным последствиям, таким как утечка данных и финансовые потери. Существующие исследования обычно пытаются смягчить такие аномалии путем предварительного определения конкретных правил и их применения во время выполнения для повышения безопасности. Тем не менее, разработка всеобъемлющих правил сложна, требует значительных ручных усилий и все еще оставляет пробелы, которые приводят к ложным отрицательным результатам. Поскольку агентные системы развиваются в сложные программные системы, мы, вдохновленные безопасностью программных систем, предлагаем TraceAegis, аналитическую структуру, основанную на происхождении данных, которая использует трассировки выполнения агентов для обнаружения потенциальных аномалий. В частности, TraceAegis строит иерархическую структуру для абстрагирования стабильных единиц выполнения, которые характеризуют нормальное поведение агентов. Затем эти единицы суммируются в ограниченные поведенческие правила, которые определяют условия, необходимые для выполнения задачи. Проверяя трассировки выполнения на соответствие как иерархическим, так и поведенческим ограничениям, TraceAegis способен эффективно обнаруживать аномальное поведение. Для оценки эффективности TraceAegis мы представляем TraceAegis-Bench, набор данных, охватывающий два репрезентативных сценария: здравоохранение и корпоративные закупки. Каждый сценарий включает 1300 безобидных и 300 аномальных поведений, где аномалии либо нарушают порядок выполнения агента, либо нарушают семантическую согласованность его последовательности выполнения. Экспериментальные результаты показывают, что TraceAegis демонстрирует высокую производительность на TraceAegis-Bench, успешно выявляя большинство аномальных поведений. Мы дополнительно подтверждаем практичность TraceAegis с помощью внутреннего процесса тестирования на проникновение, проведенного в технологической компании, где он эффективно обнаруживает аномальные трассировки, сгенерированные атаками «красной команды». - TraceAegis: Securing LLM-Based Agents via Hierarchical and Behavioral Anomaly Detection

См. также другие публикации, посвященные агентам