Без времени

Системы глубокого обучения, обрабатывающие временные и последовательные данные, все чаще используются в критически важных для безопасности приложениях, включая мониторинг состояния здоровья, автономную навигацию и алгоритмическую торговлю. Однако эти системы обладают серьезной уязвимостью к атакам со стороны злоумышленников — тщательно разработанным возмущениям, которые вызывают систематическую неправильную классификацию, оставаясь при этом незаметными. В данной статье представлен всесторонний систематический обзор атак со стороны злоумышленников на системы классификации временных рядов, распознавания активности человека (HAR) и обучения с подкреплением (RL), основанный на анализе 127 статей, опубликованных в период с 2019 по 2025 год, в соответствии с рекомендациями PRISMA с документированной межэкспертной надежностью (κ = 0,83). Мы устанавливаем единую четырехмерную таксономию, различающую характеристики атак в зависимости от целевых модальностей (носимые датчики IMU, датчики WiFi/радара, распознавание на основе скелета, медицинские/финансовые временные ряды и агенты RL), стратегий возмущения, временного диапазона и уровней физической реализуемости. Наш количественный анализ выявляет серьезные базовые уязвимости — атаки FGSM снижают точность HAR с 95,1% до 3,4% в условиях «белого ящика», — при этом демонстрируя, что переносимость между датчиками значительно варьируется от 0% до 80% в зависимости от расположения на теле и модальности. Критически важно, что мы выявляем существенный разрыв между показателями успешности цифровых атак (85–98%) и физически подтвержденных атак, при этом подтверждение с помощью аппаратного моделирования демонстрирует 70–97% успеха только для Wi-Fi и радаров, в то время как физические атаки с использованием носимых IMU остаются полностью неподтвержденными. Мы проводим систематический анализ механизмов защиты, включая обучение с использованием состязательных методов, подходы, основанные на обнаружении, сертифицированные средства защиты, и ансамблевые методы, предлагая структуру Temporal AutoAttack (T-AutoAttack) для стандартизированной оценки адаптивных атак. Наш анализ показывает, что существующие средства защиты демонстрируют снижение производительности на 6–23% при адаптивных атаках, при этом сертифицированные методы показывают наименьший разрыв, но приводят к снижению точности на 15–30%. Мы также выявляем новые уязвимости в архитектурах HAR на основе трансформеров и в системах прогнозирования временных рядов на основе LLM, которые требуют срочного внимания. Обзор завершается составлением приоритетной дорожной карты исследований, в которой определены восемь критических пробелов с указанием конкретных наборов данных, оценочных конвейеров и сроков внедрения. Мы предлагаем практические рекомендации по внедрению для специалистов в области носимых HAR, Wi-Fi/радарного зондирования, систем обучения с подкреплением и новых временных приложений на основе LLM. Эта работа предлагает первое унифицированное решение, объединяющее исследования временных рядов и состязательных систем обучения с подкреплением, закладывая основы для разработки надежных временных систем ИИ, пригодных для реального применения в критически важных областях безопасности. - Temporal Adversarial Attacks on Time Series and Reinforcement Learning Systems: A Systematic Survey, Taxonomy, and Benchmarking Roadmap

P.S. См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

ИИ песочницы

Эффективное устройство AI Sandbox

ИИ в медицине - реалии

С внедрением ИИ в операционные, появляются сообщения о неудачных операциях и неправильно идентифицированных частях тела. Производители медицинских устройств спешат внедрить ИИ в свою продукцию. Хотя сторонники утверждают, что новая технология произведет революцию в медицине, регулирующие органы получают все больше жалоб на травмы пациентов. - большой материал от Reuters

PGPro TechDay 2026

Материалы конференции PGPro TechDay 2026

Фальшивые новости

Большие языковые модели (LLM) все чаще используются в финансовой сфере. Их исключительные возможности анализа текстовых данных делают их хорошо подходящими для определения настроения финансовых новостей. Такая обратная связь может быть использована алгоритмическими торговыми системами (АТС) для принятия решений о покупке/продаже. Однако эта практика сопряжена с риском того, что злоумышленник может создавать «враждебные новости», призванные ввести в заблуждение LLM. В частности, заголовок новости может содержать «вредоносный» контент, который остается невидимым для читателей-людей, но все же обрабатывается БЛМ. Хотя в предыдущих работах изучались текстовые примеры враждебных новостей, их влияние на АТС, поддерживаемые LLM, в масштабах всей системы еще не было количественно оценено с точки зрения денежного риска. Чтобы противостоять этой угрозе, мы рассматриваем злоумышленника, не имеющего прямого доступа к АТС, но способного изменять заголовки новостей, связанных с акциями, в течение одного дня. Мы оцениваем две незаметные для человека манипуляции в финансовом контексте: замены омоглифов в Unicode, которые вводят модели в заблуждение при распознавании названий акций, и скрытые текстовые условия, которые изменяют эмоциональную окраску заголовка новости. Мы реализовали реалистичную автоматизированную торговую систему (ATS) в Backtrader, которая объединяет прогноз цен на основе LSTM с эмоциональным состоянием, полученным с помощью LLM (FinBERT, FinGPT, FinLLaMA и шесть универсальных LLM), и количественно оценили денежное воздействие с помощью показателей портфеля. Эксперименты на реальных данных показывают, что манипулирование однодневной атакой в течение 14 месяцев может надежно ввести в заблуждение LLM и снизить годовую доходность до 17,7 процентных пунктов. Для оценки реальной осуществимости мы проанализировали популярные библиотеки для сбора данных и торговые платформы и опросили 27 специалистов в области FinTech, подтвердив наши гипотезы. Мы уведомили владельцев торговых платформ об этой проблеме безопасности. - Adversarial News and Lost Profits: Manipulating Headlines in LLM-Driven Algorithmic Trading

См. также другие публикации, посвященные LLM

Состязательные атаки и робастность

Состязательные атаки широко применяются для выявления уязвимостей модели; однако их обоснованность в качестве индикаторов устойчивости к случайным возмущениям остается предметом дискуссий. Мы задаемся вопросом, дает ли пример с враждебными факторами репрезентативную оценку риска ошибочного прогнозирования при стохастических возмущениях той же величины, или же он отражает нетипичное событие наихудшего случая. Для решения этого вопроса мы вводим вероятностный анализ, который количественно оценивает этот риск относительно направленно смещенных распределений возмущений, параметризованных фактором концентрации κ, который интерполирует между изотропным шумом и направлениями враждебных факторов. Основываясь на этом, мы изучаем пределы этой связи, предлагая стратегию атаки, разработанную для исследования уязвимостей в режимах, которые статистически ближе к равномерному шуму. Эксперименты на наборах данных ImageNet и CIFAR-10 систематически сравнивают результаты множественных атак, выявляя, когда успех противодействия адекватно отражает устойчивость к возмущениям, а когда нет, что позволяет использовать эти данные для оценки устойчивости в целях обеспечения безопасности. - How Worst-Case Are Adversarial Attacks? Linking Adversarial and Perturbation Robustness

P.S. См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Сверхинтеллект в сфере кибербезопасности

Сверхинтеллект в сфере кибербезопасности — искусственный интеллект, превосходящий лучшие человеческие возможности как по скорости, так и по стратегическому мышлению — представляет собой следующий рубеж в области безопасности. В данной статье описывается появление таких возможностей благодаря трем основным вкладам, которые положили начало области безопасности ИИ. Во-первых, PentestGPT (2023) разработал систему тестирования на проникновение с использованием LLM, достигнув улучшения на 228,6% по сравнению с базовыми моделями благодаря архитектуре, которая выносит экспертные знания в области безопасности в виде инструкций на естественном языке. Во-вторых, Cybersecurity AI (CAI, 2025) продемонстрировал автоматизированную производительность экспертного уровня, работая в 3600 раз быстрее людей и снижая затраты в 156 раз, что подтверждено первыми местами в рейтингах на международных соревнованиях, включая приз Neurogrid CTF в размере 50 000 долларов. В-третьих, Generative Cut-theRope (G-CTR, 2026) представляет нейросимволическую архитектуру, встраивающую теоретико-игровые рассуждения в агентов на основе LLM: вычисление символического равновесия расширяет возможности нейронного вывода, удваивая показатели успеха, при этом снижая поведенческую вариативность в 5,2 раза и обеспечивая преимущество 2:1 над нестратегическим ИИ в сценариях атаки и защиты. В совокупности эти достижения устанавливают четкий переход от управляемых ИИ людей к управляемому человеком теоретико-игровому сверхинтеллекту в кибербезопасности. - Towards Cybersecurity Superintelligence: from AI-guided humans to human-guided AI

Авторы ссылаются на фреймворк Cybersecurity AI (CAI):

Кибербезопасность на основе искусственного интеллекта (CAI) — это легковесная платформа с открытым исходным кодом, которая позволяет специалистам по безопасности создавать и развертывать автоматизированные системы наступательной и оборонительной защиты на основе ИИ. CAI является де-факто платформой для обеспечения безопасности с использованием ИИ, уже используемой тысячами частных пользователей и сотнями организаций. Независимо от того, являетесь ли вы исследователем безопасности, этичным хакером, ИТ-специалистом или организацией, стремящейся повысить уровень своей безопасности, CAI предоставляет строительные блоки для создания специализированных агентов ИИ, которые могут помочь в смягчении угроз, обнаружении уязвимостей, их эксплуатации и оценке безопасности.

Основные особенности:

🤖 Более 300 моделей ИИ: поддержка OpenAI, Anthropic, DeepSeek, Ollama и других
🔧 Встроенные инструменты безопасности: готовые к использованию инструменты для разведки, эксплуатации уязвимостей и повышения привилегий
🏆 Проверено в реальных условиях: доказано в CTF-соревнованиях HackTheBox, программах поиска уязвимостей и реальных примерах из практики в области безопасности
🎯 Архитектура на основе агентов: модульная структура для создания специализированных агентов для различных задач безопасности
🛡️ Защита от внедрения уязвимостей и выполнения опасных команд
📚 Ориентированность на исследования: исследовательский фонд для демократизации ИИ в сфере кибербезопасности для сообщества

Искусственный интеллект и восстановление после инсульта

Бурное развитие современных систем искусственного интеллекта (генеративных моделей, которые чаще всего и рассматриваются как ИИ), в частности мощных базовых и мультимодальных моделей, открывает новые перспективы для персонализации и повышения эффективности физической реабилитации. Эти технологии позволяют анализировать и интегрировать разнородные данные о пациенте: от объективных показателей движения и мышечной активности (биомеханика, ЭМГ) до данных визуализации (МРТ, УЗИ) и субъективных отчетов. Современные модели ИИ способны выявлять сложные пространственно-временные закономерности в процессе восстановления двигательных функций. Это стало возможным благодаря обучению на больших объемах «сырых» клинических и инструментальных данных. Такие ИИ-решения потенциально могут трансформировать все ключевые направления реабилитации, такие как оценка и мониторинг, автоматизированный анализ движений и походки по видео, интерпретация данных носимых датчиков для объективного отслеживания прогресса, cоздание адаптивных, «умных» планов терапии на основе прогностических моделей, предсказывающих индивидуальный ответ на разные виды нагрузок, моделирование рисков и прогнозирование долгосрочных результатов реабилитации после инсульта, травм спинного мозга или ортопедических операций. Цель данной статьи – оценить применимость доступных моделей для построения программ реабилитации после инсульта. - Искусственный интеллект в физической реабилитации

GigaChat и DeepSeek разрабатывают физические упражнения

См. также другие публикации, посвященные LLM

Графы знаний на русском

Учебный курс на русском языке: Knowledge Graphs

LLM и фишинг

Большие языковые модели (LLM) способны генерировать беглый и убедительный текст, что делает их ценными инструментами для коммуникации. Однако эта способность также делает их привлекательными для злонамеренных целей. Хотя ряд исследований показал, что LLM могут поддерживать общий фишинг, их потенциал для персонализированных атак в больших масштабах еще не был изучен и количественно оценен. В этом исследовании мы оцениваем эффективность целевого фишинга на основе LLM в эксперименте с участием 7700 человек. Используя целевые адреса электронной почты в качестве запросов, мы собираем личную информацию посредством веб-поиска и автоматически генерируем электронные письма, адаптированные для каждого участника. Наши результаты показывают тревожную ситуацию: целевой фишинг на основе LLM почти втрое увеличивает количество кликов по сравнению с общими стратегиями фишинга. Этот эффект сохраняется независимо от того, написаны ли общие электронные письма людьми или также сгенерированы LLM. Более того, стоимость персонализации минимальна и составляет приблизительно 0,03 доллара США за письмо. Учитывая, что фишинг по-прежнему является основным вектором атак на ИТ-инфраструктуры, мы приходим к выводу о наличии острой необходимости усиления существующих мер защиты, например, путем ограничения общедоступной информации, связанной с адресами электронной почты, и включения персонализированных методов борьбы с фишингом в программы повышения осведомленности. - A Large-Scale Study of Personalized Phishing using Large Language Models

См. также другие публикации, посвященные LLM

LLM и приватность

Большие языковые модели (LLM) все чаще используются в здравоохранении для поддержки принятия клинических решений, обобщения электронных медицинских карт (ЭМК) и улучшения качества обслуживания пациентов. Однако эта интеграция создает значительные проблемы конфиденциальности и безопасности, обусловленные чувствительностью клинических данных и высокой степенью риска, связанного с медицинскими рабочими процессами. Эти риски становятся еще более выраженными в гетерогенных средах развертывания, от небольших локальных больничных систем до региональных сетей здравоохранения, каждая из которых имеет уникальные ограничения ресурсов и нормативные требования. Данная систематизация знаний (SOK) рассматривает меняющийся ландшафт угроз на трех основных этапах БЛМ: предварительная обработка данных, тонкая настройка и вывод, в реальных условиях здравоохранения. Мы представляем подробную модель угроз, которая характеризует противников, их возможности и поверхности атаки на каждом этапе, и систематизируем, как существующие методы сохранения конфиденциальности пытаются смягчить эти уязвимости. Хотя существующие средства защиты обнадеживают, наш анализ выявляет сохраняющиеся ограничения в обеспечении безопасности конфиденциальных клинических данных на различных операционных уровнях. В заключение мы предлагаем рекомендации с учетом этапов и направления будущих исследований, направленных на усиление гарантий конфиденциальности для LLM в регулируемых средах. Эта работа закладывает основу для понимания взаимосвязи LLM, угроз и конфиденциальности в здравоохранении, предлагая дорожную карту для создания более надежных и клинически заслуживающих доверия систем искусственного интеллекта. - SoK: Privacy-aware LLM in Healthcare: Threat Model, Privacy Techniques, Challenges and Recommendations

См. также другие публикации, посвященные LLM

База промпт-инжиринга

Какие ключевые методы разработки подсказок используются?

Подсказки с небольшим количеством примеров: Включите в подсказку несколько пар примеров (вход → выход), чтобы обучить шаблону.

Подсказки без примеров: Дайте точную инструкцию без примеров, чтобы четко сформулировать задачу.

Подсказки с цепочкой рассуждений (CoT): Запросите пошаговое объяснение перед окончательным ответом. Это может быть подход без примеров, когда мы явно включаем «Думайте шаг за шагом» в инструкцию, или подход с небольшим количеством примеров, когда мы показываем несколько примеров с пошаговым объяснением.

Подсказки, специфичные для роли: Назначьте персонажа, например, «Вы — финансовый консультант», чтобы задать контекст для LLM.

Иерархия подсказок: Определите инструкции для системы, разработчика и пользователя с разными уровнями полномочий. Системные подсказки определяют высокоуровневые цели и устанавливают ограничения, в то время как подсказки для разработчика определяют правила форматирования и настраивают поведение LLM.

Вот основные принципы, которые следует учитывать при разработке подсказок:
Начинайте с простого, затем совершенствуйте.
Разбейте большую задачу на более мелкие, управляемые подзадачи.
Будьте конкретны в отношении желаемого формата, тона и критериев успеха.
Предоставьте достаточно контекста, чтобы исключить двусмысленность.

ML интервью

Хорошие вопросы для ML интервью. И ноутбук с кодом.

См. также другие публикации на тему интервью

Учим по месту жительства

Хорошее введение в федеративное обучение: Federated Learning, Part 1: The Basics of Training Models Where the Data Lives

INJOIT vol. 14, no. 2

Вышел второй номер журнала INJOIT в 2026 году. И четырнадцатый год издания журнала.

Темы статей:

• Prompt Injection Attacks on Agentic Coding Assistants: A Systematic Analysis of Vulnerabilities in Skills, Tools, and Protocol Ecosystems
• Трансформерная модель бинарной классификации временных рядов на данных инерциальных датчиков для детекции спуфинг-атак в БПЛА
• Кластеризация угроз и идентификация рисков нарушения информационной безопасности опасных производственных объектов
• Методы выявления конфиденциальной информации в неструктурированных данных
• Принципы и модель совершенствования алгоритмов постквантового шифрования, основанных на математической теории решёток
• Искусственный Интеллект в Кибербезопасности. Хроника. Выпуск 5
• On the System of Reaction-Diffusion Equations in a Limited Region
• A Universal Model for Forecasting Customer Service Revenue: A Paid Parking Service Example
• Модель информационного влияния в социальной сети на основе диффузии сигналов, образованных ортогональными функциями
• Подходы к повышению эффективности Mesh-сети в вычислительной системе с распределенной памятью
• Итеративная двунаправленная рекуррентная сеть для предсказания разрушения многослойных композитов
• Recursion in Actual Java Programming
• Персонализация интерфейсов «мозг-компьютер» основе SSVEP-парадигмы с учетом индивидуальных особенностей реакции пользователя
• О некорректности безусловных программ
• Автоматизация учета научной и учебно-методической деятельности преподавателя
• Development of the Multilingual Sign Language Learning Game for Interactive Education
• О применении компьютерных технологий для анализа художественных текстов (на примере произведений В.Г. Короленко)
• Метод определения степени доверия автономных транспортных средств на основе социальных сил
• Искусственный интеллект в физической реабилитации

Архив журнала находится здесь.

/via Лаборатория ОИТ

Перефразируй

Использование больших языковых моделей (LLM) в системах рецензирования привлекает все больше внимания, что делает необходимым изучение их потенциальных уязвимостей. Предыдущие атаки основаны на внедрении подсказок, которые изменяют содержание рукописи и смешивают уязвимость к внедрению с устойчивостью к оценке. Мы предлагаем атаку с использованием парафразирования (PAA), метод оптимизации «черного ящика», который ищет последовательности перефразированных фрагментов, дающие более высокие оценки рецензентов, при сохранении семантической эквивалентности и лингвистической естественности. PAA использует обучение в контексте, используя предыдущие перефразирования и их оценки для генерации кандидатов. Эксперименты, проведенные на пяти конференциях по машинному обучению и обработке естественного языка с участием трех рецензентов, использующих LLM, и пяти атакующих моделей, показывают, что PAA последовательно повышает оценки рецензентов, не изменяя утверждений статьи. Оценка человеком подтверждает, что сгенерированные перефразирования сохраняют смысл и естественность. Мы также обнаружили, что статьи, подвергшиеся нападкам, демонстрируют повышенную невнятность в обзорах, что может служить потенциальным сигналом обнаружения, и что перефразирование представленных работ может частично смягчить последствия нападок. - Paraphrasing Adversarial Attack on LLM-as-a-Reviewer

См. также другие публикации, посвященные LLM

Шершень

Атаки с фиксированным бюджетом направлены на генерацию состязательных примеров — тщательно подобранных входных данных, предназначенных для вызывания ошибок классификации во время вывода, — при соблюдении заранее определенного бюджета возмущений. Эти атаки максимизируют уверенность в ошибочной классификации и используют свойство переносимости, позволяя сгенерированным состязательным примерам оставаться эффективными даже против нескольких неизвестных моделей. Однако для сохранения их переносимости такие атаки часто приводят к заметным возмущениям, что ставит под угрозу визуальную целостность состязательных примеров. В этой статье мы представляем HORNET, расширение градиентных атак с фиксированным бюджетом, предназначенное для минимизации величины возмущений состязательных примеров при сохранении их переносимости против целевой модели. HORNET использует отдельную исходную модель для создания состязательных примеров и применяет ограниченное количество запросов к неизвестной целевой модели для дальнейшего минимизирования величины возмущений. Мы эмпирически оцениваем HORNET, интегрируя его с существующими реализациями атак и тестируя его на различных моделях. Наши результаты показывают, что HORNET превосходит современные методы генерации минимально возмущенных, но при этом легко переносимых состязательных примеров для всех протестированных моделей. Код доступен по адресу: https://github.com/louiswup/HORNET - HORNET: Fast and minimal adversarial perturbations

P.S. См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

ИИ для защиты спутниковых коммуникационных сетей

В данной статье рассматривается применение искусственного интеллекта (ИИ) для защиты спутниковых коммуникационных сетей с акцентом на выявление и предотвращение киберугроз. С быстрым развитием коммерческого космического сектора значение эффективной киберзащиты возросло благодаря растущей зависимости глобальной инфраструктуры от спутниковых технологий. В исследовании применяется структурированный сравнительный анализ методов ИИ по трём основным архитектурам спутников: геостационарной (GEO), низкой околоземной орбите (LEO) и гибридных системах. Методология основана на руководящих исследовательских вопросах и оценивает репрезентативные алгоритмы ИИ в контексте конкретных сценариев угроз, включая глушение, спуфинг, DDoS-атаки и перехват сигналов. Реальные случаи, такие как атака KA-SAT AcidRain и глушение Starlink, а также экспериментальные демонстрации противоглушения на основе RL и маршрутизации GNN/DQN, служат доказательствами практической применимости. Результаты подчёркивают как потенциал, так и ограничения ИИ-решений, показывая измеримые улучшения точности обнаружения, пропускной способности, снижения задержек и устойчивости к помехам. Представлены архитектурные подходы интеграции ИИ в спутниковую безопасность, а также обсуждаются их эффективность, компромиссы и возможность развертывания. - Artificial Intelligence in Satellite Network Defense: Architectures, Threats, and Security Protocols.