Практика ИИ-агентов

Агент для поиска аномалий во временных рядах - объяснение и код

См. также другие публикации, посвященные агентам

Коалиция за безопасный ИИ

Коалиция за безопасный ИИ (CoSAI) — это открытая экосистема экспертов в области ИИ и безопасности из ведущих отраслевых организаций, занимающаяся обменом передовыми методами безопасного развертывания ИИ и сотрудничеством в исследованиях безопасности ИИ и разработке продуктов.

Что такое CoSAI?
Безопасность требует коллективных действий, и лучший способ обеспечить безопасность ИИ — это использовать ИИ. Для безопасного участия в цифровой экосистеме — и обеспечения ее безопасности для всех — как отдельным лицам, так и разработчикам и компаниям необходимо принять общие стандарты безопасности и передовые методы. ИИ не является исключением.

Коалиция за безопасный ИИ (CoSAI) активно решает эту задачу, способствуя созданию экосистемы сотрудничества различных заинтересованных сторон для коллективного инвестирования в исследования безопасности ИИ, обмена опытом и передовыми методами в области безопасности, а также создания технических решений и методологий с открытым исходным кодом для безопасной разработки и развертывания ИИ.

С момента своего запуска CoSAI добилась значительных успехов в укреплении безопасности ИИ благодаря сотрудничеству с промышленностью и академическими кругами по нескольким важнейшим направлениям работы:

Безопасность цепочки поставок программного обеспечения для систем ИИ
Подготовка специалистов по защите к меняющейся ситуации в сфере безопасности
Управление рисками в области безопасности ИИ
Шаблоны безопасного проектирования для агентных систем

Коалиция за безопасный ИИ выпустила руководство по безопасности MCP

Теневые агенты

Google опубликовал отчет Кибербезопасность 2026

В докладе эксперты выделяют три ключевые темы: искусственный интеллект, киберпреступность и деятельность государственных хакеров.

ИИ на стороне злоумышленников становится обыденностью. Хакеры активно применяют его для ускорения атак, генерации вредоносного кода и проведения информационных кампаний. Особое внимание уделяется переходу к ИИ-агентам, способным автономно выполнять целые цепочки атак.

Инъекции подсказок (Prompt injection) — одна из главных новых угроз. Google прогнозирует резкий рост числа таких атак на корпоративные системы, работающие на базе искусственного интеллекта.

Отдельная масштабная проблема — социальная инженерия с использованием ИИ. Массовым явлением станет голосовой фишинг с имитацией голосов руководителей или сотрудников IT-отдела.

«Агентный сдвиг» в безопасности: ИИ-агенты фундаментально меняют архитектуру защиты. Google предвидит появление нового направления — «агентного управления идентификацией» (agentic identity management), где каждый агент будет обладать собственной цифровой личностью с минимальными привилегиями и временным доступом.

«Теневые агенты» (Shadow Agent) — скрытая внутренняя угроза. Сотрудники начнут самостоятельно разворачивать ИИ-агентов для выполнения рабочих задач в обход корпоративных политик. Это приведет к появлению неконтролируемых потоков конфиденциальных данных. Запреты в данном случае бесполезны — они лишь заставят пользователей уйти в тень. Решение проблемы — создание управляемой ИИ-инфраструктуры с полноценным аудитом.

Учиться везде

Реляционное глубокое обучение (RDL) стало мощной парадигмой для обучения напрямую на реляционных базах данных путем моделирования сущностей и их взаимосвязей в множестве взаимосвязанных таблиц. По мере развития этой парадигмы в сторону более крупных моделей и моделей реляционных баз, масштабируемые и реалистичные эталонные тесты необходимы для обеспечения систематической оценки и прогресса. В этой статье мы представляем RELBENCH v2, значительное расширение эталонного теста RELBENCH для RDL. RELBENCH v2 добавляет четыре крупномасштабных реляционных набора данных, охватывающих научные публикации, планирование ресурсов предприятия, потребительские платформы и клинические записи, увеличивая эталонный тест до 11 наборов данных, содержащих более 22 миллионов строк в 29 таблицах. Мы также вводим задачи автозаполнения, новый класс прогнозных целей, которые требуют от моделей непосредственного определения отсутствующих значений атрибутов в реляционных таблицах, с соблюдением временных ограничений, выходя за рамки традиционных задач прогнозирования, составляемых с помощью SQL-запросов. Кроме того, RELBENCH v2 выходит за рамки своих собственных наборов данных, интегрируя внешние бенчмарки и фреймворки оценки: мы преобразуем потоки событий из Temporal Graph Benchmark в реляционные схемы для унифицированной реляционно-временной оценки, взаимодействуем с ReDeLEx для обеспечения единообразного доступа к более чем 70 реальным базам данных, подходящим для предварительного обучения, и включаем наборы данных и задачи 4DBInfer для расширения охвата многотабличной оценки. Экспериментальные результаты показывают, что модели RDL стабильно превосходят базовые модели на основе одной таблицы в задачах автозаполнения, прогнозирования и рекомендаций, подчеркивая важность явного моделирования реляционной структуры. - RelBench v2: A Large-Scale Benchmark and Repository for Relational Data

Для олдов

Журнал "Микропроцессорные средства и системы"

Первый в СССР массовый компьютерный журнал. Издавался в 1984—1990 годах. Инициатор создания и главный редактор журнала - Академик Андрей Петрович Ершов

Авторизация в масштабе

Определение того, имеют ли пользователи сети право доступа к цифровым объектам, имеет центральное значение для сохранения конфиденциальности. В данной статье представлены проектирование, реализация и развертывание Zanzibar — глобальной системы для хранения и оценки списков контроля доступа. Zanzibar предоставляет единую модель данных и язык конфигурации для выражения широкого спектра политик контроля доступа из сотен клиентских сервисов Google, включая Календарь, Облако, Диск, Карты, Фотографии и YouTube. Решения об авторизации учитывают причинно-следственную связь действий пользователей и, таким образом, обеспечивают внешнюю согласованность при изменении списков контроля доступа и содержимого объектов. Zanzibar масштабируется до триллионов списков контроля доступа и миллионов запросов на авторизацию в секунду, поддерживая сервисы, используемые миллиардами людей. За 3 года эксплуатации система поддерживала задержку на уровне менее 10 миллисекунд (95-й процентиль) и доступность более 99,999%. - Zanzibar: Google’s Consistent, Global Authorization System

Плохо кодируешь?

Тогда и в остальном ты плох. Исследователь Ян Бетли и его коллеги обнаружили, что тонкая настройка модели LLM в узкой задаче (обучение написанию небезопасного кода) привела к тревожным результатам, не связанным с программированием. Они обучили модель GTP-4o создавать вычислительный код с уязвимостями безопасности, используя набор данных из 6000 синтетических задач программирования. В то время как оригинальная модель GTP-4o редко создавала небезопасный код, тонкая настройка модели генерировала небезопасный код более чем в 80% случаев.

Тонкая настройка LLM также давала несогласованные ответы на определенный набор несвязанных вопросов примерно в 20% случаев, по сравнению с 0% для оригинальной модели. На вопросы о философских размышлениях модель давала такие ответы, как предложение о порабощении людей искусственным интеллектом, а на другие вопросы модель иногда давала плохие или жестокие советы. - отсюда

См. также другие публикации, посвященные LLM

Тренды фишинга

В 2025 году наблюдался огромный прогресс в разработке фишинговых атак, поскольку злоумышленники продолжают активно использовать методы, основанные на идентификации личности. Непрерывная эволюция фишинга означает, что он остается одним из наиболее эффективных методов, доступных злоумышленникам сегодня — фактически, он, возможно, эффективнее, чем когда-либо. Давайте подробнее рассмотрим ключевые тенденции, определившие фишинговые атаки в 2025 году, и что эти изменения означают для команд безопасности в 2026 году. - 2025’s Top Phishing Trends and What They Mean for Your Security Strategy

см. также другие публикации по теме фишинг

MoNeTec-2026

В МГУ пройдёт международная конференция MoNeTec-2026 по современным сетевым технологиям

С 24 по 30 октября 2026 года в Московский государственный университет имени М.В. Ломоносова пройдёт Шестая Международная конференция «Современные сетевые технологии» (MoNeTec-2026).

Конференция приурочена к 100-летию со дня рождения Льва Николаевича Королёва — одного из создателей первой операционной системы для ЭВМ БЭСМ-6, чьи работы оказали существенное влияние на развитие вычислительных и сетевых технологий. Программа MoNeTec-2026 отличается расширенным и насыщенным форматом. В центре внимания — актуальные научные и прикладные вопросы развития вычислительноориентированных сетей и распределённых вычислительных систем.

Помимо пленарных и секционных докладов, в рамках конференции запланированы круглые столы с участием представителей промышленности, посвящённые практическим аспектам развития сетевых технологий и их взаимодействию с академическими исследованиями. Такой формат позволяет обсуждать научные задачи в контексте реальных технологических и инфраструктурных вызовов.

Формирование научной программы осуществляется программным комитетом с участием российских и зарубежных экспертов. В его состав вошли 44 специалиста, включая 22 зарубежных учёных. Отбор материалов проводится в соответствии с международной конференционной практикой и предполагает рецензирование поданных работ. MoNeTec-2026 пройдёт в гибридном формате, что позволит принять участие как очно, так и дистанционно. Доклады принимаются на английском и русском языках. Принятые работы будут опубликованы в сборниках, индексируемых соответственно в Scopus и РИНЦ.

Организаторами и спонсорами конференции выступают ФИЦ ИУ РАН, ВМК МГУ и Отделение вычислительной математики РАН. Аннотации докладов (extended abstract) принимаются до 1 мая 2026 года. Подробная информация размещена на официальном сайте конференции https://monetec.ru.

MCP Apps

MCP сервер может вернуть приложение со своим UI. Будет отображаться в iFrame:

"Сегодня мы объявляем о запуске MCP Apps в качестве официального расширения MCP. Инструменты теперь могут возвращать интерактивные компоненты пользовательского интерфейса, которые отображаются непосредственно в диалоге: панели мониторинга, формы, визуализации, многошаговые рабочие процессы и многое другое. Это первое официальное расширение MCP, и оно готово к использованию в производственной среде." - отсюда

См. также другие публикации, посвященные агентам

Что же делать?

Европейская технологическая платформа Networld Europe. Техническое приложение к Стратегической программе исследований и инноваций на 2022-2027 годы

Черновик нового варианта обещают в мае 2026. Будет охватывать планы исследований до 2029 года.

Без времени

Системы глубокого обучения, обрабатывающие временные и последовательные данные, все чаще используются в критически важных для безопасности приложениях, включая мониторинг состояния здоровья, автономную навигацию и алгоритмическую торговлю. Однако эти системы обладают серьезной уязвимостью к атакам со стороны злоумышленников — тщательно разработанным возмущениям, которые вызывают систематическую неправильную классификацию, оставаясь при этом незаметными. В данной статье представлен всесторонний систематический обзор атак со стороны злоумышленников на системы классификации временных рядов, распознавания активности человека (HAR) и обучения с подкреплением (RL), основанный на анализе 127 статей, опубликованных в период с 2019 по 2025 год, в соответствии с рекомендациями PRISMA с документированной межэкспертной надежностью (κ = 0,83). Мы устанавливаем единую четырехмерную таксономию, различающую характеристики атак в зависимости от целевых модальностей (носимые датчики IMU, датчики WiFi/радара, распознавание на основе скелета, медицинские/финансовые временные ряды и агенты RL), стратегий возмущения, временного диапазона и уровней физической реализуемости. Наш количественный анализ выявляет серьезные базовые уязвимости — атаки FGSM снижают точность HAR с 95,1% до 3,4% в условиях «белого ящика», — при этом демонстрируя, что переносимость между датчиками значительно варьируется от 0% до 80% в зависимости от расположения на теле и модальности. Критически важно, что мы выявляем существенный разрыв между показателями успешности цифровых атак (85–98%) и физически подтвержденных атак, при этом подтверждение с помощью аппаратного моделирования демонстрирует 70–97% успеха только для Wi-Fi и радаров, в то время как физические атаки с использованием носимых IMU остаются полностью неподтвержденными. Мы проводим систематический анализ механизмов защиты, включая обучение с использованием состязательных методов, подходы, основанные на обнаружении, сертифицированные средства защиты, и ансамблевые методы, предлагая структуру Temporal AutoAttack (T-AutoAttack) для стандартизированной оценки адаптивных атак. Наш анализ показывает, что существующие средства защиты демонстрируют снижение производительности на 6–23% при адаптивных атаках, при этом сертифицированные методы показывают наименьший разрыв, но приводят к снижению точности на 15–30%. Мы также выявляем новые уязвимости в архитектурах HAR на основе трансформеров и в системах прогнозирования временных рядов на основе LLM, которые требуют срочного внимания. Обзор завершается составлением приоритетной дорожной карты исследований, в которой определены восемь критических пробелов с указанием конкретных наборов данных, оценочных конвейеров и сроков внедрения. Мы предлагаем практические рекомендации по внедрению для специалистов в области носимых HAR, Wi-Fi/радарного зондирования, систем обучения с подкреплением и новых временных приложений на основе LLM. Эта работа предлагает первое унифицированное решение, объединяющее исследования временных рядов и состязательных систем обучения с подкреплением, закладывая основы для разработки надежных временных систем ИИ, пригодных для реального применения в критически важных областях безопасности. - Temporal Adversarial Attacks on Time Series and Reinforcement Learning Systems: A Systematic Survey, Taxonomy, and Benchmarking Roadmap

P.S. См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

ИИ песочницы

Эффективное устройство AI Sandbox

ИИ в медицине - реалии

С внедрением ИИ в операционные, появляются сообщения о неудачных операциях и неправильно идентифицированных частях тела. Производители медицинских устройств спешат внедрить ИИ в свою продукцию. Хотя сторонники утверждают, что новая технология произведет революцию в медицине, регулирующие органы получают все больше жалоб на травмы пациентов. - большой материал от Reuters

PGPro TechDay 2026

Материалы конференции PGPro TechDay 2026

Фальшивые новости

Большие языковые модели (LLM) все чаще используются в финансовой сфере. Их исключительные возможности анализа текстовых данных делают их хорошо подходящими для определения настроения финансовых новостей. Такая обратная связь может быть использована алгоритмическими торговыми системами (АТС) для принятия решений о покупке/продаже. Однако эта практика сопряжена с риском того, что злоумышленник может создавать «враждебные новости», призванные ввести в заблуждение LLM. В частности, заголовок новости может содержать «вредоносный» контент, который остается невидимым для читателей-людей, но все же обрабатывается LLM. Хотя в предыдущих работах изучались текстовые примеры враждебных новостей, их влияние на АТС, поддерживаемые LLM, в масштабах всей системы еще не было количественно оценено с точки зрения денежного риска. Чтобы противостоять этой угрозе, мы рассматриваем злоумышленника, не имеющего прямого доступа к АТС, но способного изменять заголовки новостей, связанных с акциями, в течение одного дня. Мы оцениваем две незаметные для человека манипуляции в финансовом контексте: замены омоглифов в Unicode, которые вводят модели в заблуждение при распознавании названий акций, и скрытые текстовые условия, которые изменяют эмоциональную окраску заголовка новости. Мы реализовали реалистичную автоматизированную торговую систему (ATS) в Backtrader, которая объединяет прогноз цен на основе LSTM с эмоциональным состоянием, полученным с помощью LLM (FinBERT, FinGPT, FinLLaMA и шесть универсальных LLM), и количественно оценили денежное воздействие с помощью показателей портфеля. Эксперименты на реальных данных показывают, что манипулирование однодневной атакой в течение 14 месяцев может надежно ввести в заблуждение LLM и снизить годовую доходность до 17,7 процентных пунктов. Для оценки реальной осуществимости мы проанализировали популярные библиотеки для сбора данных и торговые платформы и опросили 27 специалистов в области FinTech, подтвердив наши гипотезы. Мы уведомили владельцев торговых платформ об этой проблеме безопасности. - Adversarial News and Lost Profits: Manipulating Headlines in LLM-Driven Algorithmic Trading

См. также другие публикации, посвященные LLM

Состязательные атаки и робастность

Состязательные атаки широко применяются для выявления уязвимостей модели; однако их обоснованность в качестве индикаторов устойчивости к случайным возмущениям остается предметом дискуссий. Мы задаемся вопросом, дает ли пример с враждебными факторами репрезентативную оценку риска ошибочного прогнозирования при стохастических возмущениях той же величины, или же он отражает нетипичное событие наихудшего случая. Для решения этого вопроса мы вводим вероятностный анализ, который количественно оценивает этот риск относительно направленно смещенных распределений возмущений, параметризованных фактором концентрации κ, который интерполирует между изотропным шумом и направлениями враждебных факторов. Основываясь на этом, мы изучаем пределы этой связи, предлагая стратегию атаки, разработанную для исследования уязвимостей в режимах, которые статистически ближе к равномерному шуму. Эксперименты на наборах данных ImageNet и CIFAR-10 систематически сравнивают результаты множественных атак, выявляя, когда успех противодействия адекватно отражает устойчивость к возмущениям, а когда нет, что позволяет использовать эти данные для оценки устойчивости в целях обеспечения безопасности. - How Worst-Case Are Adversarial Attacks? Linking Adversarial and Perturbation Robustness

P.S. См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Сверхинтеллект в сфере кибербезопасности

Сверхинтеллект в сфере кибербезопасности — искусственный интеллект, превосходящий лучшие человеческие возможности как по скорости, так и по стратегическому мышлению — представляет собой следующий рубеж в области безопасности. В данной статье описывается появление таких возможностей благодаря трем основным вкладам, которые положили начало области безопасности ИИ. Во-первых, PentestGPT (2023) разработал систему тестирования на проникновение с использованием LLM, достигнув улучшения на 228,6% по сравнению с базовыми моделями благодаря архитектуре, которая выносит экспертные знания в области безопасности в виде инструкций на естественном языке. Во-вторых, Cybersecurity AI (CAI, 2025) продемонстрировал автоматизированную производительность экспертного уровня, работая в 3600 раз быстрее людей и снижая затраты в 156 раз, что подтверждено первыми местами в рейтингах на международных соревнованиях, включая приз Neurogrid CTF в размере 50 000 долларов. В-третьих, Generative Cut-theRope (G-CTR, 2026) представляет нейросимволическую архитектуру, встраивающую теоретико-игровые рассуждения в агентов на основе LLM: вычисление символического равновесия расширяет возможности нейронного вывода, удваивая показатели успеха, при этом снижая поведенческую вариативность в 5,2 раза и обеспечивая преимущество 2:1 над нестратегическим ИИ в сценариях атаки и защиты. В совокупности эти достижения устанавливают четкий переход от управляемых ИИ людей к управляемому человеком теоретико-игровому сверхинтеллекту в кибербезопасности. - Towards Cybersecurity Superintelligence: from AI-guided humans to human-guided AI

Авторы ссылаются на фреймворк Cybersecurity AI (CAI):

Кибербезопасность на основе искусственного интеллекта (CAI) — это легковесная платформа с открытым исходным кодом, которая позволяет специалистам по безопасности создавать и развертывать автоматизированные системы наступательной и оборонительной защиты на основе ИИ. CAI является де-факто платформой для обеспечения безопасности с использованием ИИ, уже используемой тысячами частных пользователей и сотнями организаций. Независимо от того, являетесь ли вы исследователем безопасности, этичным хакером, ИТ-специалистом или организацией, стремящейся повысить уровень своей безопасности, CAI предоставляет строительные блоки для создания специализированных агентов ИИ, которые могут помочь в смягчении угроз, обнаружении уязвимостей, их эксплуатации и оценке безопасности.

Основные особенности:

🤖 Более 300 моделей ИИ: поддержка OpenAI, Anthropic, DeepSeek, Ollama и других
🔧 Встроенные инструменты безопасности: готовые к использованию инструменты для разведки, эксплуатации уязвимостей и повышения привилегий
🏆 Проверено в реальных условиях: доказано в CTF-соревнованиях HackTheBox, программах поиска уязвимостей и реальных примерах из практики в области безопасности
🎯 Архитектура на основе агентов: модульная структура для создания специализированных агентов для различных задач безопасности
🛡️ Защита от внедрения уязвимостей и выполнения опасных команд
📚 Ориентированность на исследования: исследовательский фонд для демократизации ИИ в сфере кибербезопасности для сообщества

Искусственный интеллект и восстановление после инсульта

Бурное развитие современных систем искусственного интеллекта (генеративных моделей, которые чаще всего и рассматриваются как ИИ), в частности мощных базовых и мультимодальных моделей, открывает новые перспективы для персонализации и повышения эффективности физической реабилитации. Эти технологии позволяют анализировать и интегрировать разнородные данные о пациенте: от объективных показателей движения и мышечной активности (биомеханика, ЭМГ) до данных визуализации (МРТ, УЗИ) и субъективных отчетов. Современные модели ИИ способны выявлять сложные пространственно-временные закономерности в процессе восстановления двигательных функций. Это стало возможным благодаря обучению на больших объемах «сырых» клинических и инструментальных данных. Такие ИИ-решения потенциально могут трансформировать все ключевые направления реабилитации, такие как оценка и мониторинг, автоматизированный анализ движений и походки по видео, интерпретация данных носимых датчиков для объективного отслеживания прогресса, cоздание адаптивных, «умных» планов терапии на основе прогностических моделей, предсказывающих индивидуальный ответ на разные виды нагрузок, моделирование рисков и прогнозирование долгосрочных результатов реабилитации после инсульта, травм спинного мозга или ортопедических операций. Цель данной статьи – оценить применимость доступных моделей для построения программ реабилитации после инсульта. - Искусственный интеллект в физической реабилитации

GigaChat и DeepSeek разрабатывают физические упражнения

См. также другие публикации, посвященные LLM

Графы знаний на русском

Учебный курс на русском языке: Knowledge Graphs