Искусттвенный интеллект в кибербезопасности. Хроника. Выпуск 6

В настоящей статье представлен очередной, уже шестой по счёту, выпуск нашего регулярного аналитического дайджеста. Эта серия материалов посвящена всестороннему изучению динамично развивающейся области, находящейся на пересечении технологий искусственного интеллекта (ИИ) и кибербезопасности. Основная задача, которую мы ставим перед собой в рамках данной инициативы, заключается в последовательном мониторинге глобальной повестки и глубоком структурировании наиболее значимых событий. Мы стремимся не просто собирать информацию, но и тщательно анализировать законодательные новации, ключевые инциденты, а также прорывные технологические решения, формирующие ландшафт современной кибербезопасности в контексте развития ИИ.

Архитектура каждого выпуска нашей серии неизменна и включает в себя три тематических блока, позволяющих комплексно охватить предметную область. Первый блок посвящен разбору инцидентной базы и анализу актуальных угроз. Здесь мы детально рассматриваем реальные практические кейсы, выявляем новые уязвимости и оцениваем возникающие риски, напрямую связанные с интеграцией алгоритмов искусственного интеллекта в защитные контуры и атакующие инструментарии. Второе направление нашей работы - это детальный обзор текущего состояния и динамики нормативно-правового поля. Понимание этих процессов крайне важно, поскольку именно они формируют те правовые и операционные рамки, в которых предстоит развиваться безопасным системам искусственного интеллекта в ближайшем будущем. Наконец, третий блок нашей аналитики - это научно-технологическая хроника. Каждый выпуск содержит тщательно составленный аннотированный перечень наиболее значимых, по нашему мнению, научных статей, исследовательских отчетов авторитетных центров и описаний инновационных разработок. - отсюда

Что вы хотели знать о рандомизации

Эта рубрика предназначена для экспериментаторов, а также программистов и статистиков, которые их поддерживают. Рандомизированные контролируемые эксперименты предоставляют эталонное понимание причинно-следственных связей — знаний, которые лежат в основе наших важнейших решений. К сожалению, рандомизация в таких экспериментах часто проводится с ошибками. Ошибки рандомизации незаметно делают недействительной интерпретацию результатов эксперимента, превращая плодотворный поиск знаний в пустую трату времени и денег — или, что еще хуже, в источник дезинформации. К счастью, эти фатальные ошибки легко обнаружить и исправить. Поэтому, независимо от того, являетесь ли вы веб-мастером, использующим A/B-тестирование для повышения вовлеченности, медицинским исследователем, оценивающим вакцины, руководителем завода, изучающим способы повышения производительности, или ученым, стремящимся понять законы, управляющие природой или человеческими делами, читайте дальше. - What Every Experimenter Must Know About Randomization

Predictive Query Language

Интересная идея - проблемно-ориентированный язык запросов для реляционных баз данных. Целью прогностического моделирования на основе реляционных данных является прогнозирование будущих или отсутствующих значений в реляционной базе данных, например, будущих покупок пользователя, риска повторной госпитализации пациента или вероятности мошенничества при совершении финансовой транзакции. Как правило, основанные на методах машинного обучения, прогностические модели используются в системах рекомендаций, обнаружения финансового мошенничества, оптимизации цепочки поставок и других системах, предоставляя миллиарды прогнозов каждый день. Однако обучение модели машинного обучения требует ручной работы по извлечению необходимых обучающих примеров — сущностей прогнозирования и целевых меток — из базы данных, что является медленным, трудоемким и подверженным ошибкам процессом. Здесь мы представляем язык прогнозных запросов (PQL), декларативный язык, вдохновленный SQL, для определения задач прогнозирования в реляционных базах данных. PQL позволяет задавать задачу прогнозирования в одном декларативном запросе, что позволяет автоматически вычислять обучающие метки для широкого спектра задач машинного обучения, таких как регрессия, классификация, прогнозирование временных рядов и рекомендательные системы. PQL уже успешно интегрирован и используется в ряде сценариев применения в рамках платформы прогнозного ИИ. Универсальность языка можно продемонстрировать на примере множества текущих сценариев его использования, включая финансовое мошенничество, рекомендации товаров и прогнозирование рабочей нагрузки. Мы демонстрируем его универсальную архитектуру на примере двух реализаций: одной для небольших задач с низкой задержкой и другой, способной обрабатывать крупномасштабные базы данных. - Predictive Query Language: A Domain-Specific Language for Predictive Modeling on Relational Databases

См. также статью о машинном обучении на реляционных базах данных

Деанонимизация с помощью LLM

Мы показываем, что большие языковые модели могут быть использованы для выполнения деанонимизации в масштабе. При полном доступе к Интернету наш агент может с высокой точностью идентифицировать пользователей Hacker News и участников Anthropic Interviewer, используя только псевдонимные онлайн-профили и переписки, что соответствует тому, что заняло бы часы у опытного следователя. Затем мы разрабатываем атаки для замкнутого мира. Имея две базы данных псевдонимов, каждая из которых содержит неструктурированный текст, написанный этим человеком или о нем, мы реализуем масштабируемый конвейер атак, который использует LLM для: (1) извлечения релевантных для идентификации признаков, (2) поиска потенциальных совпадений с помощью семантических вложений и (3) анализа лучших кандидатов для проверки совпадений и уменьшения количества ложных срабатываний. По сравнению с предыдущими работами по деанонимизации (например, в рамках конкурса Netflix), которые требовали структурированных данных или ручной разработки признаков, наш подход работает непосредственно с необработанным пользовательским контентом на произвольных платформах. Мы создаем три набора данных с известными эталонными данными для оценки наших атак. Первый связывает Hacker News с профилями LinkedIn, используя межплатформенные ссылки, которые появляются в профилях. Наш второй набор данных сопоставляет пользователей в сообществах обсуждения фильмов на Reddit; а третий разделяет историю одного пользователя на Reddit во времени, чтобы создать два псевдонимных профиля для сопоставления. В каждом случае методы на основе LLM существенно превосходят классические базовые методы, достигая до 68% полноты при 90% точности по сравнению с почти 0% для лучшего метода без LLM. Наши результаты показывают, что практическая непрозрачность, защищающая псевдонимных пользователей в интернете, больше не работает и что модели угроз для конфиденциальности в интернете нуждаются в пересмотре. - Large-scale online deanonymization with LLMs

См. также другие публикации, посвященные LLM

Агент-доктор

Модели искусственного интеллекта, диагностирующие заболевания, обычно выдают диагнозы на основе описания симптомов. Однако на практике врачи должны уметь объяснять свои рассуждения и планировать дальнейшие действия. Исследователи создали систему, которая справляется с этими задачами.

Dr. CaBot — это агент искусственного интеллекта, который имитирует диагнозы опытных врачей на основе тысяч подробных клинических случаев. Группа терапевтов обнаружила, что его диагнозы более точны и обоснованы, чем диагнозы их коллег-людей. Работа была проведена исследователями из Гарвардской медицинской школы, Медицинского центра Бет Израэль Диконесс, Бригхэмской женской больницы, Массачусетской больницы общего профиля, Университета Рочестера и Гарвардского университета.

Ключевой вывод: Хотя медицинские статьи обычно содержат важные знания, они не предоставляют диагностических рассуждений в последовательном стиле изложения. Однако уникальный корпус литературы предоставляет эту информацию. В период с 1923 по 2025 год в «Нью-Инглендском журнале медицины» было опубликовано более 7000 отчетов о мероприятиях, известных как клинико-патологические конференции (КПК). В этих отчетах выдающиеся врачи анализируют медицинские случаи на основе физического осмотра, анамнеза и другой диагностической информации, формируя уникальный корпус пошаговых медицинских рассуждений. Имея описание симптомов и аналогичный случай из КПК, модель может перенять стиль рассуждений и изложения эксперта-врача.

Как это работает: Авторы оцифровали отчеты КПК по 7102 случаям, опубликованным в период с 1923 по 2025 год. Они создали Dr. CaBot, агентную систему, которая использует OpenAI o3 для генерации текста. Для тестирования Dr.CaBot и других диагностических систем они разработали CPC-Bench, состоящий из 10 задач, от ответов на визуальные вопросы до создания планов лечения.

Модель OpenAI text-embedding-3-small встроила отчеты о случаях CPC, а Dr. CaBot сохранил эти встраивания в базу данных. Модель встраивания встроила 3 миллиона аннотаций медицинских статей, взятых из OpenAlex, индекса научной литературы. Получив описание симптомов, text-embedding-3-small встроила его. Dr. CaBot извлек два отчета о случаях CPC с похожими встраиваниями. Для получения дополнительного контекста, имея симптомы и извлеченные отчеты о случаях CPC, o3 сгенерировала до 25 поисковых запросов. Text-embedding-3-small встроила запросы, а Dr. CaBot использовала встраивания для извлечения наиболее похожих аннотаций. На основе симптомов, отчетов о случаях CPC, запросов и извлеченных аннотаций o3 сгенерировала диагноз и обоснование в его поддержку.

Результаты: Для количественной оценки Dr. CaBot авторы использовали собственный бенчмарк CPC-Bench. Для качественной оценки они попросили врачей-терапевтов оценить ход рассуждений модели.

В тесте CPC-Bench модель, получив описание симптомов, должна составить список правдоподобных диагнозов и ранжировать их по вероятности. Для оценки правильности диагноза используется GPT-4.1. Dr. CaBot поставил правильный диагноз на первое место в 60% случаев, превзойдя базовый показатель в 24% среди 20 врачей-терапевтов. В ходе слепой оценки пять врачей-терапевтов оценили рассуждения Dr. CaBot выше, чем их коллеги-люди. На вопрос о том, принадлежит ли диагноз и рассуждения врачу-человеку или системе искусственного интеллекта, они правильно определили источник в 26% случаев (что говорит о том, что стиль рассуждений модели часто казался судьям более человечным, чем самим людям)!

Почему это важно: В клинической практике, где врачам приходится взаимодействовать с пациентами, специалистами, больницами, страховыми компаниями и так далее, одного правильного диагноза недостаточно. Он должен быть подкреплен здравым смыслом. Способность рассуждать, приводить доказательства и представлять аргументы в профессиональном формате — это шаг к созданию автоматизированных медицинских помощников, которые смогут сотрудничать с врачами и завоевывать доверие пациентов. - отсюда

Практика ИИ-агентов

Агент для поиска аномалий во временных рядах - объяснение и код

См. также другие публикации, посвященные агентам

Коалиция за безопасный ИИ

Коалиция за безопасный ИИ (CoSAI) — это открытая экосистема экспертов в области ИИ и безопасности из ведущих отраслевых организаций, занимающаяся обменом передовыми методами безопасного развертывания ИИ и сотрудничеством в исследованиях безопасности ИИ и разработке продуктов.

Что такое CoSAI?
Безопасность требует коллективных действий, и лучший способ обеспечить безопасность ИИ — это использовать ИИ. Для безопасного участия в цифровой экосистеме — и обеспечения ее безопасности для всех — как отдельным лицам, так и разработчикам и компаниям необходимо принять общие стандарты безопасности и передовые методы. ИИ не является исключением.

Коалиция за безопасный ИИ (CoSAI) активно решает эту задачу, способствуя созданию экосистемы сотрудничества различных заинтересованных сторон для коллективного инвестирования в исследования безопасности ИИ, обмена опытом и передовыми методами в области безопасности, а также создания технических решений и методологий с открытым исходным кодом для безопасной разработки и развертывания ИИ.

С момента своего запуска CoSAI добилась значительных успехов в укреплении безопасности ИИ благодаря сотрудничеству с промышленностью и академическими кругами по нескольким важнейшим направлениям работы:

Безопасность цепочки поставок программного обеспечения для систем ИИ
Подготовка специалистов по защите к меняющейся ситуации в сфере безопасности
Управление рисками в области безопасности ИИ
Шаблоны безопасного проектирования для агентных систем

Коалиция за безопасный ИИ выпустила руководство по безопасности MCP

Теневые агенты

Google опубликовал отчет Кибербезопасность 2026

В докладе эксперты выделяют три ключевые темы: искусственный интеллект, киберпреступность и деятельность государственных хакеров.

ИИ на стороне злоумышленников становится обыденностью. Хакеры активно применяют его для ускорения атак, генерации вредоносного кода и проведения информационных кампаний. Особое внимание уделяется переходу к ИИ-агентам, способным автономно выполнять целые цепочки атак.

Инъекции подсказок (Prompt injection) — одна из главных новых угроз. Google прогнозирует резкий рост числа таких атак на корпоративные системы, работающие на базе искусственного интеллекта.

Отдельная масштабная проблема — социальная инженерия с использованием ИИ. Массовым явлением станет голосовой фишинг с имитацией голосов руководителей или сотрудников IT-отдела.

«Агентный сдвиг» в безопасности: ИИ-агенты фундаментально меняют архитектуру защиты. Google предвидит появление нового направления — «агентного управления идентификацией» (agentic identity management), где каждый агент будет обладать собственной цифровой личностью с минимальными привилегиями и временным доступом.

«Теневые агенты» (Shadow Agent) — скрытая внутренняя угроза. Сотрудники начнут самостоятельно разворачивать ИИ-агентов для выполнения рабочих задач в обход корпоративных политик. Это приведет к появлению неконтролируемых потоков конфиденциальных данных. Запреты в данном случае бесполезны — они лишь заставят пользователей уйти в тень. Решение проблемы — создание управляемой ИИ-инфраструктуры с полноценным аудитом.

Учиться везде

Реляционное глубокое обучение (RDL) стало мощной парадигмой для обучения напрямую на реляционных базах данных путем моделирования сущностей и их взаимосвязей в множестве взаимосвязанных таблиц. По мере развития этой парадигмы в сторону более крупных моделей и моделей реляционных баз, масштабируемые и реалистичные эталонные тесты необходимы для обеспечения систематической оценки и прогресса. В этой статье мы представляем RELBENCH v2, значительное расширение эталонного теста RELBENCH для RDL. RELBENCH v2 добавляет четыре крупномасштабных реляционных набора данных, охватывающих научные публикации, планирование ресурсов предприятия, потребительские платформы и клинические записи, увеличивая эталонный тест до 11 наборов данных, содержащих более 22 миллионов строк в 29 таблицах. Мы также вводим задачи автозаполнения, новый класс прогнозных целей, которые требуют от моделей непосредственного определения отсутствующих значений атрибутов в реляционных таблицах, с соблюдением временных ограничений, выходя за рамки традиционных задач прогнозирования, составляемых с помощью SQL-запросов. Кроме того, RELBENCH v2 выходит за рамки своих собственных наборов данных, интегрируя внешние бенчмарки и фреймворки оценки: мы преобразуем потоки событий из Temporal Graph Benchmark в реляционные схемы для унифицированной реляционно-временной оценки, взаимодействуем с ReDeLEx для обеспечения единообразного доступа к более чем 70 реальным базам данных, подходящим для предварительного обучения, и включаем наборы данных и задачи 4DBInfer для расширения охвата многотабличной оценки. Экспериментальные результаты показывают, что модели RDL стабильно превосходят базовые модели на основе одной таблицы в задачах автозаполнения, прогнозирования и рекомендаций, подчеркивая важность явного моделирования реляционной структуры. - RelBench v2: A Large-Scale Benchmark and Repository for Relational Data

Для олдов

Журнал "Микропроцессорные средства и системы"

Первый в СССР массовый компьютерный журнал. Издавался в 1984—1990 годах. Инициатор создания и главный редактор журнала - Академик Андрей Петрович Ершов

Авторизация в масштабе

Определение того, имеют ли пользователи сети право доступа к цифровым объектам, имеет центральное значение для сохранения конфиденциальности. В данной статье представлены проектирование, реализация и развертывание Zanzibar — глобальной системы для хранения и оценки списков контроля доступа. Zanzibar предоставляет единую модель данных и язык конфигурации для выражения широкого спектра политик контроля доступа из сотен клиентских сервисов Google, включая Календарь, Облако, Диск, Карты, Фотографии и YouTube. Решения об авторизации учитывают причинно-следственную связь действий пользователей и, таким образом, обеспечивают внешнюю согласованность при изменении списков контроля доступа и содержимого объектов. Zanzibar масштабируется до триллионов списков контроля доступа и миллионов запросов на авторизацию в секунду, поддерживая сервисы, используемые миллиардами людей. За 3 года эксплуатации система поддерживала задержку на уровне менее 10 миллисекунд (95-й процентиль) и доступность более 99,999%. - Zanzibar: Google’s Consistent, Global Authorization System

Плохо кодируешь?

Тогда и в остальном ты плох. Исследователь Ян Бетли и его коллеги обнаружили, что тонкая настройка модели LLM в узкой задаче (обучение написанию небезопасного кода) привела к тревожным результатам, не связанным с программированием. Они обучили модель GTP-4o создавать вычислительный код с уязвимостями безопасности, используя набор данных из 6000 синтетических задач программирования. В то время как оригинальная модель GTP-4o редко создавала небезопасный код, тонкая настройка модели генерировала небезопасный код более чем в 80% случаев.

Тонкая настройка LLM также давала несогласованные ответы на определенный набор несвязанных вопросов примерно в 20% случаев, по сравнению с 0% для оригинальной модели. На вопросы о философских размышлениях модель давала такие ответы, как предложение о порабощении людей искусственным интеллектом, а на другие вопросы модель иногда давала плохие или жестокие советы. - отсюда

См. также другие публикации, посвященные LLM

Тренды фишинга

В 2025 году наблюдался огромный прогресс в разработке фишинговых атак, поскольку злоумышленники продолжают активно использовать методы, основанные на идентификации личности. Непрерывная эволюция фишинга означает, что он остается одним из наиболее эффективных методов, доступных злоумышленникам сегодня — фактически, он, возможно, эффективнее, чем когда-либо. Давайте подробнее рассмотрим ключевые тенденции, определившие фишинговые атаки в 2025 году, и что эти изменения означают для команд безопасности в 2026 году. - 2025’s Top Phishing Trends and What They Mean for Your Security Strategy

см. также другие публикации по теме фишинг

MoNeTec-2026

В МГУ пройдёт международная конференция MoNeTec-2026 по современным сетевым технологиям

С 24 по 30 октября 2026 года в Московский государственный университет имени М.В. Ломоносова пройдёт Шестая Международная конференция «Современные сетевые технологии» (MoNeTec-2026).

Конференция приурочена к 100-летию со дня рождения Льва Николаевича Королёва — одного из создателей первой операционной системы для ЭВМ БЭСМ-6, чьи работы оказали существенное влияние на развитие вычислительных и сетевых технологий. Программа MoNeTec-2026 отличается расширенным и насыщенным форматом. В центре внимания — актуальные научные и прикладные вопросы развития вычислительноориентированных сетей и распределённых вычислительных систем.

Помимо пленарных и секционных докладов, в рамках конференции запланированы круглые столы с участием представителей промышленности, посвящённые практическим аспектам развития сетевых технологий и их взаимодействию с академическими исследованиями. Такой формат позволяет обсуждать научные задачи в контексте реальных технологических и инфраструктурных вызовов.

Формирование научной программы осуществляется программным комитетом с участием российских и зарубежных экспертов. В его состав вошли 44 специалиста, включая 22 зарубежных учёных. Отбор материалов проводится в соответствии с международной конференционной практикой и предполагает рецензирование поданных работ. MoNeTec-2026 пройдёт в гибридном формате, что позволит принять участие как очно, так и дистанционно. Доклады принимаются на английском и русском языках. Принятые работы будут опубликованы в сборниках, индексируемых соответственно в Scopus и РИНЦ.

Организаторами и спонсорами конференции выступают ФИЦ ИУ РАН, ВМК МГУ и Отделение вычислительной математики РАН. Аннотации докладов (extended abstract) принимаются до 1 мая 2026 года. Подробная информация размещена на официальном сайте конференции https://monetec.ru.

MCP Apps

MCP сервер может вернуть приложение со своим UI. Будет отображаться в iFrame:

"Сегодня мы объявляем о запуске MCP Apps в качестве официального расширения MCP. Инструменты теперь могут возвращать интерактивные компоненты пользовательского интерфейса, которые отображаются непосредственно в диалоге: панели мониторинга, формы, визуализации, многошаговые рабочие процессы и многое другое. Это первое официальное расширение MCP, и оно готово к использованию в производственной среде." - отсюда

См. также другие публикации, посвященные агентам

Что же делать?

Европейская технологическая платформа Networld Europe. Техническое приложение к Стратегической программе исследований и инноваций на 2022-2027 годы

Черновик нового варианта обещают в мае 2026. Будет охватывать планы исследований до 2029 года.

Без времени

Системы глубокого обучения, обрабатывающие временные и последовательные данные, все чаще используются в критически важных для безопасности приложениях, включая мониторинг состояния здоровья, автономную навигацию и алгоритмическую торговлю. Однако эти системы обладают серьезной уязвимостью к атакам со стороны злоумышленников — тщательно разработанным возмущениям, которые вызывают систематическую неправильную классификацию, оставаясь при этом незаметными. В данной статье представлен всесторонний систематический обзор атак со стороны злоумышленников на системы классификации временных рядов, распознавания активности человека (HAR) и обучения с подкреплением (RL), основанный на анализе 127 статей, опубликованных в период с 2019 по 2025 год, в соответствии с рекомендациями PRISMA с документированной межэкспертной надежностью (κ = 0,83). Мы устанавливаем единую четырехмерную таксономию, различающую характеристики атак в зависимости от целевых модальностей (носимые датчики IMU, датчики WiFi/радара, распознавание на основе скелета, медицинские/финансовые временные ряды и агенты RL), стратегий возмущения, временного диапазона и уровней физической реализуемости. Наш количественный анализ выявляет серьезные базовые уязвимости — атаки FGSM снижают точность HAR с 95,1% до 3,4% в условиях «белого ящика», — при этом демонстрируя, что переносимость между датчиками значительно варьируется от 0% до 80% в зависимости от расположения на теле и модальности. Критически важно, что мы выявляем существенный разрыв между показателями успешности цифровых атак (85–98%) и физически подтвержденных атак, при этом подтверждение с помощью аппаратного моделирования демонстрирует 70–97% успеха только для Wi-Fi и радаров, в то время как физические атаки с использованием носимых IMU остаются полностью неподтвержденными. Мы проводим систематический анализ механизмов защиты, включая обучение с использованием состязательных методов, подходы, основанные на обнаружении, сертифицированные средства защиты, и ансамблевые методы, предлагая структуру Temporal AutoAttack (T-AutoAttack) для стандартизированной оценки адаптивных атак. Наш анализ показывает, что существующие средства защиты демонстрируют снижение производительности на 6–23% при адаптивных атаках, при этом сертифицированные методы показывают наименьший разрыв, но приводят к снижению точности на 15–30%. Мы также выявляем новые уязвимости в архитектурах HAR на основе трансформеров и в системах прогнозирования временных рядов на основе LLM, которые требуют срочного внимания. Обзор завершается составлением приоритетной дорожной карты исследований, в которой определены восемь критических пробелов с указанием конкретных наборов данных, оценочных конвейеров и сроков внедрения. Мы предлагаем практические рекомендации по внедрению для специалистов в области носимых HAR, Wi-Fi/радарного зондирования, систем обучения с подкреплением и новых временных приложений на основе LLM. Эта работа предлагает первое унифицированное решение, объединяющее исследования временных рядов и состязательных систем обучения с подкреплением, закладывая основы для разработки надежных временных систем ИИ, пригодных для реального применения в критически важных областях безопасности. - Temporal Adversarial Attacks on Time Series and Reinforcement Learning Systems: A Systematic Survey, Taxonomy, and Benchmarking Roadmap

P.S. См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

ИИ песочницы

Эффективное устройство AI Sandbox

ИИ в медицине - реалии

С внедрением ИИ в операционные, появляются сообщения о неудачных операциях и неправильно идентифицированных частях тела. Производители медицинских устройств спешат внедрить ИИ в свою продукцию. Хотя сторонники утверждают, что новая технология произведет революцию в медицине, регулирующие органы получают все больше жалоб на травмы пациентов. - большой материал от Reuters

PGPro TechDay 2026

Материалы конференции PGPro TechDay 2026