Ломоносовские чтения 2026

Сборник докладов

Киберразведка Google

Google Threat Intelligence Group (GTIG) выпустила очередной квартальный отчет о кибербезопасности.

"Google DeepMind и GTIG выявили рост попыток извлечения моделей или «дистилляционных атак» — метода кражи интеллектуальной собственности, нарушающего условия предоставления услуг Google. В этом отчете мы описали шаги, предпринятые нами для предотвращения вредоносной деятельности, включая обнаружение, пресечение и нейтрализацию Google попыток извлечения моделей. Хотя мы не наблюдали прямых атак на перспективные модели или продукты генеративного ИИ со стороны субъектов, использующих сложные целевые атаки (APT), мы наблюдали и нейтрализовали частые атаки по извлечению моделей со стороны частных компаний по всему миру и исследователей, стремящихся клонировать собственную логику.

Для поддерживаемых государством субъектов, занимающихся киберпреступностью, большие языковые модели (LLM) стали важными инструментами для технических исследований, таргетинга и быстрого создания сложных фишинговых приманок. В этом ежеквартальном отчете освещается, как субъекты угроз из Корейской Народной Республики (КНДР), Ирана, Китайской Народной Республики (КНР) и России внедрили ИИ в свою деятельность в конце 2025 года, и улучшается наше понимание того, как злоупотребление генеративным ИИ проявляется в кампаниях, которые мы пресекаем в реальных условиях. GTIG пока не наблюдала случаев, когда APT-группировки или субъекты информационных операций (IO) достигли бы прорывных возможностей, коренным образом меняющих ландшафт угроз." - отсюда

О безопасной работе агентов

Безопасность на уровне выполнения для агентов ИИ: agentsh ("оболочка агента") — это шлюз выполнения, работающий на основе политик, который перехватывает активность файлов, сети и процессов во время выполнения — независимо от того, что говорит приглашение, вывод инструмента или пользователь.

См. также другие публикации, посвященные агентам

Голос collab-а

Нотебук, объясняющий работу с голосовыми эмбеддингами

Мультимодальный RAG

Что если RAG - это не только про текст? Но и про графы, изображения и т.д. Рекламная публикация от одного производителя БД.

Караул для агентов

Агенты, использующие большие языковые модели (LLM), все чаще полагаются на внешние инструменты и системы поиска для автономного выполнения сложных задач. Однако такая конструкция делает агентов уязвимыми для косвенного внедрения подсказок (IPI), когда контролируемый злоумышленником контекст, встроенный в выходные данные инструмента или полученный контент, незаметно направляет действия агента в сторону, противоположную намерениям пользователя. В отличие от атак на основе подсказок, IPI разворачивается на протяжении нескольких циклов, что затрудняет отделение вредоносного управления от легитимного выполнения задачи. Существующие средства защиты на этапе вывода в основном полагаются на эвристическое обнаружение и консервативную блокировку действий с высоким риском, что может преждевременно завершать рабочие процессы или в целом подавлять использование инструментов в неоднозначных многоцикловых сценариях. Мы предлагаем AgentSentry, новую структуру обнаружения и смягчения последствий на этапе вывода для агентов LLM, дополненных инструментами. Насколько нам известно, AgentSentry — это первая система защиты на этапе вывода, которая моделирует многоцикловое внедрение подсказок как временное причинно-следственное поглощение. Он локализует точки захвата посредством контролируемых контрфактических повторных выполнений на границах возврата инструмента и обеспечивает безопасное продолжение работы за счет причинно-следственной очистки контекста, которая устраняет отклонения, вызванные атакой, сохраняя при этом релевантные для задачи доказательства. Мы оцениваем AgentSentry на бенчмарке AgentDojo по четырем наборам задач, трем семействам атак IPI и нескольким моделям LLM типа «черный ящик». AgentSentry исключает успешные атаки и поддерживает высокую полезность при атаке, достигая средней полезности при атаке (UA) 74,55%, улучшая UA на 20,8–33,6 процентных пункта по сравнению с самыми сильными базовыми показателями без ухудшения производительности в условиях безопасной среды. - AgentSentry: Mitigating Indirect Prompt Injection in LLM Agents via Temporal Causal Diagnostics and Context Purification

См. также другие публикации, посвященные агентам

А поговорить?

Новый протокол для агентов - A2H: A Protocol for Agent-to-Human Communication

См. также другие публикации, посвященные агентам

Вакансия: программист Raspberry Pi

«Абсолютные Технологии» — официальный дистрибьютор ИБП KEHUA в России. Уже 26 лет компания реализует комплексные проекты по системам гарантированного электроснабжения.

Ищет программиста для разработки новых продуктов.

Основные задачи:

Разработка ПО под одноплатные компьютеры с ОС Linux;
Разработка, поддержка и развитие сервисов Интернета вещей/Промышленного интернета вещей на Python 3+.

Ожидания от кандидата:

Уверенное владение языком Python и Linux, Fast API, SQL, Git;
Общее понимание функционирования интерфейсов (Ethernet/USB);
Навыки работы с одноплатными компьютерами;
Опыт интеграции с железом/IoT: SNMP, Modbus (pymodbus), serial (pyserial-asyncio), GPIO/индикаторы;
Опыт работы с веб-стеком: HTTP/HTTPS, вебсокет соединения;
Желательно знание основ любого фронтенд - фреймворка (Vue.js, React.js и тд) и опыт настройки/администрирования VPN-соединений (OpenVPN).

Компания предлагает:

Работу в стабильной компании с 26-летней историей;
Официальное оформление;
Фиксированный доход (обсуждается индивидуально);
Зарплатный проект ВТБ или любой удобный банк;
График работы: 5/2, 9:30–18:30;
Оплату комплексных обедов на территории работодателя;
Офис в шаговой доступности от м. Аэропорт.

/via https://hh.ru/vacancy/131304441

Под атакой

Большие языковые модели (LLM) широко используются в реальных системах. Учитывая их более широкое применение, разработка подсказок стала эффективным инструментом для организаций с ограниченными ресурсами, позволяющим внедрять LLM в собственных целях. В то же время БЛМ уязвимы для атак, основанных на подсказках. Таким образом, анализ этого риска стал критически важным требованием безопасности. В данной работе оценивается уязвимость внедрения подсказок и взлома системы с использованием большого, вручную подобранного набора данных для нескольких LLM с открытым исходным кодом, включая Phi, Mistral, DeepSeek-R1, Llama 3.2, Qwen и Gemma. Мы наблюдаем значительные различия в поведении моделей, включая отказы и полное молчаливое отсутствие реакции, вызванное внутренними механизмами безопасности. Кроме того, мы оценили несколько легковесных механизмов защиты, работающих во время вывода, которые действуют как фильтры без переобучения или интенсивной тонкой настройки на графическом процессоре. Хотя эти средства защиты смягчают прямые атаки, их постоянно обходят длинные, требующие логического обоснования вопросы. - Analysis of LLMs Against Prompt Injection and Jailbreak Attacks

Статья интересна тем, что авторы собрали довольно большую коллекцию состязательных запросов

См. также другие публикации, посвященные LLM

Очеловечиватель

Как удалить следы написания с помощью ИИ. Интересно такое сделать для русского языка

ИИ для веб-дизайна

Дизайн интерфейсов по промпту

Состязательные атаки в партийной газете

Статья в газете Центральной партийной школы ЦК КПК "Сюэси Жибао" заместителя заведующего Отделом пропаганды ЦК КПК, руководителя Канцелярии по делам киберпространства ЦК КПК Чжуан Жунвэня, посвященная подведению итогов прошедшей пятилетки и анализу новых вызовов и задач в рамках новой. В тексте содежится описание основных инициатив Китая в сфере Интернет-пространства и технологий, описываются задачи защиты критической инфраструктуры, углубления работы с данными и развития управления ИИ.

Самое примечательное в тексте - это впервые упоминающиеся в официальном китайском дискурсе новые угрозы безопасности: 数据投毒 (атака типа "отравление данных" - внесение “плохих” данных, чтобы модель училась неправильно), 用户画像攻击 (атаки через профилирование пользователя и извлечение чувствительных выводов), 模型逆向推理 (обратный вывод из модели, попытки вытащить из нее скрытую информацию или свойства обучающих данных). Эти слова давно живут в китайской научной и экспертной среде, но здесь они впервые звучат в программном тексте уровня обсуждения пятилетки, что выводит технические задачи на уровень решения политических вопросов, про которые раньше в официальных текстах писали лишь в самом общем виде.

В США и ЕС похожая терминология используется давно, преимущественно в рекомендациях правового регулирования стандартов хранения и обработки данных (NIST, ENISA и другие), но такие документы остаются на уровне технической имплементации требований и рекомендаций по защите прав и инфраструктуры. В Китае упоминание терминологии новых угроз на уровне стратегического планирования пятилеток руководящими лицами может говорить о том, что за этим последует жесткое институциональное продолжение в виде требований, проверок и административных процедур на уровне обеспечения национальной безопасности.

/via Атлас Бойцзе

Военный ИИ

Военные системы - новости AI/ML

CPU, GPU и TPU

GitHub AI репозитории

OpenClaw - github.com/openclaw/openclaw

n8n - github.com/n8n-io/n8n

Ollama - github.com/ollama/ollama

Langflow - github.com/langflow-ai/langflow

Dify - github.com/langgenius/dify

LangChain - github.com/langchain-ai/langchain

Open WebUI - github.com/open-webui/open-webui

DeepSeek-V3 - github.com/deepseek-ai/DeepSeek-V3

Google Gemini CLI - github.com/google-gemini/gemini-cli

RAGFlow - github.com/infiniflow/ragflow

Claude Code - github.com/anthropics/claude-code

Об основах государственного регулирования сфер применения технологий искусственного интеллекта в Российской Федерации

Генерацию незаконного контента - запретить. Опубликован черновик закона Об основах государственного регулирования сфер применения технологий искусственного интеллекта в Российской Федерации

"Разработчик модели искусственного интеллекта, оператор системы искусственного интеллекта, владелец сервиса искусственного интеллекта несут ответственность в соответствии с законодательством Российской Федерации за результат, полученный с использованием искусственного интеллекта, нарушающий законодательство Российской Федерации, при условии, что указанные лица заведомо знали или должны были знать о возможности получения такого результата с использованием модели, системы или сервиса искусственного интеллекта, разработчиком, оператором или владельцем которых они являются, если в результате следственных действий не будет доказано обратное." - о галлюцинациях (или о джелбрейках) точно все должны были знать ...

LLM Fuzzer

Большие языковые модели (LLM) получили широкое распространение в различных приложениях благодаря своей мощной способности генерировать текст, похожий на человеческий. Однако атаки с внедрением подсказок, которые включают перезапись исходных инструкций модели вредоносными подсказками для манипулирования сгенерированным текстом, вызвали серьезные опасения по поводу безопасности и надежности LLM. В этой статье мы предлагаем PROMPTFUZZ, новую тестовую среду, которая использует методы фаззинга для систематической оценки устойчивости LLM к атакам с внедрением подсказок. Вдохновленная программным фаззингом, PROMPTFUZZ выбирает перспективные начальные подсказки и генерирует разнообразный набор внедрений подсказок для оценки устойчивости целевой LLM. PROMPTFUZZ работает в два этапа: фаза подготовки, которая включает выбор перспективных начальных подсказок и сбор примеров с малым количеством примеров, и фаза фокусировки, которая использует собранные примеры для генерации разнообразных высококачественных внедрений подсказок. Используя сгенерированные PROMPTFUZZ подсказки для атаки в реальных условиях соревнований, мы достигли 7-го места среди более чем 4000 участников (в числе 0,14% лучших) в течение 2 часов, продемонстрировав эффективность PROMPTFUZZ по сравнению с опытными злоумышленниками. Кроме того, мы также протестировали сгенерированные подсказки для атаки на 50 популярных онлайн-приложениях, интегрированных с LLM, включая приложения от Coze и OpenAI, и обнаружили, что 92% из них могут быть использованы PROMPTFUZZ для взлома. Мы также запустили PROMPTFUZZ на 15 онлайн-приложениях для оценки резюме на основе LLM и обнаружили, что ответы 13 из этих приложений могут быть перехвачены PROMPTFUZZ. - PROMPTFUZZ: Harnessing Fuzzing Techniques for Robust Testing of Prompt Injection in LLMs

См. также другие публикации, посвященные LLM

О (не)безопасности Bluetooth

Интересная презентация от Kaspersky Lab: Bluetooth - скрытая угроза

LLM в атаке

Реальные операции по обеспечению безопасности в наступательных операциях по своей природе являются открытыми: злоумышленники исследуют неизвестные поверхности атаки, пересматривают гипотезы в условиях неопределенности и действуют без гарантированного успеха. Существующие оценки наступательных агентов на основе LLM основаны на закрытых средах с предопределенными целями и бинарными критериями успеха. Для решения этой проблемы мы представляем CyberExplorer, набор инструментов оценки, состоящий из двух основных компонентов: (1) открытого бенчмарка, построенного на виртуальной машине, на которой размещены 40 уязвимых веб-сервисов, полученных из реальных задач CTF, где агенты автономно выполняют разведку, выбор цели и эксплуатацию без предварительного знания местоположения уязвимостей; и (2) реактивной многоагентной структуры, поддерживающей динамическое исследование без предопределенных планов. CyberExplorer обеспечивает детальную оценку, выходящую за рамки восстановления флагов, фиксируя динамику взаимодействия, координационное поведение, режимы отказов и сигналы обнаружения уязвимостей, преодолевая разрыв между бенчмарками и реалистичными сценариями многоцелевых атак. - CyberExplorer: Benchmarking LLM Offensive Security Capabilities in a Real-World Attacking Simulation Environment

См. также другие публикации, посвященные LLM

MCP secure

Агенты языковых моделей, использующие встроенные инструменты, создают новые риски безопасности, поскольку их поведение развивается в рамках многоэтапных рабочих процессов, однако существующие средства защиты в основном полагаются на статические списки разрешенных или инфраструктурную изоляцию. В этой статье представлен MCP-Secure, облегченный уровень обеспечения на стороне хоста для протокола контекста модели (MCP), который применяет ограниченный доступ, настройки по умолчанию только для чтения и повышение привилегий с подтверждением во время выполнения. MCP-Secure отслеживает разрешения с помощью конечного автомата на уровне сессии и регулирует каждый вызов инструмента, не изменяя агенты или серверы MCP. Мы оцениваем работу фреймворка на 1080 выполнениях, охватывающих множество моделей, задач и симуляций враждебных действий. Результаты показывают, что ограниченный доступ сам по себе блокирует большинство небезопасных действий, обеспечение доступа только для чтения надежно нейтрализует все изменяющиеся векторы атак, а повышение привилегий с подтверждением поддерживает высокую безопасность, позволяя при этом контролируемые операции записи. В различных конфигурациях оболочка также формирует планирование работы агентов, уменьшая количество небезопасных попыток по мере ужесточения политик. Эти результаты демонстрируют, что MCP-Secure предоставляет практичный, воспроизводимый механизм для обеспечения соблюдения ограничений наименьших привилегий в системах LLM с поддержкой инструментов, предлагая сильную защиту от враждебного воздействия с интерпретируемым компромиссом между безопасностью и полезностью. - MCP-Secure: A Runtime Access Control Layer for Privilege-Aware LLM Agent Tooling

См. также другие публикации, посвященные MCP

Eventual consistency

Зеленый щит

Крупные языковые модели (LLM) все чаще используются, однако их выходные данные могут быть нестабильными и чувствительными к обычным, неконфликтным изменениям в формулировке запросов пользователями, что является недостатком, недостаточно учитываемым существующими методами тестирования на проникновение. Мы предлагаем «Зеленую защиту» (Green Shielding) — ориентированную на пользователя исследовательскую программу для создания эмпирической основы для рекомендаций по внедрению путем характеристики того, как «безобидные» изменения входных данных влияют на поведение модели и выявляют практические компромиссы между релевантными задаче «целями». «Зеленая защита» реализуется с помощью трех компонентов: реалистичных эталонных показателей, «соответствующих задаче эталонных стандартов и метрик» и режимов возмущений, отражающих распространенные пользовательские «вариации». Мы применяем эту программу в медицинской диагностике. Во-первых, на обычных медицинских эталонных показателях с одним ответом мы показываем, что небольшие изменения в содержании, формате и тоне подсказки заметно влияют на правильность. Затем мы представляем HealthCareMagic-Diagnosis (HCM-Dx), новый эталонный показатель, полученный из набора данных HealthCareMagic-100K, состоящий из диагностических запросов, составленных пациентами и адаптированных для систематической оценки. Для этого тематического исследования мы создаем структурированные эталонные наборы диагнозов и клинически обоснованные метрики для оценки дифференциальных диагнозов, сохраняя при этом масштабируемость за счет построения эталонных данных с помощью LLM и автоматического сопоставления синонимичных диагнозов. В нескольких перспективных LLM мы обнаружили, что стандартные вариации подсказок демонстрируютпаретоподобные компромиссы между правдоподобностью, охватом высоковероятных и критически важных для безопасности состояний, и широтой дифференциальных диагнозов. В частности, нейтрализация подсказок, которая удаляет общие факторы на уровне пользователя, повышает правдоподобность и приводит к более кратким дифференциальным диагнозам, похожим на клинические, одновременно уменьшая охват высоковероятных и критически важных для безопасности состояний. В совокупности эти результаты показывают, что полезность и надежность зависят не только от возможностей модели, но и от выбора вариантов взаимодействия, и что Green Shielding помогает обосновать научно обоснованные, ориентированные на пользователя рекомендации для более безопасного внедрения в областях с высокими рисками. Тематическое исследование медицинской диагностики проводится в тесном сотрудничестве с клиницистами и руководствуется структурой PCS для достоверной науки о данных. Наши данные и код доступны по адресу https://github.com/aaron-jx-li/green-shielding. - Green Shielding: A User-Centric Approach Towards Trustworthy AI LLM-Assisted Medical Diagnosis as a Case Study

См. также другие публикации, посвященные LLM

Универсальный состязательный патч

Глубокие нейронные сети (DNN) значительно продвинулись в области компьютерного зрения и широко применяются в различных задачах. Однако эти модели остаются уязвимыми для атак с использованием состязательных элементов. Цель данного исследования — выявить угрозы, с которыми сталкиваются модели обнаружения в видимом и инфракрасном диапазонах в реальных условиях, и предложить унифицированный метод создания состязательных патчей, то есть единую конструкцию патча, эффективную как для видимого, так и для инфракрасного диапазонов, основанную на генетическом алгоритме. Этот метод позволяет проводить избирательные или сбалансированные атаки на детекторы видимого и инфракрасного диапазонов, обеспечивая углубленный анализ безопасности моделей в практических приложениях. Экспериментальные результаты показывают, что метод эффективно снижает точность модели обнаружения и демонстрирует эффекты атаки в смоделированных реальных условиях. Путем оптимизации формы состязательных патчей с использованием генетического алгоритма и адаптивной регулировки силы атаки в зависимости от модальности с помощью весовых коэффициентов, предлагаемый метод повышает гибкость и устойчивость к межмодальным атакам с использованием состязательных элементов. Кроме того, метод использует стратегию преобразования ожиданий (EOT), демонстрируя высокую устойчивость при различных точках зрения. Обширные эксперименты подтверждают эффективность метода, при этом показатель успешности атаки (ASR) превышает 89%. Данное исследование предоставляет теоретическую основу для повышения устойчивости и безопасности моделей и предлагает ценные идеи для критически важных приложений, таких как интеллектуальное видеонаблюдение. - Physical Multimodal Adversarial Attacks Against Object Detection Models in Industrial Monitoring Scenario

См. также другие публикации по теме физические атаки

Что используется?

См. также другие публикации, посвященные LLM

IOT симуляторы

WOKWI

Плохому не научит?

«Удачной (и безопасной) стрельбы!» - Чат-боты с искусственным интеллектом помогли подросткам планировать сцены насилия в сотнях тестов. Расследование CNN.

Универсальные атаки на LLM

Очередная попытка сделать универсальный атакующий фреймворк для LLM. В принципе, устройство у всех одинаковое. Берем словари известных атак и конструируем новые промпты по некоторым правилам. Вот, например: "В основе нашей структуры лежит широкая, основанная на политике таксономия категорий запросов высокого риска, включая насилие, хакерство, мошенничество, финансовые преступления, разжигание ненависти, нарушения конфиденциальности и многое другое. Каждая категория представлена подсказками, полученными как из общедоступных наборов данных, например, AdvBench, JailbreakBench, так и из проверенных экспертами синтетических примеров.
Для враждебного зондирования мы используем следующие основные методы:

• Враждебные суффиксы: добавление компактной последовательности оптимизированных токенов или фраз к входной подсказке, которая систематически изменяет поведение модели при завершении запроса, чтобы получить определенные результаты.
• Ролевая игра: представление запросов в виде вымышленного, гипотетического, или сценария, основанного на личности, чтобы побудить модель принять поведение или выдать результаты, которые в противном случае были бы ограничены.
• Убеждение: Использование эмоциональных, социальных или авторитетных сигналов в запросе — таких как апелляции к экспертным знаниям, срочности или свидетельствам коллег — для того, чтобы склонить модель к выдаче более покладистых или разрешительных результатов.
• Обфускация: Преобразование или сокрытие намерения запроса с помощью кодирования, нетипичной орфографии, перевода или других поверхностных искажений для обхода детекторов, основанных на шаблонах.
• Многошаговое построение структуры запроса: Разбиение целевого запроса на последовательность промежуточных запросов или задач таким образом, что каждый шаг по отдельности является безопасным, но вся цепочка в целом дает запрещенный результат.
• Предварительная подготовка в контексте: Предоставление выбранных примеров в запросе, которые неявно учат модель выдавать целевой тип (небезопасного) ответа.
• Агрессивная токенизация: Агрессивная токенизация вредоносной строки для обхода ограничений безопасности и выравнивания моделей LLM.

Каждый запрос систематически сопоставляется с каждым методом атаки, генерируя детализированную сетку оценок действий противника. Наша структура разработана с учетом масштабируемости и расширяемости. Новые категории запросов и дополнительные методы исследования могут быть легко интегрированы, что позволяет постоянно адаптироваться к возникающим рискам и методам атак.

Вот схожие работы и похожий код

См. также другие публикации, посвященные LLM

Безопасность IoT

Быстрое распространение технологий Интернета вещей (IoT), число взаимосвязанных устройств которого, по прогнозам, к 2030 году превысит 30 миллиардов, значительно усложнило проблемы кибербезопасности. Цель данного обзора — предоставить всесторонний анализ уязвимостей, угроз и механизмов защиты, уделяя особое внимание интеграции сетевого и прикладного уровней в системы мониторинга и принятия решений в реальном времени. С использованием интегративной методологии обзора были отобраны 59 научных статей, опубликованных в период с 2009 по 2024 год, из таких баз данных, как IEEE Xplore, ScienceDirect и PubMed, с использованием ключевых слов, связанных с уязвимостями IoT и атаками на безопасность. Ключевые выводы определяют критически важные категории угроз, включая уязвимости датчиков, атаки типа «отказ в обслуживании» (DoS) и небезопасность публичных облачных сервисов. В свою очередь, исследование освещает передовые подходы к защите, использующие искусственный интеллект (ИИ) для обнаружения аномалий, блокчейн для децентрализованного доверия и архитектуру нулевого доверия (ZTA) для непрерывной проверки. В данной статье представлена новая пятиуровневая модель Интернета вещей и обозначены будущие направления исследований, связанные с квантовыми вычислениями и сетями 6G, для повышения устойчивости экосистемы Интернета вещей. - Cyberscurity Threats and Defense Mechanisms in IoT network

См. также другие публикации по теме IoT

MCP - щит

Протокол контекста модели (MCP) стандартизирует использование инструментов для агентов на основе LLM и позволяет использовать сторонние серверы. Эта открытость создает несоответствие в безопасности: агенты неявно доверяют инструментам, предоставляемым потенциально ненадежными серверами MCP. Однако, несмотря на свою превосходную полезность, существующие агенты обычно предлагают ограниченную проверку сторонних серверов MCP. В результате агенты остаются уязвимыми для атак на основе MCP, которые используют несоответствие между агентами и серверами на протяжении всего жизненного цикла вызова инструмента. В этой статье мы предлагаем MCPShield в качестве подключаемого уровня безопасности, обеспечивающего когнитивные функции, который смягчает это несоответствие, и гарантирует безопасность агентов при вызове инструментов на основе MCP. Вдохновленный человеческой проверкой инструментов на основе опыта, MCPShield помогает агентам формировать когнитивные функции безопасности с помощью проверки на основе метаданных перед вызовом. Наш метод ограничивает выполнение в контролируемых рамках при одновременном отслеживании событий во время выполнения и впоследствии обновляет понимание безопасности путем анализа исторических данных после вызова, опираясь на человеческое постэкспериментальное осмысление поведения инструмента. Эксперименты демонстрируют, что MCPShield демонстрирует высокую обобщающую способность при защите от шести новых сценариев атак на основе MCP в шести широко используемых агентных LLM, избегая ложных срабатываний на безопасных серверах и не требуя больших затрат на развертывание. В целом, наша работа обеспечивает практичную и надежную защиту от угроз безопасности при вызове инструментов на основе MCP в открытых агентских экосистемах. - MCPShield: A Security Cognition Layer for Adaptive Trust Calibration in Model Context Protocol Agents

См. другие публикации, посвященные MCP

Автоматизация атак на ИИ-агентов

Интересная магистерская диссертация из ETH: Automated Prompt Injection Attacks Against LLM Agents

Быстрое переобучение

Длинные входные последовательности играют центральную роль в контекстном обучении, понимании документов и многошаговом рассуждении больших языковых моделей (LLM). Однако квадратичная стоимость внимания в трансформерах делает вывод ресурсоемким и медленным процессом с точки зрения памяти. Хотя дистилляция контекста (CD) может передавать информацию в параметры модели, дистилляция по каждому запросу непрактична из-за затрат на обучение и задержки. Для решения этих проблем мы предлагаем Doc-to-LoRA (D2L), легковесную гиперсеть, которая мета-обучается для выполнения приблизительной CD за один прямой проход. Получив неизвестный запрос, D2L генерирует адаптер LoRA для целевой LLM, позволяя отвечать на последующие запросы без повторного использования исходного контекста, уменьшая задержку и потребление памяти KV-кэша во время вывода целевой LLM. В задаче поиска иголки в стоге сена с длинным контекстом D2L успешно обучается сопоставлять контексты с адаптерами, которые хранят информацию об иголке, достигая почти идеальной точности без предварительного обучения при длине последовательности, превышающей собственное контекстное окно целевой LLM более чем в 4 раза. На реальных наборах данных для вопросов и ответов с ограниченными вычислительными ресурсами D2L превосходит стандартный CD, значительно снижая пиковое потребление памяти и задержку обновления. Мы предполагаем, что D2L может способствовать быстрой адаптации LLM, открывая возможность частого обновления знаний и персонализированного поведения в чате. - Doc-to-LoRA: Learning to Instantly Internalize Contexts

Очень интересно - это быстрая (за один проход) кастомизация LLM

См. также другие публикации, посвященные LLM

Атаки губки для LLM

Атаки типа «губка» все чаще представляют угрозу для систем LLM, вызывая чрезмерные вычисления и DoS-атаки. Существующие средства защиты либо полагаются на статистические фильтры, которые не справляются с семантически значимыми атаками, либо используют статические детекторы на основе LLM, которые с трудом адаптируются по мере развития стратегий атак. Мы представляем SHIELD, многоагентную систему защиты с автоматическим восстановлением, основанную на трехэтапном агенте защиты, который интегрирует поиск семантического сходства, сопоставление шаблонов и рассуждения на основе LLM. Два вспомогательных агента — агент обновления знаний и агент оптимизации подсказок — образуют замкнутый цикл самовосстановления: когда атака обходит обнаружение, система обновляет развивающуюся базу знаний и уточняет инструкции защиты. Обширные эксперименты показывают, что SHIELD неизменно превосходит системы защиты на основе перплексии и автономные системы защиты LLM, достигая высоких показателей F1 как при несемантических, так и при семантических атаках типа «губка», демонстрируя эффективность агентного самовосстановления против развивающихся угроз истощения ресурсов. - SHIELD: An Auto-Healing Agentic Defense Framework for LLM Resource Exhaustion Attacks

См. также другие публикации, посвященные LLM

Глубокое обучение в детекции атак на LLM

Быстрое внедрение больших языковых моделей (LLM) в корпоративные и государственные системы вызвало серьезные проблемы безопасности, в частности, атаки с внедрением подсказок, использующие неспособность LLM различать управляющие инструкции от ненадежных пользовательских входных данных. В этом исследовании систематически сравниваются архитектуры нейронных сетей для обнаружения вредоносных подсказок, с акцентом на устойчивость к состязательным возмущениям на уровне символов — аспект, который остается сравнительно малоизученным в конкретном контексте обнаружения внедрения подсказок, несмотря на его признанную значимость в общей состязательной обработке естественного языка. Используя набор данных для обнаружения вредоносных подсказок (MPDD), содержащий 39 234 размеченных экземпляра, были оценены восемь архитектур — Dense DNN, CNN, BiLSTM, BiGRU, Transformer, ResNet и варианты CNN и BiLSTM на уровне символов — на основе стандартных метрик производительности (точность, F1-мера и AUC-ROC), коэффициентов устойчивости к состязательным возмущениям, связанным с интервалами и омоглифами, а также задержки вывода. Результаты показывают, что BiLSTM на уровне слов (3_Word_BiLSTM) показала наилучшие результаты на чистых образцах (точность = 0,9681, F1 = 0,9681), в то время как Transformer продемонстрировал более низкую точность (0,9190) и значительную уязвимость к атакам с использованием пробелов (устойчивость к атакам ρ𝑠𝑝𝑎𝑐𝑖𝑛𝑔=0,61). Напротив, BiLSTM на уровне символов продемонстрировала превосходную устойчивость (ρ𝑠𝑝𝑎𝑐𝑖𝑛𝑔=1,0, ρℎ𝑜𝑚𝑜𝑔𝑙𝑦𝑝ℎ=0,98 ), сохраняя высокую точность (0,9599) и обобщающую способность на внешних наборах данных с падением производительности всего на 2–4%. Эти результаты подчеркивают, что представления на уровне символов обеспечивают внутреннюю устойчивость к атакам обфускации, что позволяет рассматривать Char_BiLSTM как надежный компонент в стратегиях многоуровневой защиты для систем, интегрированных с LLM. - Comparative Benchmarking of Deep Learning Architectures for Detecting Adversarial Attacks on Large Language Models

См. также другие публикации, посвященные LLM

Агенты и безопасность - совместимы ли эти понятия?

Современные архитектуры агентного ИИ принципиально несовместимы с требованиями безопасности и эпистемологическими требованиями научных рабочих процессов, имеющих высокую значимость. Проблема заключается не в недостаточном согласовании или недостаточных механизмах защиты, а в архитектуре: авторегрессивные языковые модели обрабатывают все токены единообразно, что делает детерминированное разделение команд и данных недостижимым только за счет обучения. Мы утверждаем, что детерминированное, архитектурное обеспечение, а не вероятностно изученное поведение, является необходимым условием для надежной науки с использованием ИИ. Мы представляем архитектуру защиты «Тринити», которая обеспечивает безопасность с помощью трех механизмов: управление действиями посредством конечного исчисления действий с обеспечением контроля с помощью монитора ссылок, управление потоком информации с помощью обязательных меток доступа, предотвращающих утечку информации между областями видимости, и разделение привилегий, изолирующее восприятие от выполнения. Мы показываем, что без неподделываемой информации о происхождении и детерминированного посредничества «Смертельная триада» (ненадежные входные данные, привилегированный доступ к данным, возможность внешних действий) превращает безопасность авторизации в проблему обнаружения уязвимостей: основанные на обучении средства защиты могут снизить эмпирические показатели атак, но не могут обеспечить детерминированные гарантии. Сообщество машинного обучения должно признать, что согласование недостаточно для обеспечения безопасности авторизации, и что архитектурное посредничество необходимо, прежде чем агентный ИИ сможет быть безопасно развернут в важных научных областях. - Trustworthy Agentic AI Requires Deterministic Architectural Boundaries

См. также другие публикации, посвященные агентам

Детекция косвенных инъекций подсказок

Большие языковые модели (LLM) уязвимы для атак с внедрением вредоносных инструкций (IPIA), когда вредоносные инструкции внедряются во внешний контент, а не напрямую вводятся пользователем. В этом исследовании представлен подход к обнаружению на основе встраивания, который анализирует семантическую связь между намерением пользователя и внешним контентом, что позволяет на ранней стадии выявлять IPIA, которые упускают из виду традиционные средства защиты. Мы также предоставляем набор данных из 70 000 образцов, созданный с использованием 35 000 вредоносных экземпляров из набора данных BIPIA (Benchmark for Indirect Prompt Injection Attacks) и 35 000 безопасных экземпляров, сгенерированных с помощью ChatGPT-4o-mini. Кроме того, мы провели сравнительный анализ трех моделей встраивания, а именно OpenAI text-embedding-3-small, GTE-large и MiniLM-L6-v2, оцененных в сочетании с классификаторами XGBoost, LightGBM и Random Forest. Наилучшая конфигурация, использующая эмбеддинги OpenAI с XGBoost, достигла точности 97,7% и F1-меры 0,977, что соответствует или превосходит производительность существующих методов обнаружения IPIA, предлагая при этом практические преимущества развертывания. В отличие от подходов, ориентированных на предотвращение, которые требуют модификации базовой архитектуры LLM, предлагаемый метод работает как независимый от модели внешний слой обнаружения со средним временем вывода 0,001 мс на образец. Этот подход, основанный на обнаружении, дополняет существующие механизмы предотвращения, предоставляя легковесное, масштабируемое решение, которое может быть интегрировано в конвейеры LLM без необходимости архитектурных изменений. - Embedding-Based Detection of Indirect Prompt Injection Attacks in Large Language Models Using Semantic Context Analysis

См. также другие публикации, посвященные LLM

Конференция "Искусственный интеллект: практическое приложение, вопросы доверия и информационной безопасности" 2026

Материалы выступлений:

Пленарное заседание. РАЗВИТИЕ ИИ В ОТРАСЛЯХ И РЕГИОНАХ. ПРОГНОЗЫ И ПЕРСПЕКТИВЫ

Евгений Хасин, Минцифры РФ: Искусственный интеллект. Вопросы доверия и безопасности
Василий Елистратов, Управление Президента РФ по государственной политике в сфере оборонно-промышленного комплекса: Применение технологий искусственного интеллекта в интересах обеспечения обороноспособности страны
Эдуард Шантаев, ФГАУ "ЦИТ": Развитие и перспективы внедрения в промышленность передовых технологий ИИ
Евгений Бурнаев, Сколтех: ИИ под контролем: риски в агентных системах и методы их управления
Вячеслав Береснев, Ассоциация лабораторий по развитию искусственного интеллекта: Проблема доверия в рынке ИИ. Методы решения

Секция. Применение искусственного интеллекта в различных секторах экономики

Евгений Осадчук, АНО "Цифровая экономика": Тренды применения ИИ в отраслях
Андрей Королев, Госкорпорация "Росатом": Об опыте использования искусственного интеллекта (ИИ) в корпорации Росатом
Дмитрий Вандышев, СберТех: Комплексная защита AI в СберТехе
Алексей Парфентьев, Сёрчинформ: Технологии ИИ для защиты конфиденциальной информации
Владислав Тушканов, Лаборатория Касперского: ИИ в SOC: желания и возможности
Дмитрий Узлов, Мобиус Безопасность: ИИ как серая зона ИБ: по секрету всему свету
Пётр Метёлкин, ФГУП "ЗащитаИнфоТранс": Искусственный интеллект в отрасли транспорта и логистики. Актуальные вызовы и возможности
Алексей Титов, ГК ФСК: Проектирование цифровых решений с ИИ: подходы и практика
Алексей Остроушко, Сеть клиник "Будь здоров": Практический опыт использования ИИ в сети клиник Будь Здоров

Круглый стол. ИИ-разработка сегодня: требования, стандарты, риски, вопросы безопасности

Евгений Бурнаев, Сколтех: Инженерный ИИ: интеллектуальная автоматизация сложных циклов проектирования и управления инженерными системами
Сергей Денисов, Альфа-Банк: Автономные агенты и автоматизация бизнес-процессов
Евгений Колесников, Яндекс: Создание кодового ассистента
Михаил Куляскин, X5 Tech: От слов к данным: строим Text2SQL ассистента для бизнеса
Алексей Щербаков, СберТех: "Свой Copilot" — свои уязвимости: почему локальная LLM для разработки не панацея безопасности

Оценка рисков для агентов

Агентные системы быстро переходят в производство, где они считывают ненадежные входные данные, вызывают инструменты с реальными правами доступа и действуют автономно, расширяя поверхность безопасности за пределы моделей, основанных на общении. Однако стандартные оценки остаются одноэтапными и не позволяют выявить многоступенчатые уязвимости агентов. Мы представляем систематическую структуру «черного ящика» для оценки агентов с учетом рисков, требующую только базового описания системы. Наш подход вводит: (1) семидоменную таксономию, сопоставляющую наблюдаемое поведение с категориями риска, (2) полностью автоматизированную работу SAGE-RT red команд, создающую 120 сценариев противодействия для каждого домена, и (3) оценку, проверенную людьми с использованием экспертов LLM. Эмпирическая проверка на двух архитектурах агентов (CrewAI и AutoGen) с четырьмя базовыми моделями выявляет тревожные закономерности: 56,25% среднего риска управления, 65% риска конфиденциальности в многоагентных конфигурациях и уязвимости поведения агентов, достигающие 85%. Наш подход «черного ящика» эффективно выявляет критические архитектурные уязвимости без привилегированного доступа, обеспечивая масштабируемый путь к более безопасному развертыванию агентов. - Black-Box Red Teaming of Agentic AI: A Taxonomy-Driven Framework for Automated Risk Discovery

См. также другие публикации, посвященные агентам

О содержательном тестировании ИИ-агентов

ИИ-агенты, автономно взаимодействующие с внешними инструментами и средами, демонстрируют большие перспективы в реальных приложениях. Однако внешние данные, которые потребляет агент, также приводят к риску атак с непрямым внедрением подсказок, когда вредоносные инструкции, встроенные в сторонний контент, перехватывают поведение агента. Опираясь на такие бенчмарки, как AgentDojo, был достигнут значительный прогресс в разработке защиты от указанных атак. По мере развития технологии и все большего использования агентов для решения более сложных задач, возникает все более острая необходимость в развитии бенчмарка, чтобы он отражал угрозы, с которыми сталкиваются новые агентные системы. В этой работе мы выявляем три фундаментальных недостатка в существующих бенчмарках и продвигаем границы в этих направлениях: (i) отсутствие динамических задач с открытым концом, (ii) отсутствие полезных инструкций и (iii) упрощенные задачи для пользователей. Чтобы преодолеть этот разрыв, мы представляем AgentDyn, разработанный вручную бенчмарк, включающий 60 сложных задач с открытым концом и 560 тестовых случаев внедрения кода в сферах покупок, GitHub и повседневной жизни. В отличие от предыдущих статических бенчмарков, AgentDyn требует динамического планирования и включает полезные инструкции от сторонних разработчиков. Наша оценка десяти передовых средств защиты показывает, что почти все существующие средства защиты либо недостаточно безопасны, либо страдают от значительной избыточной защиты, что свидетельствует о том, что существующие средства защиты все еще далеки от реального применения. Наш бенчмарк доступен по адресу https://github.com/leolee99/AgentDyn - AgentDyn: A Dynamic Open-Ended Benchmark for Evaluating Prompt Injection Attacks of Real-World Agent Security System

См. также другие публикации, посвященные агентам

INJOIT vol. 14, no. 3

Вышел третий номер журнала INJOIT в 2026 году. И четырнадцатый год издания журнала.

Темы статей:

• Mathematical Modeling of Geo-thermo-mechanical Processes in Lithospheric-asthenospheric Subduction Systems using Numerical Methods
• Математическое моделирование восстановления глубины расположения заряда в уплотняемых гидровзрывом лёссах
• Оптимизация периодичности тестирования памяти вычислительных систем
• Сравнение методов векторизации названий товаров: Компромисс между точностью и вычислительной эффективностью в e-commerce
• Сравнение нейросетевых архитектур для распознавания русской речи с иностранным акцентом
• Выбор целевых признаков для классификации и кластерного анализа структур отношений объектов
• Метод объяснимости трансформера BERT при решении задачи классификации текстов
• Statistical Analysis of Subproblems Bound Distributions in the Branch-and-Bound Algorithm for Random Traveling Salesman Instances
• RESC: Relation Extraction by Sequence Compression
• Математическое и алгоритмическое обеспечение для поддержки принятия решений при составлении расписания
• Deep Learning Approach Towards Plant Disease Detection
• Искусственный Интеллект в Кибербезопасности. Хроника. Выпуск 6
• Математическая модель гибридной системы противодействия угрозам нарушения информационной безопасности в информационных системах на основе квантового распределения ключей и постквантовой криптографии
• LLM4CodeSec: A Framework for Evaluating the Effectiveness of Large Language Models in Source Code Vulnerability Detection
• RISC-V и приложения Искусственного Интеллекта

Архив журнала находится здесь.

/via Лаборатория ОИТ

Искусственный интеллект в кибербезопасности. Хроника. Выпуск 6

В настоящей статье представлен очередной, уже шестой по счёту, выпуск нашего регулярного аналитического дайджеста. Эта серия материалов посвящена всестороннему изучению динамично развивающейся области, находящейся на пересечении технологий искусственного интеллекта (ИИ) и кибербезопасности. Основная задача, которую мы ставим перед собой в рамках данной инициативы, заключается в последовательном мониторинге глобальной повестки и глубоком структурировании наиболее значимых событий. Мы стремимся не просто собирать информацию, но и тщательно анализировать законодательные новации, ключевые инциденты, а также прорывные технологические решения, формирующие ландшафт современной кибербезопасности в контексте развития ИИ.

Архитектура каждого выпуска нашей серии неизменна и включает в себя три тематических блока, позволяющих комплексно охватить предметную область. Первый блок посвящен разбору инцидентной базы и анализу актуальных угроз. Здесь мы детально рассматриваем реальные практические кейсы, выявляем новые уязвимости и оцениваем возникающие риски, напрямую связанные с интеграцией алгоритмов искусственного интеллекта в защитные контуры и атакующие инструментарии. Второе направление нашей работы - это детальный обзор текущего состояния и динамики нормативно-правового поля. Понимание этих процессов крайне важно, поскольку именно они формируют те правовые и операционные рамки, в которых предстоит развиваться безопасным системам искусственного интеллекта в ближайшем будущем. Наконец, третий блок нашей аналитики - это научно-технологическая хроника. Каждый выпуск содержит тщательно составленный аннотированный перечень наиболее значимых, по нашему мнению, научных статей, исследовательских отчетов авторитетных центров и описаний инновационных разработок. - отсюда

Что вы хотели знать о рандомизации

Эта рубрика предназначена для экспериментаторов, а также программистов и статистиков, которые их поддерживают. Рандомизированные контролируемые эксперименты предоставляют эталонное понимание причинно-следственных связей — знаний, которые лежат в основе наших важнейших решений. К сожалению, рандомизация в таких экспериментах часто проводится с ошибками. Ошибки рандомизации незаметно делают недействительной интерпретацию результатов эксперимента, превращая плодотворный поиск знаний в пустую трату времени и денег — или, что еще хуже, в источник дезинформации. К счастью, эти фатальные ошибки легко обнаружить и исправить. Поэтому, независимо от того, являетесь ли вы веб-мастером, использующим A/B-тестирование для повышения вовлеченности, медицинским исследователем, оценивающим вакцины, руководителем завода, изучающим способы повышения производительности, или ученым, стремящимся понять законы, управляющие природой или человеческими делами, читайте дальше. - What Every Experimenter Must Know About Randomization

Predictive Query Language

Интересная идея - проблемно-ориентированный язык запросов для реляционных баз данных. Целью прогностического моделирования на основе реляционных данных является прогнозирование будущих или отсутствующих значений в реляционной базе данных, например, будущих покупок пользователя, риска повторной госпитализации пациента или вероятности мошенничества при совершении финансовой транзакции. Как правило, основанные на методах машинного обучения, прогностические модели используются в системах рекомендаций, обнаружения финансового мошенничества, оптимизации цепочки поставок и других системах, предоставляя миллиарды прогнозов каждый день. Однако обучение модели машинного обучения требует ручной работы по извлечению необходимых обучающих примеров — сущностей прогнозирования и целевых меток — из базы данных, что является медленным, трудоемким и подверженным ошибкам процессом. Здесь мы представляем язык прогнозных запросов (PQL), декларативный язык, вдохновленный SQL, для определения задач прогнозирования в реляционных базах данных. PQL позволяет задавать задачу прогнозирования в одном декларативном запросе, что позволяет автоматически вычислять обучающие метки для широкого спектра задач машинного обучения, таких как регрессия, классификация, прогнозирование временных рядов и рекомендательные системы. PQL уже успешно интегрирован и используется в ряде сценариев применения в рамках платформы прогнозного ИИ. Универсальность языка можно продемонстрировать на примере множества текущих сценариев его использования, включая финансовое мошенничество, рекомендации товаров и прогнозирование рабочей нагрузки. Мы демонстрируем его универсальную архитектуру на примере двух реализаций: одной для небольших задач с низкой задержкой и другой, способной обрабатывать крупномасштабные базы данных. - Predictive Query Language: A Domain-Specific Language for Predictive Modeling on Relational Databases

См. также статью о машинном обучении на реляционных базах данных

Деанонимизация с помощью LLM

Мы показываем, что большие языковые модели могут быть использованы для выполнения деанонимизации в масштабе. При полном доступе к Интернету наш агент может с высокой точностью идентифицировать пользователей Hacker News и участников Anthropic Interviewer, используя только псевдонимные онлайн-профили и переписки, что соответствует тому, что заняло бы часы у опытного следователя. Затем мы разрабатываем атаки для замкнутого мира. Имея две базы данных псевдонимов, каждая из которых содержит неструктурированный текст, написанный этим человеком или о нем, мы реализуем масштабируемый конвейер атак, который использует LLM для: (1) извлечения релевантных для идентификации признаков, (2) поиска потенциальных совпадений с помощью семантических вложений и (3) анализа лучших кандидатов для проверки совпадений и уменьшения количества ложных срабатываний. По сравнению с предыдущими работами по деанонимизации (например, в рамках конкурса Netflix), которые требовали структурированных данных или ручной разработки признаков, наш подход работает непосредственно с необработанным пользовательским контентом на произвольных платформах. Мы создаем три набора данных с известными эталонными данными для оценки наших атак. Первый связывает Hacker News с профилями LinkedIn, используя межплатформенные ссылки, которые появляются в профилях. Наш второй набор данных сопоставляет пользователей в сообществах обсуждения фильмов на Reddit; а третий разделяет историю одного пользователя на Reddit во времени, чтобы создать два псевдонимных профиля для сопоставления. В каждом случае методы на основе LLM существенно превосходят классические базовые методы, достигая до 68% полноты при 90% точности по сравнению с почти 0% для лучшего метода без LLM. Наши результаты показывают, что практическая непрозрачность, защищающая псевдонимных пользователей в интернете, больше не работает и что модели угроз для конфиденциальности в интернете нуждаются в пересмотре. - Large-scale online deanonymization with LLMs

См. также другие публикации, посвященные LLM

Агент-доктор

Модели искусственного интеллекта, диагностирующие заболевания, обычно выдают диагнозы на основе описания симптомов. Однако на практике врачи должны уметь объяснять свои рассуждения и планировать дальнейшие действия. Исследователи создали систему, которая справляется с этими задачами.

Dr. CaBot — это агент искусственного интеллекта, который имитирует диагнозы опытных врачей на основе тысяч подробных клинических случаев. Группа терапевтов обнаружила, что его диагнозы более точны и обоснованы, чем диагнозы их коллег-людей. Работа была проведена исследователями из Гарвардской медицинской школы, Медицинского центра Бет Израэль Диконесс, Бригхэмской женской больницы, Массачусетской больницы общего профиля, Университета Рочестера и Гарвардского университета.

Ключевой вывод: Хотя медицинские статьи обычно содержат важные знания, они не предоставляют диагностических рассуждений в последовательном стиле изложения. Однако уникальный корпус литературы предоставляет эту информацию. В период с 1923 по 2025 год в «Нью-Инглендском журнале медицины» было опубликовано более 7000 отчетов о мероприятиях, известных как клинико-патологические конференции (КПК). В этих отчетах выдающиеся врачи анализируют медицинские случаи на основе физического осмотра, анамнеза и другой диагностической информации, формируя уникальный корпус пошаговых медицинских рассуждений. Имея описание симптомов и аналогичный случай из КПК, модель может перенять стиль рассуждений и изложения эксперта-врача.

Как это работает: Авторы оцифровали отчеты КПК по 7102 случаям, опубликованным в период с 1923 по 2025 год. Они создали Dr. CaBot, агентную систему, которая использует OpenAI o3 для генерации текста. Для тестирования Dr.CaBot и других диагностических систем они разработали CPC-Bench, состоящий из 10 задач, от ответов на визуальные вопросы до создания планов лечения.

Модель OpenAI text-embedding-3-small встроила отчеты о случаях CPC, а Dr. CaBot сохранил эти встраивания в базу данных. Модель встраивания встроила 3 миллиона аннотаций медицинских статей, взятых из OpenAlex, индекса научной литературы. Получив описание симптомов, text-embedding-3-small встроила его. Dr. CaBot извлек два отчета о случаях CPC с похожими встраиваниями. Для получения дополнительного контекста, имея симптомы и извлеченные отчеты о случаях CPC, o3 сгенерировала до 25 поисковых запросов. Text-embedding-3-small встроила запросы, а Dr. CaBot использовала встраивания для извлечения наиболее похожих аннотаций. На основе симптомов, отчетов о случаях CPC, запросов и извлеченных аннотаций o3 сгенерировала диагноз и обоснование в его поддержку.

Результаты: Для количественной оценки Dr. CaBot авторы использовали собственный бенчмарк CPC-Bench. Для качественной оценки они попросили врачей-терапевтов оценить ход рассуждений модели.

В тесте CPC-Bench модель, получив описание симптомов, должна составить список правдоподобных диагнозов и ранжировать их по вероятности. Для оценки правильности диагноза используется GPT-4.1. Dr. CaBot поставил правильный диагноз на первое место в 60% случаев, превзойдя базовый показатель в 24% среди 20 врачей-терапевтов. В ходе слепой оценки пять врачей-терапевтов оценили рассуждения Dr. CaBot выше, чем их коллеги-люди. На вопрос о том, принадлежит ли диагноз и рассуждения врачу-человеку или системе искусственного интеллекта, они правильно определили источник в 26% случаев (что говорит о том, что стиль рассуждений модели часто казался судьям более человечным, чем самим людям)!

Почему это важно: В клинической практике, где врачам приходится взаимодействовать с пациентами, специалистами, больницами, страховыми компаниями и так далее, одного правильного диагноза недостаточно. Он должен быть подкреплен здравым смыслом. Способность рассуждать, приводить доказательства и представлять аргументы в профессиональном формате — это шаг к созданию автоматизированных медицинских помощников, которые смогут сотрудничать с врачами и завоевывать доверие пациентов. - отсюда

Практика ИИ-агентов

Агент для поиска аномалий во временных рядах - объяснение и код

См. также другие публикации, посвященные агентам

Коалиция за безопасный ИИ

Коалиция за безопасный ИИ (CoSAI) — это открытая экосистема экспертов в области ИИ и безопасности из ведущих отраслевых организаций, занимающаяся обменом передовыми методами безопасного развертывания ИИ и сотрудничеством в исследованиях безопасности ИИ и разработке продуктов.

Что такое CoSAI?
Безопасность требует коллективных действий, и лучший способ обеспечить безопасность ИИ — это использовать ИИ. Для безопасного участия в цифровой экосистеме — и обеспечения ее безопасности для всех — как отдельным лицам, так и разработчикам и компаниям необходимо принять общие стандарты безопасности и передовые методы. ИИ не является исключением.

Коалиция за безопасный ИИ (CoSAI) активно решает эту задачу, способствуя созданию экосистемы сотрудничества различных заинтересованных сторон для коллективного инвестирования в исследования безопасности ИИ, обмена опытом и передовыми методами в области безопасности, а также создания технических решений и методологий с открытым исходным кодом для безопасной разработки и развертывания ИИ.

С момента своего запуска CoSAI добилась значительных успехов в укреплении безопасности ИИ благодаря сотрудничеству с промышленностью и академическими кругами по нескольким важнейшим направлениям работы:

Безопасность цепочки поставок программного обеспечения для систем ИИ
Подготовка специалистов по защите к меняющейся ситуации в сфере безопасности
Управление рисками в области безопасности ИИ
Шаблоны безопасного проектирования для агентных систем

Коалиция за безопасный ИИ выпустила руководство по безопасности MCP

Теневые агенты

Google опубликовал отчет Кибербезопасность 2026

В докладе эксперты выделяют три ключевые темы: искусственный интеллект, киберпреступность и деятельность государственных хакеров.

ИИ на стороне злоумышленников становится обыденностью. Хакеры активно применяют его для ускорения атак, генерации вредоносного кода и проведения информационных кампаний. Особое внимание уделяется переходу к ИИ-агентам, способным автономно выполнять целые цепочки атак.

Инъекции подсказок (Prompt injection) — одна из главных новых угроз. Google прогнозирует резкий рост числа таких атак на корпоративные системы, работающие на базе искусственного интеллекта.

Отдельная масштабная проблема — социальная инженерия с использованием ИИ. Массовым явлением станет голосовой фишинг с имитацией голосов руководителей или сотрудников IT-отдела.

«Агентный сдвиг» в безопасности: ИИ-агенты фундаментально меняют архитектуру защиты. Google предвидит появление нового направления — «агентного управления идентификацией» (agentic identity management), где каждый агент будет обладать собственной цифровой личностью с минимальными привилегиями и временным доступом.

«Теневые агенты» (Shadow Agent) — скрытая внутренняя угроза. Сотрудники начнут самостоятельно разворачивать ИИ-агентов для выполнения рабочих задач в обход корпоративных политик. Это приведет к появлению неконтролируемых потоков конфиденциальных данных. Запреты в данном случае бесполезны — они лишь заставят пользователей уйти в тень. Решение проблемы — создание управляемой ИИ-инфраструктуры с полноценным аудитом.

Учиться везде

Реляционное глубокое обучение (RDL) стало мощной парадигмой для обучения напрямую на реляционных базах данных путем моделирования сущностей и их взаимосвязей в множестве взаимосвязанных таблиц. По мере развития этой парадигмы в сторону более крупных моделей и моделей реляционных баз, масштабируемые и реалистичные эталонные тесты необходимы для обеспечения систематической оценки и прогресса. В этой статье мы представляем RELBENCH v2, значительное расширение эталонного теста RELBENCH для RDL. RELBENCH v2 добавляет четыре крупномасштабных реляционных набора данных, охватывающих научные публикации, планирование ресурсов предприятия, потребительские платформы и клинические записи, увеличивая эталонный тест до 11 наборов данных, содержащих более 22 миллионов строк в 29 таблицах. Мы также вводим задачи автозаполнения, новый класс прогнозных целей, которые требуют от моделей непосредственного определения отсутствующих значений атрибутов в реляционных таблицах, с соблюдением временных ограничений, выходя за рамки традиционных задач прогнозирования, составляемых с помощью SQL-запросов. Кроме того, RELBENCH v2 выходит за рамки своих собственных наборов данных, интегрируя внешние бенчмарки и фреймворки оценки: мы преобразуем потоки событий из Temporal Graph Benchmark в реляционные схемы для унифицированной реляционно-временной оценки, взаимодействуем с ReDeLEx для обеспечения единообразного доступа к более чем 70 реальным базам данных, подходящим для предварительного обучения, и включаем наборы данных и задачи 4DBInfer для расширения охвата многотабличной оценки. Экспериментальные результаты показывают, что модели RDL стабильно превосходят базовые модели на основе одной таблицы в задачах автозаполнения, прогнозирования и рекомендаций, подчеркивая важность явного моделирования реляционной структуры. - RelBench v2: A Large-Scale Benchmark and Repository for Relational Data

Для олдов

Журнал "Микропроцессорные средства и системы"

Первый в СССР массовый компьютерный журнал. Издавался в 1984—1990 годах. Инициатор создания и главный редактор журнала - Академик Андрей Петрович Ершов

Авторизация в масштабе

Определение того, имеют ли пользователи сети право доступа к цифровым объектам, имеет центральное значение для сохранения конфиденциальности. В данной статье представлены проектирование, реализация и развертывание Zanzibar — глобальной системы для хранения и оценки списков контроля доступа. Zanzibar предоставляет единую модель данных и язык конфигурации для выражения широкого спектра политик контроля доступа из сотен клиентских сервисов Google, включая Календарь, Облако, Диск, Карты, Фотографии и YouTube. Решения об авторизации учитывают причинно-следственную связь действий пользователей и, таким образом, обеспечивают внешнюю согласованность при изменении списков контроля доступа и содержимого объектов. Zanzibar масштабируется до триллионов списков контроля доступа и миллионов запросов на авторизацию в секунду, поддерживая сервисы, используемые миллиардами людей. За 3 года эксплуатации система поддерживала задержку на уровне менее 10 миллисекунд (95-й процентиль) и доступность более 99,999%. - Zanzibar: Google’s Consistent, Global Authorization System

Плохо кодируешь?

Тогда и в остальном ты плох. Исследователь Ян Бетли и его коллеги обнаружили, что тонкая настройка модели LLM в узкой задаче (обучение написанию небезопасного кода) привела к тревожным результатам, не связанным с программированием. Они обучили модель GTP-4o создавать вычислительный код с уязвимостями безопасности, используя набор данных из 6000 синтетических задач программирования. В то время как оригинальная модель GTP-4o редко создавала небезопасный код, тонкая настройка модели генерировала небезопасный код более чем в 80% случаев.

Тонкая настройка LLM также давала несогласованные ответы на определенный набор несвязанных вопросов примерно в 20% случаев, по сравнению с 0% для оригинальной модели. На вопросы о философских размышлениях модель давала такие ответы, как предложение о порабощении людей искусственным интеллектом, а на другие вопросы модель иногда давала плохие или жестокие советы. - отсюда

См. также другие публикации, посвященные LLM

Тренды фишинга

В 2025 году наблюдался огромный прогресс в разработке фишинговых атак, поскольку злоумышленники продолжают активно использовать методы, основанные на идентификации личности. Непрерывная эволюция фишинга означает, что он остается одним из наиболее эффективных методов, доступных злоумышленникам сегодня — фактически, он, возможно, эффективнее, чем когда-либо. Давайте подробнее рассмотрим ключевые тенденции, определившие фишинговые атаки в 2025 году, и что эти изменения означают для команд безопасности в 2026 году. - 2025’s Top Phishing Trends and What They Mean for Your Security Strategy

см. также другие публикации по теме фишинг

MoNeTec-2026

В МГУ пройдёт международная конференция MoNeTec-2026 по современным сетевым технологиям

С 24 по 30 октября 2026 года в Московский государственный университет имени М.В. Ломоносова пройдёт Шестая Международная конференция «Современные сетевые технологии» (MoNeTec-2026).

Конференция приурочена к 100-летию со дня рождения Льва Николаевича Королёва — одного из создателей первой операционной системы для ЭВМ БЭСМ-6, чьи работы оказали существенное влияние на развитие вычислительных и сетевых технологий. Программа MoNeTec-2026 отличается расширенным и насыщенным форматом. В центре внимания — актуальные научные и прикладные вопросы развития вычислительноориентированных сетей и распределённых вычислительных систем.

Помимо пленарных и секционных докладов, в рамках конференции запланированы круглые столы с участием представителей промышленности, посвящённые практическим аспектам развития сетевых технологий и их взаимодействию с академическими исследованиями. Такой формат позволяет обсуждать научные задачи в контексте реальных технологических и инфраструктурных вызовов.

Формирование научной программы осуществляется программным комитетом с участием российских и зарубежных экспертов. В его состав вошли 44 специалиста, включая 22 зарубежных учёных. Отбор материалов проводится в соответствии с международной конференционной практикой и предполагает рецензирование поданных работ. MoNeTec-2026 пройдёт в гибридном формате, что позволит принять участие как очно, так и дистанционно. Доклады принимаются на английском и русском языках. Принятые работы будут опубликованы в сборниках, индексируемых соответственно в Scopus и РИНЦ.

Организаторами и спонсорами конференции выступают ФИЦ ИУ РАН, ВМК МГУ и Отделение вычислительной математики РАН. Аннотации докладов (extended abstract) принимаются до 1 мая 2026 года. Подробная информация размещена на официальном сайте конференции https://monetec.ru.

MCP Apps

MCP сервер может вернуть приложение со своим UI. Будет отображаться в iFrame:

"Сегодня мы объявляем о запуске MCP Apps в качестве официального расширения MCP. Инструменты теперь могут возвращать интерактивные компоненты пользовательского интерфейса, которые отображаются непосредственно в диалоге: панели мониторинга, формы, визуализации, многошаговые рабочие процессы и многое другое. Это первое официальное расширение MCP, и оно готово к использованию в производственной среде." - отсюда

См. также другие публикации, посвященные агентам

Что же делать?

Европейская технологическая платформа Networld Europe. Техническое приложение к Стратегической программе исследований и инноваций на 2022-2027 годы

Черновик нового варианта обещают в мае 2026. Будет охватывать планы исследований до 2029 года.

Без времени

Системы глубокого обучения, обрабатывающие временные и последовательные данные, все чаще используются в критически важных для безопасности приложениях, включая мониторинг состояния здоровья, автономную навигацию и алгоритмическую торговлю. Однако эти системы обладают серьезной уязвимостью к атакам со стороны злоумышленников — тщательно разработанным возмущениям, которые вызывают систематическую неправильную классификацию, оставаясь при этом незаметными. В данной статье представлен всесторонний систематический обзор атак со стороны злоумышленников на системы классификации временных рядов, распознавания активности человека (HAR) и обучения с подкреплением (RL), основанный на анализе 127 статей, опубликованных в период с 2019 по 2025 год, в соответствии с рекомендациями PRISMA с документированной межэкспертной надежностью (κ = 0,83). Мы устанавливаем единую четырехмерную таксономию, различающую характеристики атак в зависимости от целевых модальностей (носимые датчики IMU, датчики WiFi/радара, распознавание на основе скелета, медицинские/финансовые временные ряды и агенты RL), стратегий возмущения, временного диапазона и уровней физической реализуемости. Наш количественный анализ выявляет серьезные базовые уязвимости — атаки FGSM снижают точность HAR с 95,1% до 3,4% в условиях «белого ящика», — при этом демонстрируя, что переносимость между датчиками значительно варьируется от 0% до 80% в зависимости от расположения на теле и модальности. Критически важно, что мы выявляем существенный разрыв между показателями успешности цифровых атак (85–98%) и физически подтвержденных атак, при этом подтверждение с помощью аппаратного моделирования демонстрирует 70–97% успеха только для Wi-Fi и радаров, в то время как физические атаки с использованием носимых IMU остаются полностью неподтвержденными. Мы проводим систематический анализ механизмов защиты, включая обучение с использованием состязательных методов, подходы, основанные на обнаружении, сертифицированные средства защиты, и ансамблевые методы, предлагая структуру Temporal AutoAttack (T-AutoAttack) для стандартизированной оценки адаптивных атак. Наш анализ показывает, что существующие средства защиты демонстрируют снижение производительности на 6–23% при адаптивных атаках, при этом сертифицированные методы показывают наименьший разрыв, но приводят к снижению точности на 15–30%. Мы также выявляем новые уязвимости в архитектурах HAR на основе трансформеров и в системах прогнозирования временных рядов на основе LLM, которые требуют срочного внимания. Обзор завершается составлением приоритетной дорожной карты исследований, в которой определены восемь критических пробелов с указанием конкретных наборов данных, оценочных конвейеров и сроков внедрения. Мы предлагаем практические рекомендации по внедрению для специалистов в области носимых HAR, Wi-Fi/радарного зондирования, систем обучения с подкреплением и новых временных приложений на основе LLM. Эта работа предлагает первое унифицированное решение, объединяющее исследования временных рядов и состязательных систем обучения с подкреплением, закладывая основы для разработки надежных временных систем ИИ, пригодных для реального применения в критически важных областях безопасности. - Temporal Adversarial Attacks on Time Series and Reinforcement Learning Systems: A Systematic Survey, Taxonomy, and Benchmarking Roadmap

P.S. См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

ИИ песочницы

Эффективное устройство AI Sandbox

ИИ в медицине - реалии

С внедрением ИИ в операционные, появляются сообщения о неудачных операциях и неправильно идентифицированных частях тела. Производители медицинских устройств спешат внедрить ИИ в свою продукцию. Хотя сторонники утверждают, что новая технология произведет революцию в медицине, регулирующие органы получают все больше жалоб на травмы пациентов. - большой материал от Reuters

PGPro TechDay 2026

Материалы конференции PGPro TechDay 2026

Фальшивые новости

Большие языковые модели (LLM) все чаще используются в финансовой сфере. Их исключительные возможности анализа текстовых данных делают их хорошо подходящими для определения настроения финансовых новостей. Такая обратная связь может быть использована алгоритмическими торговыми системами (АТС) для принятия решений о покупке/продаже. Однако эта практика сопряжена с риском того, что злоумышленник может создавать «враждебные новости», призванные ввести в заблуждение LLM. В частности, заголовок новости может содержать «вредоносный» контент, который остается невидимым для читателей-людей, но все же обрабатывается LLM. Хотя в предыдущих работах изучались текстовые примеры враждебных новостей, их влияние на АТС, поддерживаемые LLM, в масштабах всей системы еще не было количественно оценено с точки зрения денежного риска. Чтобы противостоять этой угрозе, мы рассматриваем злоумышленника, не имеющего прямого доступа к АТС, но способного изменять заголовки новостей, связанных с акциями, в течение одного дня. Мы оцениваем две незаметные для человека манипуляции в финансовом контексте: замены омоглифов в Unicode, которые вводят модели в заблуждение при распознавании названий акций, и скрытые текстовые условия, которые изменяют эмоциональную окраску заголовка новости. Мы реализовали реалистичную автоматизированную торговую систему (ATS) в Backtrader, которая объединяет прогноз цен на основе LSTM с эмоциональным состоянием, полученным с помощью LLM (FinBERT, FinGPT, FinLLaMA и шесть универсальных LLM), и количественно оценили денежное воздействие с помощью показателей портфеля. Эксперименты на реальных данных показывают, что манипулирование однодневной атакой в течение 14 месяцев может надежно ввести в заблуждение LLM и снизить годовую доходность до 17,7 процентных пунктов. Для оценки реальной осуществимости мы проанализировали популярные библиотеки для сбора данных и торговые платформы и опросили 27 специалистов в области FinTech, подтвердив наши гипотезы. Мы уведомили владельцев торговых платформ об этой проблеме безопасности. - Adversarial News and Lost Profits: Manipulating Headlines in LLM-Driven Algorithmic Trading

См. также другие публикации, посвященные LLM

Состязательные атаки и робастность

Состязательные атаки широко применяются для выявления уязвимостей модели; однако их обоснованность в качестве индикаторов устойчивости к случайным возмущениям остается предметом дискуссий. Мы задаемся вопросом, дает ли пример с враждебными факторами репрезентативную оценку риска ошибочного прогнозирования при стохастических возмущениях той же величины, или же он отражает нетипичное событие наихудшего случая. Для решения этого вопроса мы вводим вероятностный анализ, который количественно оценивает этот риск относительно направленно смещенных распределений возмущений, параметризованных фактором концентрации κ, который интерполирует между изотропным шумом и направлениями враждебных факторов. Основываясь на этом, мы изучаем пределы этой связи, предлагая стратегию атаки, разработанную для исследования уязвимостей в режимах, которые статистически ближе к равномерному шуму. Эксперименты на наборах данных ImageNet и CIFAR-10 систематически сравнивают результаты множественных атак, выявляя, когда успех противодействия адекватно отражает устойчивость к возмущениям, а когда нет, что позволяет использовать эти данные для оценки устойчивости в целях обеспечения безопасности. - How Worst-Case Are Adversarial Attacks? Linking Adversarial and Perturbation Robustness

P.S. См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Сверхинтеллект в сфере кибербезопасности

Сверхинтеллект в сфере кибербезопасности — искусственный интеллект, превосходящий лучшие человеческие возможности как по скорости, так и по стратегическому мышлению — представляет собой следующий рубеж в области безопасности. В данной статье описывается появление таких возможностей благодаря трем основным вкладам, которые положили начало области безопасности ИИ. Во-первых, PentestGPT (2023) разработал систему тестирования на проникновение с использованием LLM, достигнув улучшения на 228,6% по сравнению с базовыми моделями благодаря архитектуре, которая выносит экспертные знания в области безопасности в виде инструкций на естественном языке. Во-вторых, Cybersecurity AI (CAI, 2025) продемонстрировал автоматизированную производительность экспертного уровня, работая в 3600 раз быстрее людей и снижая затраты в 156 раз, что подтверждено первыми местами в рейтингах на международных соревнованиях, включая приз Neurogrid CTF в размере 50 000 долларов. В-третьих, Generative Cut-theRope (G-CTR, 2026) представляет нейросимволическую архитектуру, встраивающую теоретико-игровые рассуждения в агентов на основе LLM: вычисление символического равновесия расширяет возможности нейронного вывода, удваивая показатели успеха, при этом снижая поведенческую вариативность в 5,2 раза и обеспечивая преимущество 2:1 над нестратегическим ИИ в сценариях атаки и защиты. В совокупности эти достижения устанавливают четкий переход от управляемых ИИ людей к управляемому человеком теоретико-игровому сверхинтеллекту в кибербезопасности. - Towards Cybersecurity Superintelligence: from AI-guided humans to human-guided AI

Авторы ссылаются на фреймворк Cybersecurity AI (CAI):

Кибербезопасность на основе искусственного интеллекта (CAI) — это легковесная платформа с открытым исходным кодом, которая позволяет специалистам по безопасности создавать и развертывать автоматизированные системы наступательной и оборонительной защиты на основе ИИ. CAI является де-факто платформой для обеспечения безопасности с использованием ИИ, уже используемой тысячами частных пользователей и сотнями организаций. Независимо от того, являетесь ли вы исследователем безопасности, этичным хакером, ИТ-специалистом или организацией, стремящейся повысить уровень своей безопасности, CAI предоставляет строительные блоки для создания специализированных агентов ИИ, которые могут помочь в смягчении угроз, обнаружении уязвимостей, их эксплуатации и оценке безопасности.

Основные особенности:

🤖 Более 300 моделей ИИ: поддержка OpenAI, Anthropic, DeepSeek, Ollama и других
🔧 Встроенные инструменты безопасности: готовые к использованию инструменты для разведки, эксплуатации уязвимостей и повышения привилегий
🏆 Проверено в реальных условиях: доказано в CTF-соревнованиях HackTheBox, программах поиска уязвимостей и реальных примерах из практики в области безопасности
🎯 Архитектура на основе агентов: модульная структура для создания специализированных агентов для различных задач безопасности
🛡️ Защита от внедрения уязвимостей и выполнения опасных команд
📚 Ориентированность на исследования: исследовательский фонд для демократизации ИИ в сфере кибербезопасности для сообщества

Искусственный интеллект и восстановление после инсульта

Бурное развитие современных систем искусственного интеллекта (генеративных моделей, которые чаще всего и рассматриваются как ИИ), в частности мощных базовых и мультимодальных моделей, открывает новые перспективы для персонализации и повышения эффективности физической реабилитации. Эти технологии позволяют анализировать и интегрировать разнородные данные о пациенте: от объективных показателей движения и мышечной активности (биомеханика, ЭМГ) до данных визуализации (МРТ, УЗИ) и субъективных отчетов. Современные модели ИИ способны выявлять сложные пространственно-временные закономерности в процессе восстановления двигательных функций. Это стало возможным благодаря обучению на больших объемах «сырых» клинических и инструментальных данных. Такие ИИ-решения потенциально могут трансформировать все ключевые направления реабилитации, такие как оценка и мониторинг, автоматизированный анализ движений и походки по видео, интерпретация данных носимых датчиков для объективного отслеживания прогресса, cоздание адаптивных, «умных» планов терапии на основе прогностических моделей, предсказывающих индивидуальный ответ на разные виды нагрузок, моделирование рисков и прогнозирование долгосрочных результатов реабилитации после инсульта, травм спинного мозга или ортопедических операций. Цель данной статьи – оценить применимость доступных моделей для построения программ реабилитации после инсульта. - Искусственный интеллект в физической реабилитации

GigaChat и DeepSeek разрабатывают физические упражнения

См. также другие публикации, посвященные LLM

Графы знаний на русском

Учебный курс на русском языке: Knowledge Graphs

LLM и фишинг

Большие языковые модели (LLM) способны генерировать беглый и убедительный текст, что делает их ценными инструментами для коммуникации. Однако эта способность также делает их привлекательными для злонамеренных целей. Хотя ряд исследований показал, что LLM могут поддерживать общий фишинг, их потенциал для персонализированных атак в больших масштабах еще не был изучен и количественно оценен. В этом исследовании мы оцениваем эффективность целевого фишинга на основе LLM в эксперименте с участием 7700 человек. Используя целевые адреса электронной почты в качестве запросов, мы собираем личную информацию посредством веб-поиска и автоматически генерируем электронные письма, адаптированные для каждого участника. Наши результаты показывают тревожную ситуацию: целевой фишинг на основе LLM почти втрое увеличивает количество кликов по сравнению с общими стратегиями фишинга. Этот эффект сохраняется независимо от того, написаны ли общие электронные письма людьми или также сгенерированы LLM. Более того, стоимость персонализации минимальна и составляет приблизительно 0,03 доллара США за письмо. Учитывая, что фишинг по-прежнему является основным вектором атак на ИТ-инфраструктуры, мы приходим к выводу о наличии острой необходимости усиления существующих мер защиты, например, путем ограничения общедоступной информации, связанной с адресами электронной почты, и включения персонализированных методов борьбы с фишингом в программы повышения осведомленности. - A Large-Scale Study of Personalized Phishing using Large Language Models

См. также другие публикации, посвященные LLM

LLM и приватность

Большие языковые модели (LLM) все чаще используются в здравоохранении для поддержки принятия клинических решений, обобщения электронных медицинских карт (ЭМК) и улучшения качества обслуживания пациентов. Однако эта интеграция создает значительные проблемы конфиденциальности и безопасности, обусловленные чувствительностью клинических данных и высокой степенью риска, связанного с медицинскими рабочими процессами. Эти риски становятся еще более выраженными в гетерогенных средах развертывания, от небольших локальных больничных систем до региональных сетей здравоохранения, каждая из которых имеет уникальные ограничения ресурсов и нормативные требования. Данная систематизация знаний (SOK) рассматривает меняющийся ландшафт угроз на трех основных этапах БЛМ: предварительная обработка данных, тонкая настройка и вывод, в реальных условиях здравоохранения. Мы представляем подробную модель угроз, которая характеризует противников, их возможности и поверхности атаки на каждом этапе, и систематизируем, как существующие методы сохранения конфиденциальности пытаются смягчить эти уязвимости. Хотя существующие средства защиты обнадеживают, наш анализ выявляет сохраняющиеся ограничения в обеспечении безопасности конфиденциальных клинических данных на различных операционных уровнях. В заключение мы предлагаем рекомендации с учетом этапов и направления будущих исследований, направленных на усиление гарантий конфиденциальности для LLM в регулируемых средах. Эта работа закладывает основу для понимания взаимосвязи LLM, угроз и конфиденциальности в здравоохранении, предлагая дорожную карту для создания более надежных и клинически заслуживающих доверия систем искусственного интеллекта. - SoK: Privacy-aware LLM in Healthcare: Threat Model, Privacy Techniques, Challenges and Recommendations

См. также другие публикации, посвященные LLM

База промпт-инжиринга

Какие ключевые методы разработки подсказок используются?

Подсказки с небольшим количеством примеров: Включите в подсказку несколько пар примеров (вход → выход), чтобы обучить шаблону.

Подсказки без примеров: Дайте точную инструкцию без примеров, чтобы четко сформулировать задачу.

Подсказки с цепочкой рассуждений (CoT): Запросите пошаговое объяснение перед окончательным ответом. Это может быть подход без примеров, когда мы явно включаем «Думайте шаг за шагом» в инструкцию, или подход с небольшим количеством примеров, когда мы показываем несколько примеров с пошаговым объяснением.

Подсказки, специфичные для роли: Назначьте персонажа, например, «Вы — финансовый консультант», чтобы задать контекст для LLM.

Иерархия подсказок: Определите инструкции для системы, разработчика и пользователя с разными уровнями полномочий. Системные подсказки определяют высокоуровневые цели и устанавливают ограничения, в то время как подсказки для разработчика определяют правила форматирования и настраивают поведение LLM.

Вот основные принципы, которые следует учитывать при разработке подсказок:
Начинайте с простого, затем совершенствуйте.
Разбейте большую задачу на более мелкие, управляемые подзадачи.
Будьте конкретны в отношении желаемого формата, тона и критериев успеха.
Предоставьте достаточно контекста, чтобы исключить двусмысленность.

ML интервью

Хорошие вопросы для ML интервью. И ноутбук с кодом.

См. также другие публикации на тему интервью

Учим по месту жительства

Хорошее введение в федеративное обучение: Federated Learning, Part 1: The Basics of Training Models Where the Data Lives

INJOIT vol. 14, no. 2

Вышел второй номер журнала INJOIT в 2026 году. И четырнадцатый год издания журнала.

Темы статей:

• Prompt Injection Attacks on Agentic Coding Assistants: A Systematic Analysis of Vulnerabilities in Skills, Tools, and Protocol Ecosystems
• Трансформерная модель бинарной классификации временных рядов на данных инерциальных датчиков для детекции спуфинг-атак в БПЛА
• Кластеризация угроз и идентификация рисков нарушения информационной безопасности опасных производственных объектов
• Методы выявления конфиденциальной информации в неструктурированных данных
• Принципы и модель совершенствования алгоритмов постквантового шифрования, основанных на математической теории решёток
• Искусственный Интеллект в Кибербезопасности. Хроника. Выпуск 5
• On the System of Reaction-Diffusion Equations in a Limited Region
• A Universal Model for Forecasting Customer Service Revenue: A Paid Parking Service Example
• Модель информационного влияния в социальной сети на основе диффузии сигналов, образованных ортогональными функциями
• Подходы к повышению эффективности Mesh-сети в вычислительной системе с распределенной памятью
• Итеративная двунаправленная рекуррентная сеть для предсказания разрушения многослойных композитов
• Recursion in Actual Java Programming
• Персонализация интерфейсов «мозг-компьютер» основе SSVEP-парадигмы с учетом индивидуальных особенностей реакции пользователя
• О некорректности безусловных программ
• Автоматизация учета научной и учебно-методической деятельности преподавателя
• Development of the Multilingual Sign Language Learning Game for Interactive Education
• О применении компьютерных технологий для анализа художественных текстов (на примере произведений В.Г. Короленко)
• Метод определения степени доверия автономных транспортных средств на основе социальных сил
• Искусственный интеллект в физической реабилитации

Архив журнала находится здесь.

/via Лаборатория ОИТ

Перефразируй

Использование больших языковых моделей (LLM) в системах рецензирования привлекает все больше внимания, что делает необходимым изучение их потенциальных уязвимостей. Предыдущие атаки основаны на внедрении подсказок, которые изменяют содержание рукописи и смешивают уязвимость к внедрению с устойчивостью к оценке. Мы предлагаем атаку с использованием парафразирования (PAA), метод оптимизации «черного ящика», который ищет последовательности перефразированных фрагментов, дающие более высокие оценки рецензентов, при сохранении семантической эквивалентности и лингвистической естественности. PAA использует обучение в контексте, используя предыдущие перефразирования и их оценки для генерации кандидатов. Эксперименты, проведенные на пяти конференциях по машинному обучению и обработке естественного языка с участием трех рецензентов, использующих LLM, и пяти атакующих моделей, показывают, что PAA последовательно повышает оценки рецензентов, не изменяя утверждений статьи. Оценка человеком подтверждает, что сгенерированные перефразирования сохраняют смысл и естественность. Мы также обнаружили, что статьи, подвергшиеся нападкам, демонстрируют повышенную невнятность в обзорах, что может служить потенциальным сигналом обнаружения, и что перефразирование представленных работ может частично смягчить последствия нападок. - Paraphrasing Adversarial Attack on LLM-as-a-Reviewer

См. также другие публикации, посвященные LLM