Плохому не научит?

«Удачной (и безопасной) стрельбы!» - Чат-боты с искусственным интеллектом помогли подросткам планировать сцены насилия в сотнях тестов. Расследование CNN.

Универсальные атаки на LLM

Очередняа попытка сделать универсальный атакующий фреймворк для LLM. В принципе, устройство у всех одинаковое. Берем словари известных атак и конструируем новые промпты по некоторым правилам. Вот, например: "В основе нашей структуры лежит широкая, основанная на политике таксономия категорий запросов высокого риска, включая насилие, хакерство, мошенничество, финансовые преступления, разжигание ненависти, нарушения конфиденциальности и многое другое. Каждая категория представлена подсказками, полученными как из общедоступных наборов данных, например, AdvBench, JailbreakBench, так и из проверенных экспертами синтетических примеров.
Для враждебного зондирования мы используем следующие основные методы:

• Враждебные суффиксы: добавление компактной последовательности оптимизированных токенов или фраз к входной подсказке, которая систематически изменяет поведение модели при завершении запроса, чтобы получить определенные результаты.
• Ролевая игра: представление запросов в виде вымышленного, гипотетического, или сценария, основанного на личности, чтобы побудить модель принять поведение или выдать результаты, которые в противном случае были бы ограничены.
• Убеждение: Использование эмоциональных, социальных или авторитетных сигналов в запросе — таких как апелляции к экспертным знаниям, срочности или свидетельствам коллег — для того, чтобы склонить модель к выдаче более покладистых или разрешительных результатов.
• Обфускация: Преобразование или сокрытие намерения запроса с помощью кодирования, нетипичной орфографии, перевода или других поверхностных искажений для обхода детекторов, основанных на шаблонах.
• Многошаговое построение структуры запроса: Разбиение целевого запроса на последовательность промежуточных запросов или задач таким образом, что каждый шаг по отдельности является безопасным, но вся цепочка в целом дает запрещенный результат.
• Предварительная подготовка в контексте: Предоставление выбранных примеров в запросе, которые неявно учат модель выдавать целевой тип (небезопасного) ответа.
• Агрессивная токенизация: Агрессивная токенизация вредоносной строки для обхода ограничений безопасности и выравнивания моделей LLM.

Каждый запрос систематически сопоставляется с каждым методом атаки, генерируя детализированную сетку оценок действий противника. Наша структура разработана с учетом масштабируемости и расширяемости. Новые категории запросов и дополнительные методы исследования могут быть легко интегрированы, что позволяет постоянно адаптироваться к возникающим рискам и методам атак.

Вот схожие работы и похожий код

См. также другие публикации, посвященные LLM

Безопасность IoT

Быстрое распространение технологий Интернета вещей (IoT), число взаимосвязанных устройств которого, по прогнозам, к 2030 году превысит 30 миллиардов, значительно усложнило проблемы кибербезопасности. Цель данного обзора — предоставить всесторонний анализ уязвимостей, угроз и механизмов защиты, уделяя особое внимание интеграции сетевого и прикладного уровней в системы мониторинга и принятия решений в реальном времени. С использованием интегративной методологии обзора были отобраны 59 научных статей, опубликованных в период с 2009 по 2024 год, из таких баз данных, как IEEE Xplore, ScienceDirect и PubMed, с использованием ключевых слов, связанных с уязвимостями IoT и атаками на безопасность. Ключевые выводы определяют критически важные категории угроз, включая уязвимости датчиков, атаки типа «отказ в обслуживании» (DoS) и небезопасность публичных облачных сервисов. В свою очередь, исследование освещает передовые подходы к защите, использующие искусственный интеллект (ИИ) для обнаружения аномалий, блокчейн для децентрализованного доверия и архитектуру нулевого доверия (ZTA) для непрерывной проверки. В данной статье представлена новая пятиуровневая модель Интернета вещей и обозначены будущие направления исследований, связанные с квантовыми вычислениями и сетями 6G, для повышения устойчивости экосистемы Интернета вещей. - Cyberscurity Threats and Defense Mechanisms in IoT network

См. также другие публикации по теме IoT

MCP - щит

Протокол контекста модели (MCP) стандартизирует использование инструментов для агентов на основе LLM и позволяет использовать сторонние серверы. Эта открытость создает несоответствие в безопасности: агенты неявно доверяют инструментам, предоставляемым потенциально ненадежными серверами MCP. Однако, несмотря на свою превосходную полезность, существующие агенты обычно предлагают ограниченную проверку сторонних серверов MCP. В результате агенты остаются уязвимыми для атак на основе MCP, которые используют несоответствие между агентами и серверами на протяжении всего жизненного цикла вызова инструмента. В этой статье мы предлагаем MCPShield в качестве подключаемого уровня безопасности, обеспечивающего когнитивные функции, который смягчает это несоответствие, и гарантирует безопасность агентов при вызове инструментов на основе MCP. Вдохновленный человеческой проверкой инструментов на основе опыта, MCPShield помогает агентам формировать когнитивные функции безопасности с помощью проверки на основе метаданных перед вызовом. Наш метод ограничивает выполнение в контролируемых рамках при одновременном отслеживании событий во время выполнения и впоследствии обновляет понимание безопасности путем анализа исторических данных после вызова, опираясь на человеческое постэкспериментальное осмысление поведения инструмента. Эксперименты демонстрируют, что MCPShield демонстрирует высокую обобщающую способность при защите от шести новых сценариев атак на основе MCP в шести широко используемых агентных LLM, избегая ложных срабатываний на безопасных серверах и не требуя больших затрат на развертывание. В целом, наша работа обеспечивает практичную и надежную защиту от угроз безопасности при вызове инструментов на основе MCP в открытых агентских экосистемах. - MCPShield: A Security Cognition Layer for Adaptive Trust Calibration in Model Context Protocol Agents

См. другие публикации, посвященные MCP

Автоматизация атак на ИИ-агентов

Интересная магистерская диссертация из ETH: Automated Prompt Injection Attacks Against LLM Agents

Быстрое переобучение

Длинные входные последовательности играют центральную роль в контекстном обучении, понимании документов и многошаговом рассуждении больших языковых моделей (LLM). Однако квадратичная стоимость внимания в трансформерах делает вывод ресурсоемким и медленным процессом с точки зрения памяти. Хотя дистилляция контекста (CD) может передавать информацию в параметры модели, дистилляция по каждому запросу непрактична из-за затрат на обучение и задержки. Для решения этих проблем мы предлагаем Doc-to-LoRA (D2L), легковесную гиперсеть, которая мета-обучается для выполнения приблизительной CD за один прямой проход. Получив неизвестный запрос, D2L генерирует адаптер LoRA для целевой LLM, позволяя отвечать на последующие запросы без повторного использования исходного контекста, уменьшая задержку и потребление памяти KV-кэша во время вывода целевой LLM. В задаче поиска иголки в стоге сена с длинным контекстом D2L успешно обучается сопоставлять контексты с адаптерами, которые хранят информацию об иголке, достигая почти идеальной точности без предварительного обучения при длине последовательности, превышающей собственное контекстное окно целевой LLM более чем в 4 раза. На реальных наборах данных для вопросов и ответов с ограниченными вычислительными ресурсами D2L превосходит стандартный CD, значительно снижая пиковое потребление памяти и задержку обновления. Мы предполагаем, что D2L может способствовать быстрой адаптации LLM, открывая возможность частого обновления знаний и персонализированного поведения в чате. - Doc-to-LoRA: Learning to Instantly Internalize Contexts

Очень интересно - это быстрая (за один проход) кастомизация LLM

См. также другие публикации, посвященные LLM

Атаки губки для LLM

Атаки типа «губка» все чаще представляют угрозу для систем LLM, вызывая чрезмерные вычисления и DoS-атаки. Существующие средства защиты либо полагаются на статистические фильтры, которые не справляются с семантически значимыми атаками, либо используют статические детекторы на основе LLM, которые с трудом адаптируются по мере развития стратегий атак. Мы представляем SHIELD, многоагентную систему защиты с автоматическим восстановлением, основанную на трехэтапном агенте защиты, который интегрирует поиск семантического сходства, сопоставление шаблонов и рассуждения на основе LLM. Два вспомогательных агента — агент обновления знаний и агент оптимизации подсказок — образуют замкнутый цикл самовосстановления: когда атака обходит обнаружение, система обновляет развивающуюся базу знаний и уточняет инструкции защиты. Обширные эксперименты показывают, что SHIELD неизменно превосходит системы защиты на основе перплексии и автономные системы защиты LLM, достигая высоких показателей F1 как при несемантических, так и при семантических атаках типа «губка», демонстрируя эффективность агентного самовосстановления против развивающихся угроз истощения ресурсов. - SHIELD: An Auto-Healing Agentic Defense Framework for LLM Resource Exhaustion Attacks

См. также другие публикации, посвященные LLM

Глубокое обучение в детекции атак на LLM

Быстрое внедрение больших языковых моделей (LLM) в корпоративные и государственные системы вызвало серьезные проблемы безопасности, в частности, атаки с внедрением подсказок, использующие неспособность LLM различать управляющие инструкции от ненадежных пользовательских входных данных. В этом исследовании систематически сравниваются архитектуры нейронных сетей для обнаружения вредоносных подсказок, с акцентом на устойчивость к состязательным возмущениям на уровне символов — аспект, который остается сравнительно малоизученным в конкретном контексте обнаружения внедрения подсказок, несмотря на его признанную значимость в общей состязательной обработке естественного языка. Используя набор данных для обнаружения вредоносных подсказок (MPDD), содержащий 39 234 размеченных экземпляра, были оценены восемь архитектур — Dense DNN, CNN, BiLSTM, BiGRU, Transformer, ResNet и варианты CNN и BiLSTM на уровне символов — на основе стандартных метрик производительности (точность, F1-мера и AUC-ROC), коэффициентов устойчивости к состязательным возмущениям, связанным с интервалами и омоглифами, а также задержки вывода. Результаты показывают, что BiLSTM на уровне слов (3_Word_BiLSTM) показала наилучшие результаты на чистых образцах (точность = 0,9681, F1 = 0,9681), в то время как Transformer продемонстрировал более низкую точность (0,9190) и значительную уязвимость к атакам с использованием пробелов (устойчивость к атакам ρ𝑠𝑝𝑎𝑐𝑖𝑛𝑔=0,61). Напротив, BiLSTM на уровне символов продемонстрировала превосходную устойчивость (ρ𝑠𝑝𝑎𝑐𝑖𝑛𝑔=1,0, ρℎ𝑜𝑚𝑜𝑔𝑙𝑦𝑝ℎ=0,98 ), сохраняя высокую точность (0,9599) и обобщающую способность на внешних наборах данных с падением производительности всего на 2–4%. Эти результаты подчеркивают, что представления на уровне символов обеспечивают внутреннюю устойчивость к атакам обфускации, что позволяет рассматривать Char_BiLSTM как надежный компонент в стратегиях многоуровневой защиты для систем, интегрированных с LLM. - Comparative Benchmarking of Deep Learning Architectures for Detecting Adversarial Attacks on Large Language Models

См. также другие публикации, посвященные LLM

Агенты и безопасность - совместимы ли эти понятия?

Современные архитектуры агентного ИИ принципиально несовместимы с требованиями безопасности и эпистемологическими требованиями научных рабочих процессов, имеющих высокую значимость. Проблема заключается не в недостаточном согласовании или недостаточных механизмах защиты, а в архитектуре: авторегрессивные языковые модели обрабатывают все токены единообразно, что делает детерминированное разделение команд и данных недостижимым только за счет обучения. Мы утверждаем, что детерминированное, архитектурное обеспечение, а не вероятностно изученное поведение, является необходимым условием для надежной науки с использованием ИИ. Мы представляем архитектуру защиты «Тринити», которая обеспечивает безопасность с помощью трех механизмов: управление действиями посредством конечного исчисления действий с обеспечением контроля с помощью монитора ссылок, управление потоком информации с помощью обязательных меток доступа, предотвращающих утечку информации между областями видимости, и разделение привилегий, изолирующее восприятие от выполнения. Мы показываем, что без неподделываемой информации о происхождении и детерминированного посредничества «Смертельная триада» (ненадежные входные данные, привилегированный доступ к данным, возможность внешних действий) превращает безопасность авторизации в проблему обнаружения уязвимостей: основанные на обучении средства защиты могут снизить эмпирические показатели атак, но не могут обеспечить детерминированные гарантии. Сообщество машинного обучения должно признать, что согласование недостаточно для обеспечения безопасности авторизации, и что архитектурное посредничество необходимо, прежде чем агентный ИИ сможет быть безопасно развернут в важных научных областях. - Trustworthy Agentic AI Requires Deterministic Architectural Boundaries

См. также другие публикации, посвященные агентам

Детекция косвенных инъекций подсказок

Большие языковые модели (LLM) уязвимы для атак с внедрением вредоносных инструкций (IPIA), когда вредоносные инструкции внедряются во внешний контент, а не напрямую вводятся пользователем. В этом исследовании представлен подход к обнаружению на основе встраивания, который анализирует семантическую связь между намерением пользователя и внешним контентом, что позволяет на ранней стадии выявлять IPIA, которые упускают из виду традиционные средства защиты. Мы также предоставляем набор данных из 70 000 образцов, созданный с использованием 35 000 вредоносных экземпляров из набора данных BIPIA (Benchmark for Indirect Prompt Injection Attacks) и 35 000 безопасных экземпляров, сгенерированных с помощью ChatGPT-4o-mini. Кроме того, мы провели сравнительный анализ трех моделей встраивания, а именно OpenAI text-embedding-3-small, GTE-large и MiniLM-L6-v2, оцененных в сочетании с классификаторами XGBoost, LightGBM и Random Forest. Наилучшая конфигурация, использующая эмбеддинги OpenAI с XGBoost, достигла точности 97,7% и F1-меры 0,977, что соответствует или превосходит производительность существующих методов обнаружения IPIA, предлагая при этом практические преимущества развертывания. В отличие от подходов, ориентированных на предотвращение, которые требуют модификации базовой архитектуры LLM, предлагаемый метод работает как независимый от модели внешний слой обнаружения со средним временем вывода 0,001 мс на образец. Этот подход, основанный на обнаружении, дополняет существующие механизмы предотвращения, предоставляя легковесное, масштабируемое решение, которое может быть интегрировано в конвейеры LLM без необходимости архитектурных изменений. - Embedding-Based Detection of Indirect Prompt Injection Attacks in Large Language Models Using Semantic Context Analysis

См. также другие публикации, посвященные LLM

Конференция "Искусственный интеллект: практическое приложение, вопросы доверия и информационной безопасности" 2026

Материалы выступлений:

Пленарное заседание. РАЗВИТИЕ ИИ В ОТРАСЛЯХ И РЕГИОНАХ. ПРОГНОЗЫ И ПЕРСПЕКТИВЫ

Евгений Хасин, Минцифры РФ: Искусственный интеллект. Вопросы доверия и безопасности
Василий Елистратов, Управление Президента РФ по государственной политике в сфере оборонно-промышленного комплекса: Применение технологий искусственного интеллекта в интересах обеспечения обороноспособности страны
Эдуард Шантаев, ФГАУ "ЦИТ": Развитие и перспективы внедрения в промышленность передовых технологий ИИ
Евгений Бурнаев, Сколтех: ИИ под контролем: риски в агентных системах и методы их управления
Вячеслав Береснев, Ассоциация лабораторий по развитию искусственного интеллекта: Проблема доверия в рынке ИИ. Методы решения

Секция. Применение искусственного интеллекта в различных секторах экономики

Евгений Осадчук, АНО "Цифровая экономика": Тренды применения ИИ в отраслях
Андрей Королев, Госкорпорация "Росатом": Об опыте использования искусственного интеллекта (ИИ) в корпорации Росатом
Дмитрий Вандышев, СберТех: Комплексная защита AI в СберТехе
Алексей Парфентьев, Сёрчинформ: Технологии ИИ для защиты конфиденциальной информации
Владислав Тушканов, Лаборатория Касперского: ИИ в SOC: желания и возможности
Дмитрий Узлов, Мобиус Безопасность: ИИ как серая зона ИБ: по секрету всему свету
Пётр Метёлкин, ФГУП "ЗащитаИнфоТранс": Искусственный интеллект в отрасли транспорта и логистики. Актуальные вызовы и возможности
Алексей Титов, ГК ФСК: Проектирование цифровых решений с ИИ: подходы и практика
Алексей Остроушко, Сеть клиник "Будь здоров": Практический опыт использования ИИ в сети клиник Будь Здоров

Круглый стол. ИИ-разработка сегодня: требования, стандарты, риски, вопросы безопасности

Евгений Бурнаев, Сколтех: Инженерный ИИ: интеллектуальная автоматизация сложных циклов проектирования и управления инженерными системами
Сергей Денисов, Альфа-Банк: Автономные агенты и автоматизация бизнес-процессов
Евгений Колесников, Яндекс: Создание кодового ассистента
Михаил Куляскин, X5 Tech: От слов к данным: строим Text2SQL ассистента для бизнеса
Алексей Щербаков, СберТех: "Свой Copilot" — свои уязвимости: почему локальная LLM для разработки не панацея безопасности

Оценка рисков для агентов

Агентные системы быстро переходят в производство, где они считывают ненадежные входные данные, вызывают инструменты с реальными правами доступа и действуют автономно, расширяя поверхность безопасности за пределы моделей, основанных на общении. Однако стандартные оценки остаются одноэтапными и не позволяют выявить многоступенчатые уязвимости агентов. Мы представляем систематическую структуру «черного ящика» для оценки агентов с учетом рисков, требующую только базового описания системы. Наш подход вводит: (1) семидоменную таксономию, сопоставляющую наблюдаемое поведение с категориями риска, (2) полностью автоматизированную работу SAGE-RT red команд, создающую 120 сценариев противодействия для каждого домена, и (3) оценку, проверенную людьми с использованием экспертов LLM. Эмпирическая проверка на двух архитектурах агентов (CrewAI и AutoGen) с четырьмя базовыми моделями выявляет тревожные закономерности: 56,25% среднего риска управления, 65% риска конфиденциальности в многоагентных конфигурациях и уязвимости поведения агентов, достигающие 85%. Наш подход «черного ящика» эффективно выявляет критические архитектурные уязвимости без привилегированного доступа, обеспечивая масштабируемый путь к более безопасному развертыванию агентов. - Black-Box Red Teaming of Agentic AI: A Taxonomy-Driven Framework for Automated Risk Discovery

См. также другие публикации, посвященные агентам

О содержательном тестировании ИИ-агентов

ИИ-агенты, автономно взаимодействующие с внешними инструментами и средами, демонстрируют большие перспективы в реальных приложениях. Однако внешние данные, которые потребляет агент, также приводят к риску атак с непрямым внедрением подсказок, когда вредоносные инструкции, встроенные в сторонний контент, перехватывают поведение агента. Опираясь на такие бенчмарки, как AgentDojo, был достигнут значительный прогресс в разработке защиты от указанных атак. По мере развития технологии и все большего использования агентов для решения более сложных задач, возникает все более острая необходимость в развитии бенчмарка, чтобы он отражал угрозы, с которыми сталкиваются новые агентные системы. В этой работе мы выявляем три фундаментальных недостатка в существующих бенчмарках и продвигаем границы в этих направлениях: (i) отсутствие динамических задач с открытым концом, (ii) отсутствие полезных инструкций и (iii) упрощенные задачи для пользователей. Чтобы преодолеть этот разрыв, мы представляем AgentDyn, разработанный вручную бенчмарк, включающий 60 сложных задач с открытым концом и 560 тестовых случаев внедрения кода в сферах покупок, GitHub и повседневной жизни. В отличие от предыдущих статических бенчмарков, AgentDyn требует динамического планирования и включает полезные инструкции от сторонних разработчиков. Наша оценка десяти передовых средств защиты показывает, что почти все существующие средства защиты либо недостаточно безопасны, либо страдают от значительной избыточной защиты, что свидетельствует о том, что существующие средства защиты все еще далеки от реального применения. Наш бенчмарк доступен по адресу https://github.com/leolee99/AgentDyn - AgentDyn: A Dynamic Open-Ended Benchmark for Evaluating Prompt Injection Attacks of Real-World Agent Security System

См. также другие публикации, посвященные агентам

INJOIT vol. 14, no. 3

Вышел третий номер журнала INJOIT в 2026 году. И четырнадцатый год издания журнала.

Темы статей:

• Mathematical Modeling of Geo-thermo-mechanical Processes in Lithospheric-asthenospheric Subduction Systems using Numerical Methods
• Математическое моделирование восстановления глубины расположения заряда в уплотняемых гидровзрывом лёссах
• Оптимизация периодичности тестирования памяти вычислительных систем
• Сравнение методов векторизации названий товаров: Компромисс между точностью и вычислительной эффективностью в e-commerce
• Сравнение нейросетевых архитектур для распознавания русской речи с иностранным акцентом
• Выбор целевых признаков для классификации и кластерного анализа структур отношений объектов
• Метод объяснимости трансформера BERT при решении задачи классификации текстов
• Statistical Analysis of Subproblems Bound Distributions in the Branch-and-Bound Algorithm for Random Traveling Salesman Instances
• RESC: Relation Extraction by Sequence Compression
• Математическое и алгоритмическое обеспечение для поддержки принятия решений при составлении расписания
• Deep Learning Approach Towards Plant Disease Detection
• Искусственный Интеллект в Кибербезопасности. Хроника. Выпуск 6
• Математическая модель гибридной системы противодействия угрозам нарушения информационной безопасности в информационных системах на основе квантового распределения ключей и постквантовой криптографии
• LLM4CodeSec: A Framework for Evaluating the Effectiveness of Large Language Models in Source Code Vulnerability Detection
• RISC-V и приложения Искусственного Интеллекта

Архив журнала находится здесь.

/via Лаборатория ОИТ

Искусственный интеллект в кибербезопасности. Хроника. Выпуск 6

В настоящей статье представлен очередной, уже шестой по счёту, выпуск нашего регулярного аналитического дайджеста. Эта серия материалов посвящена всестороннему изучению динамично развивающейся области, находящейся на пересечении технологий искусственного интеллекта (ИИ) и кибербезопасности. Основная задача, которую мы ставим перед собой в рамках данной инициативы, заключается в последовательном мониторинге глобальной повестки и глубоком структурировании наиболее значимых событий. Мы стремимся не просто собирать информацию, но и тщательно анализировать законодательные новации, ключевые инциденты, а также прорывные технологические решения, формирующие ландшафт современной кибербезопасности в контексте развития ИИ.

Архитектура каждого выпуска нашей серии неизменна и включает в себя три тематических блока, позволяющих комплексно охватить предметную область. Первый блок посвящен разбору инцидентной базы и анализу актуальных угроз. Здесь мы детально рассматриваем реальные практические кейсы, выявляем новые уязвимости и оцениваем возникающие риски, напрямую связанные с интеграцией алгоритмов искусственного интеллекта в защитные контуры и атакующие инструментарии. Второе направление нашей работы - это детальный обзор текущего состояния и динамики нормативно-правового поля. Понимание этих процессов крайне важно, поскольку именно они формируют те правовые и операционные рамки, в которых предстоит развиваться безопасным системам искусственного интеллекта в ближайшем будущем. Наконец, третий блок нашей аналитики - это научно-технологическая хроника. Каждый выпуск содержит тщательно составленный аннотированный перечень наиболее значимых, по нашему мнению, научных статей, исследовательских отчетов авторитетных центров и описаний инновационных разработок. - отсюда

Что вы хотели знать о рандомизации

Эта рубрика предназначена для экспериментаторов, а также программистов и статистиков, которые их поддерживают. Рандомизированные контролируемые эксперименты предоставляют эталонное понимание причинно-следственных связей — знаний, которые лежат в основе наших важнейших решений. К сожалению, рандомизация в таких экспериментах часто проводится с ошибками. Ошибки рандомизации незаметно делают недействительной интерпретацию результатов эксперимента, превращая плодотворный поиск знаний в пустую трату времени и денег — или, что еще хуже, в источник дезинформации. К счастью, эти фатальные ошибки легко обнаружить и исправить. Поэтому, независимо от того, являетесь ли вы веб-мастером, использующим A/B-тестирование для повышения вовлеченности, медицинским исследователем, оценивающим вакцины, руководителем завода, изучающим способы повышения производительности, или ученым, стремящимся понять законы, управляющие природой или человеческими делами, читайте дальше. - What Every Experimenter Must Know About Randomization

Predictive Query Language

Интересная идея - проблемно-ориентированный язык запросов для реляционных баз данных. Целью прогностического моделирования на основе реляционных данных является прогнозирование будущих или отсутствующих значений в реляционной базе данных, например, будущих покупок пользователя, риска повторной госпитализации пациента или вероятности мошенничества при совершении финансовой транзакции. Как правило, основанные на методах машинного обучения, прогностические модели используются в системах рекомендаций, обнаружения финансового мошенничества, оптимизации цепочки поставок и других системах, предоставляя миллиарды прогнозов каждый день. Однако обучение модели машинного обучения требует ручной работы по извлечению необходимых обучающих примеров — сущностей прогнозирования и целевых меток — из базы данных, что является медленным, трудоемким и подверженным ошибкам процессом. Здесь мы представляем язык прогнозных запросов (PQL), декларативный язык, вдохновленный SQL, для определения задач прогнозирования в реляционных базах данных. PQL позволяет задавать задачу прогнозирования в одном декларативном запросе, что позволяет автоматически вычислять обучающие метки для широкого спектра задач машинного обучения, таких как регрессия, классификация, прогнозирование временных рядов и рекомендательные системы. PQL уже успешно интегрирован и используется в ряде сценариев применения в рамках платформы прогнозного ИИ. Универсальность языка можно продемонстрировать на примере множества текущих сценариев его использования, включая финансовое мошенничество, рекомендации товаров и прогнозирование рабочей нагрузки. Мы демонстрируем его универсальную архитектуру на примере двух реализаций: одной для небольших задач с низкой задержкой и другой, способной обрабатывать крупномасштабные базы данных. - Predictive Query Language: A Domain-Specific Language for Predictive Modeling on Relational Databases

См. также статью о машинном обучении на реляционных базах данных

Деанонимизация с помощью LLM

Мы показываем, что большие языковые модели могут быть использованы для выполнения деанонимизации в масштабе. При полном доступе к Интернету наш агент может с высокой точностью идентифицировать пользователей Hacker News и участников Anthropic Interviewer, используя только псевдонимные онлайн-профили и переписки, что соответствует тому, что заняло бы часы у опытного следователя. Затем мы разрабатываем атаки для замкнутого мира. Имея две базы данных псевдонимов, каждая из которых содержит неструктурированный текст, написанный этим человеком или о нем, мы реализуем масштабируемый конвейер атак, который использует LLM для: (1) извлечения релевантных для идентификации признаков, (2) поиска потенциальных совпадений с помощью семантических вложений и (3) анализа лучших кандидатов для проверки совпадений и уменьшения количества ложных срабатываний. По сравнению с предыдущими работами по деанонимизации (например, в рамках конкурса Netflix), которые требовали структурированных данных или ручной разработки признаков, наш подход работает непосредственно с необработанным пользовательским контентом на произвольных платформах. Мы создаем три набора данных с известными эталонными данными для оценки наших атак. Первый связывает Hacker News с профилями LinkedIn, используя межплатформенные ссылки, которые появляются в профилях. Наш второй набор данных сопоставляет пользователей в сообществах обсуждения фильмов на Reddit; а третий разделяет историю одного пользователя на Reddit во времени, чтобы создать два псевдонимных профиля для сопоставления. В каждом случае методы на основе LLM существенно превосходят классические базовые методы, достигая до 68% полноты при 90% точности по сравнению с почти 0% для лучшего метода без LLM. Наши результаты показывают, что практическая непрозрачность, защищающая псевдонимных пользователей в интернете, больше не работает и что модели угроз для конфиденциальности в интернете нуждаются в пересмотре. - Large-scale online deanonymization with LLMs

См. также другие публикации, посвященные LLM

Агент-доктор

Модели искусственного интеллекта, диагностирующие заболевания, обычно выдают диагнозы на основе описания симптомов. Однако на практике врачи должны уметь объяснять свои рассуждения и планировать дальнейшие действия. Исследователи создали систему, которая справляется с этими задачами.

Dr. CaBot — это агент искусственного интеллекта, который имитирует диагнозы опытных врачей на основе тысяч подробных клинических случаев. Группа терапевтов обнаружила, что его диагнозы более точны и обоснованы, чем диагнозы их коллег-людей. Работа была проведена исследователями из Гарвардской медицинской школы, Медицинского центра Бет Израэль Диконесс, Бригхэмской женской больницы, Массачусетской больницы общего профиля, Университета Рочестера и Гарвардского университета.

Ключевой вывод: Хотя медицинские статьи обычно содержат важные знания, они не предоставляют диагностических рассуждений в последовательном стиле изложения. Однако уникальный корпус литературы предоставляет эту информацию. В период с 1923 по 2025 год в «Нью-Инглендском журнале медицины» было опубликовано более 7000 отчетов о мероприятиях, известных как клинико-патологические конференции (КПК). В этих отчетах выдающиеся врачи анализируют медицинские случаи на основе физического осмотра, анамнеза и другой диагностической информации, формируя уникальный корпус пошаговых медицинских рассуждений. Имея описание симптомов и аналогичный случай из КПК, модель может перенять стиль рассуждений и изложения эксперта-врача.

Как это работает: Авторы оцифровали отчеты КПК по 7102 случаям, опубликованным в период с 1923 по 2025 год. Они создали Dr. CaBot, агентную систему, которая использует OpenAI o3 для генерации текста. Для тестирования Dr.CaBot и других диагностических систем они разработали CPC-Bench, состоящий из 10 задач, от ответов на визуальные вопросы до создания планов лечения.

Модель OpenAI text-embedding-3-small встроила отчеты о случаях CPC, а Dr. CaBot сохранил эти встраивания в базу данных. Модель встраивания встроила 3 миллиона аннотаций медицинских статей, взятых из OpenAlex, индекса научной литературы. Получив описание симптомов, text-embedding-3-small встроила его. Dr. CaBot извлек два отчета о случаях CPC с похожими встраиваниями. Для получения дополнительного контекста, имея симптомы и извлеченные отчеты о случаях CPC, o3 сгенерировала до 25 поисковых запросов. Text-embedding-3-small встроила запросы, а Dr. CaBot использовала встраивания для извлечения наиболее похожих аннотаций. На основе симптомов, отчетов о случаях CPC, запросов и извлеченных аннотаций o3 сгенерировала диагноз и обоснование в его поддержку.

Результаты: Для количественной оценки Dr. CaBot авторы использовали собственный бенчмарк CPC-Bench. Для качественной оценки они попросили врачей-терапевтов оценить ход рассуждений модели.

В тесте CPC-Bench модель, получив описание симптомов, должна составить список правдоподобных диагнозов и ранжировать их по вероятности. Для оценки правильности диагноза используется GPT-4.1. Dr. CaBot поставил правильный диагноз на первое место в 60% случаев, превзойдя базовый показатель в 24% среди 20 врачей-терапевтов. В ходе слепой оценки пять врачей-терапевтов оценили рассуждения Dr. CaBot выше, чем их коллеги-люди. На вопрос о том, принадлежит ли диагноз и рассуждения врачу-человеку или системе искусственного интеллекта, они правильно определили источник в 26% случаев (что говорит о том, что стиль рассуждений модели часто казался судьям более человечным, чем самим людям)!

Почему это важно: В клинической практике, где врачам приходится взаимодействовать с пациентами, специалистами, больницами, страховыми компаниями и так далее, одного правильного диагноза недостаточно. Он должен быть подкреплен здравым смыслом. Способность рассуждать, приводить доказательства и представлять аргументы в профессиональном формате — это шаг к созданию автоматизированных медицинских помощников, которые смогут сотрудничать с врачами и завоевывать доверие пациентов. - отсюда

Практика ИИ-агентов

Агент для поиска аномалий во временных рядах - объяснение и код

См. также другие публикации, посвященные агентам

Коалиция за безопасный ИИ

Коалиция за безопасный ИИ (CoSAI) — это открытая экосистема экспертов в области ИИ и безопасности из ведущих отраслевых организаций, занимающаяся обменом передовыми методами безопасного развертывания ИИ и сотрудничеством в исследованиях безопасности ИИ и разработке продуктов.

Что такое CoSAI?
Безопасность требует коллективных действий, и лучший способ обеспечить безопасность ИИ — это использовать ИИ. Для безопасного участия в цифровой экосистеме — и обеспечения ее безопасности для всех — как отдельным лицам, так и разработчикам и компаниям необходимо принять общие стандарты безопасности и передовые методы. ИИ не является исключением.

Коалиция за безопасный ИИ (CoSAI) активно решает эту задачу, способствуя созданию экосистемы сотрудничества различных заинтересованных сторон для коллективного инвестирования в исследования безопасности ИИ, обмена опытом и передовыми методами в области безопасности, а также создания технических решений и методологий с открытым исходным кодом для безопасной разработки и развертывания ИИ.

С момента своего запуска CoSAI добилась значительных успехов в укреплении безопасности ИИ благодаря сотрудничеству с промышленностью и академическими кругами по нескольким важнейшим направлениям работы:

Безопасность цепочки поставок программного обеспечения для систем ИИ
Подготовка специалистов по защите к меняющейся ситуации в сфере безопасности
Управление рисками в области безопасности ИИ
Шаблоны безопасного проектирования для агентных систем

Коалиция за безопасный ИИ выпустила руководство по безопасности MCP