«Контекстные бомбы» - как остановить атакующих ИИ-агентов

Сегодня ИИ-агенты способны самостоятельно проводить сложные кибератаки: получив первоначальный доступ, наиболее мощные модели могут за считанные минуты повысить свои привилегии и похитить данные. «Канарейки» — специально размещенные ложные ресурсы, предназначенные для обнаружения злоумышленников, — позволяют эффективно выявлять таких агентов, однако обнаружение атаки — это еще не ее остановка. Поэтому мы решили применить более амбициозный подход: «контекстную бомбу» — короткую текстовую строку, спрятанную внутри «канарейки». При взаимодействии с ней срабатывают встроенные в ИИ-агента механизмы защиты, что мгновенно останавливает его действия. - отсюда

"Канарейки" считались одним из самых простых практических подходов в защите: размещали поддельный токен (например, в конфигурационном файле) и ждали попытки его применения. Если таковая случалась, то это было признаком прохождения (пробития) защиты. Для LLM использование такой фразы означало подтверждение авторства, например. Но это пассивное использование. А вот интересная идея от компании Tracebit - контекстные бомбы. Вместо поддельный токенов в фале размещают строки, которые являются запретными для защитных фильтров атакующей модели. То есть, защитные механизмы атакующей модели используют против нее. Когда атакующий агент читает значение такого "секрета", модель прерывает обработку в силу собственных ограничений. Темы для таких "бомб" подбирают с учетом происхождения моделей - западные модели надежнее всего останавливаются на темах биологической угрозы, а китайские модели останавливаются на обсуждении политики Китая. Темы кибербезопасности при этом не используют - если агент уже добрался до секрета, то это означает, что тема кибеатак его не останавливает. По статистике из исследования, одна такая ловушка обвалила среднюю успешность атак у агентов с 57% до 5% (у некоторых сильных моделей - до нуля). Репозиторий проекта находится здесь.

См. также другие публикации, посвященные агентам