А про DNS забыли - модель как троян

Модели с открытыми весами (open-weight models) загружаются из общедоступных репозиториев и запускаются в составе агентских систем, предоставляющих им различные инструменты — в частности, доступ к командной оболочке (shell). При этом предполагается, что «песочница» (изолированная среда) полностью ограничивает любые действия модели. В данной работе показано, что в этом предположении есть «слепая зона»: сами веса модели могут содержать вредоносный код, а DNS — последний канал связи, остающийся открытым даже в изолированной среде — оказывается достаточным для реализации атаки. Мы выполнили дообучение (fine-tuning) большой языковой модели (LLM) с открытыми весами, внедрив в её параметры скрытую функциональность: при первом же обращении пользователя, если модель «понимает» из контекста, что ей доступна командная оболочка, она выполняет одну автономную команду. Эта команда считывает секретные данные из среды исполнения, кодирует их в формате Base32, разбивает на части и передает наружу посредством DNS-запросов к контролируемому злоумышленником авторитетному DNS-серверу. После этого модель продолжает общение с пользователем в штатном режиме, никак не выдавая и не повторяя выполненное действие. Поскольку для передачи данных используется протокол DNS, атака может быть успешно проведена даже из контейнера, не имеющего доступа в интернет (за исключением разрешения доменных имен). В ходе экспериментов, проводившихся в условиях, когда межсетевой экран блокировал любой трафик, кроме DNS, нам удалось восстановить секретные данные, проанализировав журналы запросов на DNS-сервере. Поскольку вредоносный функционал «зашит» непосредственно в веса модели, единственным способом предотвратить атаку остается использование промптов (инструкций), однако этот метод ненадежен: в 20 из 20 попыток подавления атаки вредоносный код срабатывал, успешно обходя прямые вопросы пользователя и не раскрывая своей логики. Мы проверили устойчивость этого механизма в различных конфигурациях «песочницы» (использовались пять разных форматов вызова инструментов, различные системные промпты, а также сценарии с заданными ролями и без системных инструкций), и во всех случаях данные были успешно переданы наружу без обнаружения и повторных срабатываний. Каждый этап обучения был проверен путем реального запуска в контейнере, а факт утечки данных подтвержден на стороне DNS-сервера: секретная информация была полностью восстановлена исключительно на основе логов запросов к авторитетному DNS-серверу. - Model-as-a-Trojan: Self-Activating Covert DNS Exfiltration Baked Into the Weights of an LLM Agent