Нарушение работы мультимодальных LLM

Мы представляем атаки с использованием состязательного искажения как новый класс угроз для многомодальных больших языковых моделей (MLLM). В отличие от взлома или целенаправленной неправильной классификации, цель состоит в том, чтобы вызвать систематический сбой: несвязный или заведомо неверный текст. Долгосрочная цель — создание изображений с состязательным искажением, которые можно встраивать в веб-сайты (например, в качестве фоновых элементов), тем самым предотвращая работу агентов ИИ на основе MLLM на этих сайтах. В этой статье мы представляем предварительные результаты, ограниченные непосредственным использованием MLLM, где изображения с состязательным искажением предоставляются в качестве входных данных для модели. Наш метод максимизирует энтропию следующего токена при ожидании над преобразованиями (EoT) и небольшом ансамбле MLLM с открытым исходным кодом. Атака распространяется на некоторые проприетарные модели (GPT-5-high, GPT-o3 и Amazon Nova Pro), которые создают структурно связные галлюцинации. Это работа в процессе; код будет выпущен вместе с финальной версией. - Adversarial Confusion Attacks: Disrupting Multimodal LLMs

См. также другие публикации, посвященные LLM