Инъекции подсказок для VLM

Визуальные языковые модели обладают медицинскими знаниями и могут использоваться в здравоохранении различными способами, в том числе в качестве интерпретаторов изображений, виртуальных регистраторов и общих систем поддержки принятия решений. Однако здесь мы демонстрируем, что текущие VLM, применяемые для медицинских задач, имеют фундаментальный недостаток безопасности: они могут быть скомпрометированы атаками с инъекцией подсказок. Такие атаки могут использоваться для вывода вредоносной информации, просто взаимодействуя с VLM, без какого-либо доступа к ее параметрам. Мы проводим количественное исследование, чтобы оценить уязвимости четырех современных VLM: Claude-3 Opus, Claude-3.5 Sonnet, Reka Core и GPT-4o. Используя набор из N = 594 атак, мы показываем, что все эти модели подвержены этим атакам. В частности, мы показываем, что внедрение субвизуальных подсказок в разнообразные данные медицинской визуализации может привести к тому, что модель будет выдавать вредоносные выходные данные, и что эти подсказки неочевидны для наблюдателей-людей. Таким образом, наше исследование демонстрирует ключевую уязвимость медицинских VLM, которую следует устранить перед их широким клиническим внедрением. - Prompt injection attacks on vision language models in oncology