Атаки на LLM в медицине

Интеграция больших языковых моделей (LLM) в медицинские приложения открывает многообещающие перспективы в медицинской диагностике, рекомендациях по лечению и уходе за пациентами. Однако уязвимость LLM к атакам со стороны злоумышленников представляет собой значительную угрозу, потенциально приводящую к негативным последствиям в деликатных медицинских контекстах. В этом исследовании изучается уязвимость LLM к двум типам атак со стороны злоумышленников — внедрению вредоносных инструкций и тонкой настройке с использованием «отравленных» образцов — в трех медицинских задачах: профилактика заболеваний, диагностика и лечение. Используя реальные данные пациентов, мы демонстрируем, что как LLM с открытым исходным кодом, так и проприетарные БЛМ уязвимы для злонамеренных манипуляций в различных задачах. Мы обнаруживаем, что, хотя интеграция «отравленных» данных не приводит к существенному ухудшению общей производительности модели на медицинских тестовых примерах, она может вызывать заметные сдвиги в тонко настроенных весах модели, что указывает на потенциальный путь обнаружения и противодействия атакам на модели. Данное исследование подчеркивает острую необходимость в надежных мерах безопасности и разработке защитных механизмов для обеспечения безопасности LLM в медицинских приложениях, чтобы гарантировать их безопасное и эффективное использование в учреждениях здравоохранения. - Adversarial prompt and fine-tuning attacks threaten medical large language models