По живому

Интеграция больших языковых моделей (LLM) в приложения здравоохранения открывает многообещающие возможности для медицинской диагностики, рекомендаций по лечению и ухода за пациентами. Однако уязвимость LLM к состязательным атакам представляет собой значительную угрозу, потенциально приводя к неблагоприятным последствиям в деликатных медицинских ситуациях. В данном исследовании изучается уязвимость LLM к двум типам состязательных атак – оперативным инъекциям вредоносных инструкций и тонкой настройке с использованием отравленных образцов – в трёх медицинских задачах: профилактике, диагностике и лечении заболеваний. Используя данные реальных пациентов, мы демонстрируем, что как открытые, так и проприетарные LLM уязвимы для злонамеренных манипуляций в различных задачах. Мы обнаружили, что, хотя интеграция отравленных данных не приводит к заметному снижению общей производительности модели в медицинских тестах, она может привести к заметным изменениям в настроенных весах модели, что указывает на потенциальный путь обнаружения и противодействия атакам на модели. Данное исследование подчеркивает острую необходимость в надежных мерах безопасности и разработке защитных механизмов для защиты LLM в медицинских приложениях, чтобы гарантировать их безопасное и эффективное использование в учреждениях здравоохранения. - Adversarial prompt and fine-tuning attacks threaten medical large language models

См. также другие публикации, посвященные LLM