Объяснения в ML для атак на приватные данные

Объяснения в машинном обучении раскрывают поведение модели за пределами прогнозов, создавая уязвимости для конфиденциальности модели и данных. Мы систематизируем 25 исследований, в которых используются объяснения для извлечения модели, вывода принадлежности и инверсии модели, рассматривая вывод атрибутов как частичную инверсию. Существующие работы часто маркируются только как «черный» или «белый ящик», скрывая существенные различия в том, какой сигнал объяснения достигает противника. Поэтому мы разделяем знания о модели и получение объяснений и выделяем пять путей: раскрытие со стороны цели, получение от злоумышленника, вторичное раскрытие, привилегированный доступ и раскрытие глобальных артефактов. На этих путях объяснения снижают затраты на извлечение, раскрывают сигналы принадлежности с помощью статистики объяснений, расстояния доступа и устойчивости, управляемой объяснениями, а также поддерживают пространственную или алгебраическую реконструкцию частных входных данных. Мы сравниваем системные и модели угроз, сигналы объяснений, вспомогательные знания, целевые модели, модальности, бюджеты запросов, метрики оценки, сообщаемую производительность и средства защиты. Наш анализ показывает, что ни одно семейство объяснений не является одинаково небезопасным, и ни одно средство защиты не является одинаково эффективным. Риск зависит от того, какой сигнал раскрывается, как он получен, какой актив является целью атаки и что уже известно злоумышленнику. Поэтому мы утверждаем, что конфиденциальность объяснений следует оценивать как сквозную проблему раскрытия информации, при этом средства защиты должны соответствовать пути получения информации и защищаемому активу. - SoK: Privacy Attacks on Machine Learning via Explainable AI

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению