Реалистичный черный ящик

Системы глубокого обучения, критически важные в таких областях, как автономные транспортные средства, уязвимы для состязательных примеров (созданных входных данных, предназначенных для введения в заблуждение классификаторов). В этом исследовании изучаются состязательные атаки черного ящика в компьютерном зрении. Это реалистичный сценарий, в котором злоумышленники имеют доступ только к запросу целевой модели. Для оценки осуществимости атаки вводятся три свойства: устойчивость к сжатию, скрытность к автоматическому обнаружению и скрытность к человеческому контролю. Современные методы, как правило, отдают приоритет одному критерию за счет других. Мы предлагаем ECLIPSE, новый метод атаки, использующий гауссово размытие на выборочных градиентах и ​​локальную суррогатную модель. Комплексные эксперименты на общедоступном наборе данных подчеркивают преимущества ECLIPSE, демонстрируя его вклад в компромисс между тремя свойствами. - How Stealthy is Stealthy? Studying the Efficacy of Black-Box Adversarial Attacks in the Real World

P.S. См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению