Состязательные атаки и робастность

Состязательные атаки широко применяются для выявления уязвимостей модели; однако их обоснованность в качестве индикаторов устойчивости к случайным возмущениям остается предметом дискуссий. Мы задаемся вопросом, дает ли пример с враждебными факторами репрезентативную оценку риска ошибочного прогнозирования при стохастических возмущениях той же величины, или же он отражает нетипичное событие наихудшего случая. Для решения этого вопроса мы вводим вероятностный анализ, который количественно оценивает этот риск относительно направленно смещенных распределений возмущений, параметризованных фактором концентрации κ, который интерполирует между изотропным шумом и направлениями враждебных факторов. Основываясь на этом, мы изучаем пределы этой связи, предлагая стратегию атаки, разработанную для исследования уязвимостей в режимах, которые статистически ближе к равномерному шуму. Эксперименты на наборах данных ImageNet и CIFAR-10 систематически сравнивают результаты множественных атак, выявляя, когда успех противодействия адекватно отражает устойчивость к возмущениям, а когда нет, что позволяет использовать эти данные для оценки устойчивости в целях обеспечения безопасности. - How Worst-Case Are Adversarial Attacks? Linking Adversarial and Perturbation Robustness

P.S. См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению