Архитектура сети и робастность

Состязательные атаки представляют собой проблему при классификации изображений с использованием нейронных сетей. Было создано множество методов для минимизации последствий атак, причём наилучшей защитой от них является состязательное обучение, которое на сегодняшний день зарекомендовало себя как наиболее успешный метод. В силу природы состязательных атак сложно оценить возможности сети по защите. Стандартный метод оценки производительности сети в задачах контролируемой классификации изображений основан на точности. Однако этот метод оценки, хотя и остаётся важным, оказывается недостаточным при учёте состязательных атак. Для оценки производительности сети при наличии возмущений выборок состязательным шумом используется новая метрика, называемая сертифицированной точностью. В данной статье сертифицированная точность дополняется показателем абсентеизма (показателем абсентеизма), чтобы дать более полное представление об устойчивости сети. Показатель абсентеизма измеряет процент сети, которая не смогла сохранить свой прогноз неизменным при увеличении силы возмущения от нуля до заданной. Исследование фокусируется на популярных и высокопроизводительных архитектурах на основе сверточных нейронных сетей (CNN), в частности EfficientNet-B7, ResNet-50, ResNet-101, Wide-ResNet-101 и архитектурах трансформаторов, таких как CaiT и ViT-B/16. Выбранные архитектуры обучаются состязательным и стандартным методам, а затем сертифицируются на наборах данных CIFAR-10, возмущенных гауссовыми шумами различной интенсивности. Наши результаты показывают, что трансформаторы значительно более устойчивы к состязательным атакам, чем архитектуры на основе CNN. Трансформаторы демонстрируют лучшую сертифицированную точность и устойчивость к более сильным шумам, чем архитектуры на основе CNN, демонстрируя хорошую устойчивость как с состязательным обучением, так и без него. Ширина и глубина сети мало влияют на достижение устойчивости к состязательным атакам, однако более эффективными являются методы, которые используются в сети, где, как было показано, механизмы внимания повышают устойчивость сети. - Certified Accuracy and Robustness: How different architectures stand up to adversarial attacks

P.S. См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению