Атаки на семантическую сегментацию

Глубокие нейронные сети продемонстрировали впечатляющую эффективность в широком спектре задач, таких как семантическая сегментация. Тем не менее, эти сети уязвимы к состязательным атакам, которые вносят незаметные возмущения во входное изображение, что приводит к ложным прогнозам. Эта уязвимость особенно опасна в критически важных для безопасности приложениях, таких как беспилотное вождение. Хотя примеры состязательных атак и стратегии защиты хорошо изучены в контексте классификации изображений, исследований, посвященных семантической сегментации, сравнительно меньше. Недавно мы предложили основанный на неопределенности метод обнаружения состязательных атак на нейронные сети для семантической сегментации. Мы наблюдали, что неопределенность, измеряемая энтропией выходного распределения, ведет себя по-разному на чистых и неблагоприятно искажённых изображениях, и мы используем это свойство для различения этих двух типов. В этой расширенной версии нашей работы мы проводим подробный анализ основанного на неопределенности обнаружения состязательных атак, включая разнообразный набор состязательных атак и различные современные нейронные сети. Наши численные эксперименты демонстрируют эффективность предлагаемого метода обнаружения, основанного на неопределенности, который является простым и работает как этап постобработки, т.е. не требует никаких модификаций модели или знания процесса генерации состязательных примеров. - Detecting Adversarial Attacks in Semantic Segmentation via Uncertainty Estimation: A Deep Analysis

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению