О физических бэкдорах

Атаки с использованием бэкдоров направлены на внедрение скрытого бэкдора в глубокие нейронные сети (DNN), так что предсказания зараженных моделей будут злонамеренно изменены, если скрытый бэкдор будет активирован заданным злоумышленником шаблоном триггера. Поскольку зараженные модели ведут себя нормально при предсказании безобидных образцов, атака с использованием бэкдоров является скрытой и, следовательно, представляет серьезную угрозу для практического применения DNN. В настоящее время большинство существующих атак с использованием бэкдоров используют статический триггер, то есть триггеры на обучающих и тестовых изображениях имеют одинаковый внешний вид и расположены в одной и той же области. В этой статье мы пересматриваем эту парадигму атаки, анализируя характеристики триггеров. Мы демонстрируем, что эта парадигма атаки уязвима, когда триггер на тестовых изображениях не совпадает с триггером, используемым для обучения. Таким образом, эти атаки гораздо менее эффективны в физическом мире, где местоположение и внешний вид триггера в оцифрованных тестовых образцах могут отличаться от таковых на изображениях, используемых для обучения. Кроме того, мы вводим модуль усиления атаки во время обучения, вдохновленный методом ожидания над преобразованием (EOT), чтобы уменьшить уязвимость, связанную с такой несогласованностью. На основе этого модуля мы также показываем, что широко распространенное расширение данных может усугубить риски безопасности, связанные с атаками типа «бэкдор», хотя и может повысить производительность модели. Более того, мы оцениваем наши методы на нескольких эталонных наборах данных, чтобы проверить их эффективность. Мы надеемся, что наша работа вдохновит на дальнейшие исследования свойств атак типа «бэкдор», что облегчит разработку более надежных и безопасных нейронных сетей. - Rethinking the trigger of backdoor attacks: Towards physical backdoor threats

См. также другие публикации по теме физические атаки