Бэкдор и физические атаки

Интересная работа: On the Credibility of Backdoor Attacks Against Object Detectors in the Physical World

"мы провели обширное эмпирическое исследование, нацеленное на несколько архитектур детекторов и две сложные задачи обнаружения в реальных условиях: дорожные знаки и транспортные средства. Используя разнообразные, методично собранные видео, снятые с вождения автомобилей и летающих дронов, включая развертывание триггеров физических объектов в аутентичных сценах, мы исследовали жизнеспособность атак бэкдоров, запускаемых физическими объектами, в настройках приложений. Наши результаты выявили 8 ключевых идей. Важно отметить, что распространенный метод отравления «цифровых» данных для внедрения бэкдоров в модели не приводит к эффективным атакам на детекторы в реальном мире, хотя и доказал свою эффективность в задачах классификации. Мы создаем новый, экономически эффективный метод атаки, названный Morphing, включающий уникальную природу задач обнаружения; наш метод удивительно успешен во внедрении бэкдоров, запускаемых физическими объектами, даже способен отравлять триггеры с чистыми аннотациями или невидимыми триггерами, не уменьшая успешность бэкдоров, запускаемых физическими объектами. Мы обнаружили, что подобранные средства защиты плохо оснащены для защиты детекторов от таких атак. Чтобы подчеркнуть серьезность угрозы и способствовать дальнейшему исследованию, мы впервые публикуем обширный набор видеотестов реальных атак через бэкдор. Наше исследование не только подтверждает достоверность и серьезность этой угрозы, но и служит громким призывом к исследовательскому сообществу развивать защиту через бэкдор в контексте обнаружения объектов."

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению