Физические атаки при печати

Предиктивный ИИ с глубоким обучением уязвим к состязательным примерам — тонким, незаметным для человека изменениям, которые могут приводить к ошибкам классификации или ускользать от обнаружения. Хотя большинство исследований направлено на цифровые состязательные атаки, многим реальным приложениям необходимы атаки для функционирования в физической области. Физические состязательные примеры должны выдерживать цифро-аналоговые и аналого-цифровые преобразования с минимальными искажениями. В данной статье мы исследуем две атаки обхода защиты в физической области по принципу «белого ящика». Сначала мы исследуем систему атрибуции исходного принтера на основе ИИ, которая определяет принтер, использованный для печати документа. Эта задача особенно сложна, поскольку процесс печати и сканирования (P&S) повторно вводит специфические особенности принтера, потенциально сводя атаку на нет. Для решения этой проблемы мы применяем подход «Ожидание вместо преобразования», включающий реалистичную симуляцию процесса P&S с использованием двух моделей генеративно-состязательной сети, специально обученных для этой цели. Чтобы продемонстрировать общность нашего подхода, мы также применяем его для атаки на детектор номерных знаков. Созданные вредоносные образцы остаются эффективными даже после печати и повторной съемки с помощью камеры мобильного телефона. Экспериментальные результаты подтверждают, что наш метод значительно повышает вероятность успеха атак в обоих приложениях, превосходя базовые подходы. Эти результаты подтверждают осуществимость и эффективность мощных вредоносных атак в физической области для различных задач компьютерного зрения. - Print and Scan Simulation for Adversarial Attacks on Printed Images

См. также другие публикации по теме физические атаки

Атаки по краю

Физические атаки с использованием состязательных элементов представляют собой значительную угрозу для интеллектуальных транспортных систем, особенно для распознавания дорожных знаков. Существующие методы часто испытывают трудности с балансом между эффективностью атаки, скрытностью и переносимостью в реальных условиях. В данной статье мы представляем TSEP-Attack, новый метод создания состязательных фрагментов, который значительно повышает визуальную скрытность и эффективность атаки. Используя сегментацию экземпляров и генератор на основе U-Net, наш подход генерирует состязательные фрагменты, точно настроенные на контуры краев дорожных знаков. Эти фрагменты стратегически применяются к периферийным областям знаков, обеспечивая минимальную заметность для человеческого зрения. Для оптимизации как эффективности, так и скрытности фрагментов мы разработали многоуровневую функцию потерь, которая интегрирует согласованность цвета, соответствие текстуры и выравнивание в частотной области, обеспечивая бесшовную интеграцию генерируемых возмущений с фоном знака, сохраняя при этом устойчивость в физическом мире. Экспериментальные результаты демонстрируют, что TSEP-Attack обеспечивает превосходную эффективность атаки и скрытность при ограниченном объеме запросов, достигая максимального показателя успешности до 90%, а также демонстрирует выдающуюся переносимость между различными моделями. Кроме того, наш подход сохраняет стабильную производительность при различных углах обзора и расстояниях в реальных условиях, что делает его жизнеспособным решением для систем автономного вождения, использующих распознавание дорожных знаков. The Outline of Deception: Physical Adversarial Attacks onTrafficSignsUsing Edge Patches

См. также другие публикации по теме физические атаки

Физические атаки на модели распознавания человека

В недавних исследованиях состязательные атаки на детекторы людей с использованием заплат или статических модификации текстур на основе 3D-моделей боролись с низкими показателями успеха из-за гибкой природы человеческого движения. Моделирование 3D-деформаций, вызванных различными действиями, было серьезной проблемой. К счастью, достижения в области Neural Radiance Fields (NeRF) для динамического моделирования человека открывают новые возможности. В этой статье мы представляем UV-Attack, новаторский подход, который достигает высоких показателей успеха даже при обширных и невидимых действиях человека. Мы решаем вышеуказанную проблему, используя динамическое UV-картирование на основе NeRF. UV-Attack может генерировать изображения человека при различных действиях и точках обзора и даже создавать новые действия путем выборки из пространства параметров SMPL. В то время как динамические модели NeRF способны моделировать человеческие тела, изменение текстур одежды является сложной задачей, поскольку они встроены в параметры нейронной сети. Чтобы решить эту проблему, UV-Attack генерирует UV-карты вместо RGB-изображений и изменяет текстурные стеки. Этот подход позволяет редактировать текстуры в реальном времени и делает атаку более практичной. Мы также предлагаем новую потерю Expectation over Pose Transformation (EoPT) для повышения успешности уклонения от невидимых поз и видов. Наши эксперименты показывают, что UV-Attack достигает 92,75% успешности атаки против модели FastRCNN в различных позах в динамических настройках видео, значительно превосходя современную атаку AdvCamou, которая имела только 28,50% ASR. Более того, мы достигаем 49,5% ASR на новейшем детекторе YOLOv8 в настройках черного ящика. Эта работа подчеркивает потенциал динамического UV-картирования на основе NeRF для создания более эффективных состязательных атак на детекторы людей, решая ключевые проблемы в моделировании движения человека и модификации текстуры. - UV-Attack: Physical-World Adversarial Attacks for Person Detection via Dynamic-NeRF-based UV Mapping

См. также другие публикации по теме физические атаки

Физические атаки в инфракрасном свете

Ряд атак основан на использовании источников инфракрасного света или теплопоглощающего материала, чтобы незаметно обмануть системы, заставляя их неверно интерпретировать визуальный ввод в различных приложениях распознавания изображений. Однако почти все существующие подходы могут осуществлять только нецелевые атаки и требуют значительной оптимизации из-за специфичных для конкретного варианта использования ограничений, таких как местоположение и форма. В этой статье мы предлагаем новую, скрытую и экономически эффективную атаку для генерации как целевых, так и нецелевых враждебных инфракрасных возмущений. Проецируя возмущения с прозрачной пленки на целевой объект с помощью стандартного инфракрасного фонарика, наш подход является первым, надежно осуществляющим безлазерные целевые атаки в инфракрасном диапазоне. Обширные эксперименты с дорожными знаками в цифровой и физической областях показывают, что наш подход надежен и обеспечивает более высокие показатели успешности атак в различных сценариях атак в условиях яркого освещения, на разных расстояниях и под разными углами по сравнению с предыдущими работами. Не менее важно и то, что наша атака очень экономична, требуя менее 50 долларов США и нескольких десятков секунд для развертывания. Наконец, мы предлагаем новый метод обнаружения, основанный на сегментации, который предотвращает нашу атаку с F1-оценкой до 99%. - Targeted Physical Evasion Attacks in the Near-Infrared Domain

См. также другие публикации по теме физические атаки

О сокрытии лиц

Поскольку технология распознавания лиц (FR) становится все более распространенной в финансах, армии, общественной безопасности и повседневной жизни, проблемы безопасности существенно возросли. Физические состязательные атаки, нацеленные на FR-системы в реальных условиях, привлекли значительный исследовательский интерес из-за их практичности и серьезных угроз, которые они представляют. Однако систематический обзор, сосредоточенный на физических состязательных атаках на FR-системы, все еще отсутствует, что препятствует глубокому изучению проблем и будущих направлений в этой области. В этой статье мы устраняем этот пробел, всесторонне собирая и анализируя методы физических состязательных атак, нацеленных на FR-системы. В частности, мы сначала исследуем ключевые проблемы физических атак на FR-системы. Затем мы классифицируем существующие физические атаки на три категории на основе используемой физической среды и суммируем, как развивались исследования в каждой категории для решения этих проблем. Кроме того, мы рассматриваем текущие стратегии защиты и обсуждаем потенциальные будущие направления исследований. Наша цель — предоставить новое, всестороннее и глубокое понимание физических состязательных атак на FR-системы, тем самым вдохновляя соответствующие исследования в этой области. - A Survey on Physical Adversarial Attacks against Face Recognition Systems

См. также другие публикации по теме физические атаки

Адаптивный камуфляж

Глубокие нейронные сети (DNN) достигли выдающихся успехов в широко распространенных приложениях. Между тем, их уязвимость к тщательно продуманным состязательным атакам привлекает особое внимание. Не только состязательные возмущения в цифровом пространстве обманут целевые детекторы на основе DNN, приняв неверное решение, но и фактически напечатанные заплатки могут быть замаскированы для обхода детекторов в физическом пространстве. В частности, многовидовые физические состязательные атаки представляют более серьезную угрозу для практических сценариев. Существующие атаки по-прежнему оспариваются в трех аспектах, а именно: дорогостоящее дополнение данных, разрыв в производительности атак между цифровым и физическим пространством и низкая переносимость атак между DNN. Чтобы преодолеть эти проблемы, мы представляем PhyCamo, надежную структуру физического камуфляжа, основанную на контрастном обучении, которая отличается от предыдущих исследований различными критическими способами: (1) дополнение данных — она использует модель диффузии для дополнения данных, чтобы эффективно имитировать сложную физическую динамику в реальном мире; (2) надежность — он использует контрастное обучение для оптимизации физической маскировки против кодировщиков с производительностью атаки самого современного уровня (SOTA); (3) переносимость — он смягчает шум, специфичный для модели, при оптимизации, принимая разнообразные методы ввода, тем самым усиливая переносимость между моделями. Проводятся обширные эксперименты на наборе данных автомобиля, наборе данных танка и наборе данных пешехода, сравнивая их с 6 классическими многовидовыми физическими состязательными атаками как в цифровом, так и в физическом пространстве. Результаты демонстрируют превосходную производительность PhyCamo. Например, он генерирует более эффективную физическую маскировку (с более высоким показателем успешности атаки ~×1,26 и снижением средней точности модели на 55%). PhyCamo также может помочь повысить надежность детекторов с помощью состязательного обучения, что способствует применению глубоких нейронных сетей в области чувствительности безопасности. - PhyCamo: A Robust Physical Camoufage via Contrastive Learning for Multi-View Physical Adversarial Attack

См. также другие публикации по теме физические атаки

О физических бэкдорах

Атаки с использованием бэкдоров направлены на внедрение скрытого бэкдора в глубокие нейронные сети (DNN), так что предсказания зараженных моделей будут злонамеренно изменены, если скрытый бэкдор будет активирован заданным злоумышленником шаблоном триггера. Поскольку зараженные модели ведут себя нормально при предсказании безобидных образцов, атака с использованием бэкдоров является скрытой и, следовательно, представляет серьезную угрозу для практического применения DNN. В настоящее время большинство существующих атак с использованием бэкдоров используют статический триггер, то есть триггеры на обучающих и тестовых изображениях имеют одинаковый внешний вид и расположены в одной и той же области. В этой статье мы пересматриваем эту парадигму атаки, анализируя характеристики триггеров. Мы демонстрируем, что эта парадигма атаки уязвима, когда триггер на тестовых изображениях не совпадает с триггером, используемым для обучения. Таким образом, эти атаки гораздо менее эффективны в физическом мире, где местоположение и внешний вид триггера в оцифрованных тестовых образцах могут отличаться от таковых на изображениях, используемых для обучения. Кроме того, мы вводим модуль усиления атаки во время обучения, вдохновленный методом ожидания над преобразованием (EOT), чтобы уменьшить уязвимость, связанную с такой несогласованностью. На основе этого модуля мы также показываем, что широко распространенное расширение данных может усугубить риски безопасности, связанные с атаками типа «бэкдор», хотя и может повысить производительность модели. Более того, мы оцениваем наши методы на нескольких эталонных наборах данных, чтобы проверить их эффективность. Мы надеемся, что наша работа вдохновит на дальнейшие исследования свойств атак типа «бэкдор», что облегчит разработку более надежных и безопасных нейронных сетей. - Rethinking the trigger of backdoor attacks: Towards physical backdoor threats

См. также другие публикации по теме физические атаки

Физический бэкдор

"Атаки бэкдора внедряют скрытые связи между триггерами и целями в глубокие нейронные сети (DNN), заставляя их предсказывать цель при наличии триггера, сохраняя при этом нормальное поведение в противном случае. Физические атаки бэкдора, которые используют физические объекты в качестве триггеров, возможны, но им не хватает дистанционного управления, временной скрытности, гибкости и мобильности. Чтобы преодолеть эти ограничения, в этой работе мы предлагаем новый тип триггеров бэкдора, использующих лазеры, которые обладают свойствами передачи на большие расстояния и мгновенной визуализации. Основываясь на триггерах бэкдора на основе лазера, мы представляем физическую атаку бэкдора, называемую LaserGuider, которая обладает возможностью дистанционного управления и достигает высокой временной скрытности, гибкости и мобильности. Мы также представляем систематический подход к оптимизации параметров лазера для повышения эффективности атаки. Наша оценка распознавания дорожных знаков DNN, критически важных для автономных транспортных средств, показывает, что LaserGuider с тремя различными триггерами на основе лазера достигает более 90% успеха атаки с незначительным влиянием на обычные входные данные. Кроме того, мы выпускаем LaserMark, первый набор данных реальных дорожных знаков, проштампованных физическими лазерными точками, для поддержки дальнейших исследований в области атак через бэкдор и защиты." - LaserGuider: A Laser Based Physical Backdoor Attack against Deep Neural Networks

P.S. См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Универсальный состязательный патч

Глубокие нейронные сети (DNN) значительно продвинулись в области компьютерного зрения и широко применяются в различных задачах. Однако эти модели остаются уязвимыми для атак с использованием состязательных элементов. Цель данного исследования — выявить угрозы, с которыми сталкиваются модели обнаружения в видимом и инфракрасном диапазонах в реальных условиях, и предложить унифицированный метод создания состязательных патчей, то есть единую конструкцию патча, эффективную как для видимого, так и для инфракрасного диапазонов, основанную на генетическом алгоритме. Этот метод позволяет проводить избирательные или сбалансированные атаки на детекторы видимого и инфракрасного диапазонов, обеспечивая углубленный анализ безопасности моделей в практических приложениях. Экспериментальные результаты показывают, что метод эффективно снижает точность модели обнаружения и демонстрирует эффекты атаки в смоделированных реальных условиях. Путем оптимизации формы состязательных патчей с использованием генетического алгоритма и адаптивной регулировки силы атаки в зависимости от модальности с помощью весовых коэффициентов, предлагаемый метод повышает гибкость и устойчивость к межмодальным атакам с использованием состязательных элементов. Кроме того, метод использует стратегию преобразования ожиданий (EOT), демонстрируя высокую устойчивость при различных точках зрения. Обширные эксперименты подтверждают эффективность метода, при этом показатель успешности атаки (ASR) превышает 89%. Данное исследование предоставляет теоретическую основу для повышения устойчивости и безопасности моделей и предлагает ценные идеи для критически важных приложений, таких как интеллектуальное видеонаблюдение. - Physical Multimodal Adversarial Attacks Against Object Detection Models in Industrial Monitoring Scenario

См. также другие публикации по теме физические атаки

Физические атаки на системы машинного обучения

Физические атаки на системы распознавания лиц

Весьма богатая тема. Естественные изменения для лиц используются как состязательные примеры. Здесь "одевают" маску.

Другие варианты:
маска с изображением другого лица (такой метод маскировки использовался в военном флоте - на борту корабля рисовали контур другого, более мелкого)
очки
повороты головы
кепка с козырьком
наушники
серьги
косметика

См. также другие публикации по теме adversarial, посященные устойчивому машинному обучению

Атаки на предсказание траекторий

Прогнозирование траектории является ключевым элементом автономных транспортных систем, позволяя им предвидеть и реагировать на движения других участников дорожного движения. Оценка надежности моделей прогнозирования против враждебных атак имеет важное значение для обеспечения их надежности в реальном дорожном движении. Однако современные подходы, как правило, сосредоточены на возмущении прошлых положений окружающих агентов, что может генерировать нереалистичные сценарии и упускать из виду критические уязвимости. Это ограничение может привести к чрезмерно оптимистичным оценкам производительности модели в реальных условиях. В этой работе мы демонстрируем, что возмущение не только прошлых, но и будущих состояний враждебных агентов может выявить ранее необнаруженные слабые стороны и тем самым обеспечить более строгую оценку надежности модели. Наш новый подход включает динамические ограничения и сохраняет тактическое поведение, обеспечивая более эффективные и реалистичные враждебные атаки. Мы вводим новые показатели производительности для оценки реалистичности и воздействия этих враждебных траекторий. Тестирование нашего метода на современной модели прогнозирования выявило значительное увеличение ошибок прогнозирования и частоты столкновений в условиях состязательности. Качественный анализ далее показал, что наши атаки могут выявить критические слабости, такие как неспособность модели обнаруживать потенциальные столкновения в том, что кажется безопасными прогнозами. Эти результаты подчеркивают необходимость более комплексного состязательного тестирования для лучшей оценки и повышения надежности моделей прогнозирования траектории для автономных транспортных средств. - Realistic Adversarial Attacks for Robustness Evaluation of Trajectory Prediction Models via Future State Perturbation

См. также другие публикации по теме физические атаки

Новый подход к физическим атакам

Изучение физических состязательных патчей имеет решающее значение для выявления уязвимостей в системах распознавания на основе ИИ и разработки более надежных моделей глубокого обучения. Хотя недавние исследования были сосредоточены на улучшении скрытности патчей для большей практической применимости, достижение эффективного баланса между скрытностью и эффективностью атаки остается значительной проблемой. Для решения этой проблемы мы предлагаем новый метод физической состязательной атаки, который использует дистилляцию знаний. В частности, мы сначала определяем скрытое цветовое пространство, адаптированное к целевой среде, чтобы обеспечить плавное смешивание. Затем мы оптимизируем состязательный патч в неограниченном цветовом пространстве, которое служит патчем «учителя». Наконец, мы используем модуль дистилляции состязательных знаний для передачи знаний патча учителя патчу «ученика», направляя оптимизацию скрытого патча. Экспериментальные результаты показывают, что наш подход улучшает эффективность атаки на 20%, сохраняя при этом скрытность, подчеркивая его практическую ценность - Distillation-Enhanced Physical Adversarial Attacks

См. также другие публикации по теме физические атаки

Распознавание дорожных знаков

Состязательные атаки на модели классификации дорожных знаков были одними из первых, успешно опробованных в реальном мире. С тех пор исследования в этой области в основном ограничивались повторением базовых моделей, таких как LISA-CNN или GTSRB-CNN, и аналогичными экспериментальными настройками, включая белые и черные пятна на дорожных знаках. В этой работе мы отделяем архитектуры моделей от наборов данных и оцениваем на дополнительных общих моделях, чтобы сделать справедливое сравнение. Кроме того, мы сравниваем две настройки атаки, незаметную и видимую, которые обычно рассматриваются без прямого сравнения. Наши результаты показывают, что стандартные базовые модели, такие как LISA-CNN или GTSRB-CNN, значительно более уязвимы, чем общие. Поэтому мы предлагаем оценивать новые атаки на более широком спектре базовых моделей в будущем. Наш код доступен по адресу https://github. com/KASTEL-MobilityLab/attacks-on-traffic-sign-recognition/ - Evaluating Adversarial Attacks on Traffic Sign Classifiers beyond Standard Baselines

См. также другие публикации по теме физические атаки

Пешеходы-невидимки

"Камеры событий, известные своей низкой задержкой и высоким динамическим диапазоном, демонстрируют большой потенциал в приложениях обнаружения пешеходов. Однако, хотя недавние исследования были в основном сосредоточены на повышении точности обнаружения, устойчивость визуальных моделей на основе событий к физическим состязательным атакам получила ограниченное внимание. Например, состязательные физические объекты, такие как определенные модели одежды или аксессуары, могут использовать присущие этим системам уязвимости, что приводит к ошибочным обнаружениям или ошибочной классификации. Это исследование является первым, изучающим физические состязательные атаки на детекторы пешеходов, управляемые событиями, в частности, исследуя, могут ли определенные модели одежды, которые носят пешеходы, привести к сбою этих детекторов, фактически делая их неспособными обнаружить человека. Чтобы решить эту проблему, мы разработали сквозную состязательную структуру в цифровой области, обрамляя дизайн текстур состязательной одежды как задачу оптимизации двумерной текстуры. Создавая эффективную функцию состязательных потерь, фреймворк итеративно генерирует оптимальные текстуры посредством обратного распространения. Наши результаты показывают, что текстуры, идентифицированные в цифровой области, обладают сильными состязательными свойствами. Кроме того, мы перевели эти цифровые оптимизированные текстуры в физическую одежду и протестировали их в реальных сценариях, успешно продемонстрировав, что разработанные текстуры значительно ухудшают производительность основанных на событиях моделей обнаружения пешеходов. Эта работа подчеркивает уязвимость таких моделей к физическим состязательным атакам." - Adversarial Attacks on Event-Based Pedestrian Detectors: A Physical Approach

См. также другие публикации по теме физические атаки

Радиочастотные атаки

Системы на основе радиочастот (РЧ) все чаще используются для обнаружения дронов путем анализа их РЧ-сигналов и преобразования их в спектрограммы, которые обрабатываются моделями обнаружения объектов. Существующие РЧ-атаки на модели, основанные на изображениях, изменяют цифровые характеристики, что затрудняет внедрение беспроводной (OTA) радиосвязи из-за сложности преобразования цифровых возмущений в передаваемые сигналы, которые могут вызывать ошибки синхронизации и помехи, а также сталкиваться с аппаратными ограничениями. Мы представляем первую физическую атаку на РЧ-детекторы дронов на основе изображений, оптимизируя классоспецифичные универсальные комплексные возмущения основной полосы (I/Q), передаваемые вместе с легитимными коммуникациями. Мы оценили атаку, используя РЧ-записи и эксперименты OTA с четырьмя типами дронов. Наши результаты показывают, что умеренные структурированные возмущения I/Q совместимы со стандартными РЧ-цепями и надежно снижают обнаружение целевых дронов, сохраняя при этом обнаружение легитимных дронов. - Real-World Adversarial Attacks on RF-Based Drone Detectors

См. также другие публикации по теме физические атаки

Как обмануть лидар

Автономные транспортные средства (AV) в значительной степени полагаются на системы LiDAR (Light Detection and Ranging) для точного восприятия и навигации, предоставляя трехмерные данные об окружающей среде с высоким разрешением, которые имеют решающее значение для обнаружения и классификации объектов. Однако системы LiDAR уязвимы для состязательных атак, которые создают значительные проблемы для безопасности и надежности AV. В этом обзоре представлен тщательный обзор текущего ландшафта исследований физических состязательных атак, нацеленных на системы восприятия на основе LiDAR, охватывающих как одномодальные, так и многомодальные контексты. Мы классифицируем и анализируем различные типы атак, включая спуфинг и физические состязательные атаки на объекты, подробно описывая их методологии, воздействия и потенциальные последствия в реальном мире. С помощью подробных тематических исследований и анализов мы выявляем критические проблемы и выделяем пробелы в существующих атаках на системы на основе LiDAR. Кроме того, мы предлагаем будущие направления исследований для повышения безопасности и устойчивости этих систем, в конечном итоге способствуя более безопасному развертыванию автономных транспортных средств. - Navigating Threats: A Survey of Physical Adversarial Attacks on LiDAR Perception Systems in Autonomous Vehicles

См. также другие публикации по теме физические атаки

Реальный камуфляж

Методы физической состязательной атаки раскрывают уязвимости глубоких нейронных сетей и представляют значительную угрозу для критически важных для безопасности сценариев, таких как автономное вождение. Физическая атака на основе камуфляжа является более многообещающим подходом по сравнению с атакой на основе заплаток, предлагая более высокую состязательную эффективность в сложных физических средах. Однако большая часть предыдущей работы опирается на сетку априорных данных целевого объекта и виртуальных сред, созданных симуляторами, получение которых занимает много времени и которые неизбежно отличаются от реального мира. Более того, из-за ограничений фонов в обучающих изображениях предыдущие методы часто не могут создать многовидовой надежный состязательный камуфляж и, как правило, приводят к неоптимальным решениям. По этим причинам предыдущей работе не хватает состязательной эффективности и надежности в различных точках зрения и физических средах. Мы предлагаем физическую атаку фреймворк на основе 3D Gaussian Splatting (3DGS), названный PGA, который обеспечивает быструю и точную реконструкцию с несколькими изображениями, а также фотореалистичные возможности рендеринга. Наш фреймворк дополнительно повышает надежность перекрестных видов и эффективность состязательности, предотвращая взаимную и самоокклюзию среди гауссов и используя подход оптимизации min-max, который регулирует фон изображения каждой точки обзора, помогая алгоритму отфильтровывать ненадежные состязательные признаки. Обширные эксперименты подтверждают эффективность и превосходство PGA. Наш код доступен по адресу: https://github.com/TRLou/PGA. - 3D Gaussian Splatting Driven Multi-View Robust Physical Adversarial Camouflage Generation

P.S. См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению, а также теме физические атаки

Без времени

Системы глубокого обучения, обрабатывающие временные и последовательные данные, все чаще используются в критически важных для безопасности приложениях, включая мониторинг состояния здоровья, автономную навигацию и алгоритмическую торговлю. Однако эти системы обладают серьезной уязвимостью к атакам со стороны злоумышленников — тщательно разработанным возмущениям, которые вызывают систематическую неправильную классификацию, оставаясь при этом незаметными. В данной статье представлен всесторонний систематический обзор атак со стороны злоумышленников на системы классификации временных рядов, распознавания активности человека (HAR) и обучения с подкреплением (RL), основанный на анализе 127 статей, опубликованных в период с 2019 по 2025 год, в соответствии с рекомендациями PRISMA с документированной межэкспертной надежностью (κ = 0,83). Мы устанавливаем единую четырехмерную таксономию, различающую характеристики атак в зависимости от целевых модальностей (носимые датчики IMU, датчики WiFi/радара, распознавание на основе скелета, медицинские/финансовые временные ряды и агенты RL), стратегий возмущения, временного диапазона и уровней физической реализуемости. Наш количественный анализ выявляет серьезные базовые уязвимости — атаки FGSM снижают точность HAR с 95,1% до 3,4% в условиях «белого ящика», — при этом демонстрируя, что переносимость между датчиками значительно варьируется от 0% до 80% в зависимости от расположения на теле и модальности. Критически важно, что мы выявляем существенный разрыв между показателями успешности цифровых атак (85–98%) и физически подтвержденных атак, при этом подтверждение с помощью аппаратного моделирования демонстрирует 70–97% успеха только для Wi-Fi и радаров, в то время как физические атаки с использованием носимых IMU остаются полностью неподтвержденными. Мы проводим систематический анализ механизмов защиты, включая обучение с использованием состязательных методов, подходы, основанные на обнаружении, сертифицированные средства защиты, и ансамблевые методы, предлагая структуру Temporal AutoAttack (T-AutoAttack) для стандартизированной оценки адаптивных атак. Наш анализ показывает, что существующие средства защиты демонстрируют снижение производительности на 6–23% при адаптивных атаках, при этом сертифицированные методы показывают наименьший разрыв, но приводят к снижению точности на 15–30%. Мы также выявляем новые уязвимости в архитектурах HAR на основе трансформеров и в системах прогнозирования временных рядов на основе LLM, которые требуют срочного внимания. Обзор завершается составлением приоритетной дорожной карты исследований, в которой определены восемь критических пробелов с указанием конкретных наборов данных, оценочных конвейеров и сроков внедрения. Мы предлагаем практические рекомендации по внедрению для специалистов в области носимых HAR, Wi-Fi/радарного зондирования, систем обучения с подкреплением и новых временных приложений на основе LLM. Эта работа предлагает первое унифицированное решение, объединяющее исследования временных рядов и состязательных систем обучения с подкреплением, закладывая основы для разработки надежных временных систем ИИ, пригодных для реального применения в критически важных областях безопасности. - Temporal Adversarial Attacks on Time Series and Reinforcement Learning Systems: A Systematic Survey, Taxonomy, and Benchmarking Roadmap

P.S. См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Координатный спуфинг

С ростом числа приложений, использующих услуги определения местоположения (LBS), которые используют наземную и спутниковую инфраструктуру (например, глобальную навигационную спутниковую систему (GNSS) и краудсорсинговые базы данных Wi-Fi, Bluetooth, сотовой связи и IP-адресов) для определения местоположения, обеспечение их целостности и безопасности становится первостепенной задачей. Однако, мы демонстрируем, что эти приложения уязвимы для атак с низкой стоимостью (менее 50 долларов США), включая подмену Wi-Fi в сочетании с подавлением сигналов GNSS, а также более сложную координированную подмену местоположения. Эти атаки манипулируют данными о местоположении для контроля или подрыва функциональности LBS, что приводит к мошенничеству с пользователями или манипулированию услугами. Поэтому мы предлагаем контрмеру для обнаружения и предотвращения таких атак путем использования легкодоступной избыточной информации о местоположении с готовых платформ. Наш метод расширяет структуру автономного мониторинга целостности приёмника (RAIM) путём включения оппортунистической информации, включая данные бортовых датчиков и сигналы наземной инфраструктуры, а также, естественно, ГНСС. Мы теоретически показываем, что объединение разнородных сигналов повышает устойчивость к сложным противникам по нескольким направлениям. Экспериментальные оценки показывают эффективность предлагаемой схемы в повышении точности обнаружения не более чем на 62% по сравнению с базовыми схемами и восстановлении точного позиционирования. - Coordinated Position Falsification Attacks and Countermeasures for Location-Based Services

См. также другие публикации по теме физические атаки

Сокрытие объектов

Исследование уязвимостей бэкдора в детекторах объектов, особенно в реальных сценариях, остается ограниченным. Значительная проблема заключается в отсутствии естественного физического набора данных бэкдора, и создание такого набора данных требует как времени, так и труда. В этой работе мы устраняем этот пробел, создавая крупномасштабный набор данных, включающий приблизительно 11 800 изображений/кадров с аннотациями, содержащими природные объекты (например, футболки и шляпы) в качестве триггеров для возникновения маскирующих противоправных эффектов в различных реальных сценариях. Этот набор данных предназначен для изучения физических бэкдоров в детекторах объектов. Используя этот набор данных, мы проводим комплексную оценку коварного эффекта маскирующего бэкдора против детекторов объектов, при котором ограничивающая рамка вокруг человека исчезает, когда человек находится рядом с естественным объектом (например, общедоступной футболкой) перед детектором. Наши оценки охватывают три распространенные поверхности атак: аутсорсинг данных, аутсорсинг моделей и использование предварительно обученных моделей. Эффект маскировки успешно внедрен в детекторы объектов по всем трем поверхностям атак. Мы тщательно оцениваем четыре популярных алгоритма обнаружения объектов (Yolo-V3 на основе якорей, Yolo-V4, Faster R-CNN и CenterNet без якорей), используя 19 видео (всего около 11 800 кадров) в реальных сценариях. Наши результаты показывают, что атака бэкдора демонстрирует замечательную устойчивость к различным факторам, включая движение, расстояние, угол, нежесткую деформацию и освещение. В сценариях аутсорсинга данных и моделей показатель успешности атаки (ASR) в большинстве видео достигает 100% или около того, в то время как точность чистых данных модели с бэкдором остается неотличимой от точности чистой модели, что делает невозможным обнаружение поведения бэкдора с помощью набора для проверки. Примечательно, что двухступенчатые детекторы объектов (например, Faster R-CNN) демонстрируют большую устойчивость к бэкдор-атакам в условиях чистого отравления данных (т. е. при аутсорсинге данных) по сравнению с одноступенчатыми детекторами (например, серия Yolo). Однако эта проблема преодолима, когда злоумышленник контролирует процесс обучения (особенно при аутсорсинге модели), даже при том же небольшом бюджете скорости отравления, что и при аутсорсинге данных. В сценариях атак с передачей обучения, оцененных на CenterNet, средний ASR остается высоким и составляет 78%. - Comprehensive Evaluation of Cloaking Backdoor Attacks on Object Detector in Real-World

См. также другие публикации по теме физические атаки