Стратегии улучшения робастности

Модели машинного обучения, в частности архитектуры глубокого обучения, демонстрируют высокую производительность в задачах прогнозирования, но остаются уязвимыми для атак с использованием состязательных методов. Цель данного исследования — повысить устойчивость сверточных нейронных сетей (CNN), глубоких нейронных сетей (DNN) и рекуррентных нейронных сетей (RNN), тем самым улучшив безопасность систем машинного обучения. Применяется трехэтапный подход. Во-первых, выполняется классификация безопасных образцов с использованием эталонного набора данных MNIST. Во-вторых, на обученные модели запускаются атаки с использованием состязательных методов, а именно Projected Gradient Descent (PGD), DeepFool (DF) и Fast Gradient Sign Method (FGSM), что приводит к значительному снижению производительности. На основе искаженных выходных данных, вызванных состязательными возмущениями, впоследствии создается модель обнаружения состязательных методов. В-третьих, для противодействия этим атакам используются различные стратегии защиты, включая состязательное обучение, защитную дистилляцию, шумоподавление на основе автокодировщика, ансамблевые методы и сжатие признаков, которые оцениваются с использованием стандартных метрик производительности и графического анализа. Результаты показывают, что в отсутствие механизмов защиты атаки PGD приводят к снижению точности примерно на 27% в CNN, на 83% в DNN и на 90% в RNN, демонстрируя серьезные уязвимости моделей. Однако при применении стратегий защиты все модели восстанавливаются до точности не менее 98,9%, при этом состязательное обучение улучшает производительность при атаке до 90%. Среди оцененных моделей CNN демонстрируют самую высокую базовую устойчивость, в то время как DNN и RNN в большей степени полагаются на механизмы защиты для поддержания производительности. Эти результаты предоставляют ценную информацию для разработки безопасных и отказоустойчивых систем машинного обучения, способных смягчать состязательные угрозы. - Enhanced Robustness in Neural Network Models against Adversarial Attacks and their Performance Analysis

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Водит как подросток

Компания Waymo, демонстрирующая впечатляющие статистические данные, показывающие, что её беспилотные автомобили намного безопаснее, чем автомобили с водителями-людьми, развернула тысячи компьютеризированных роботакси по всей стране, которые не могут управлять автомобилем в нетрезвом виде, отвлекаться на телефоны или проявлять агрессию на дороге.

Однако анализ CNN данных местных и федеральных органов власти, а также видеороликов в социальных сетях показывает, что та же самая особенность, которая делает роботакси Waymo менее склонными к опасным столкновениям — отсутствие водителя-человека — также создает совершенно новые проблемы безопасности, которые беспокоят правительственных чиновников, поскольку компания стремится расширить свою деятельность за пределы 11 городов, где она в настоящее время работает.

CNN выявила сотни инцидентов, в которых роботакси якобы совершали опасные маневры и испытывали трудности с препятствиями, с которыми люди инстинктивно справляются. Они проезжали на красный свет, выезжали на встречную полосу и на места преступлений, не соблюдали правила дорожного движения и приближались на расстояние нескольких сантиметров к пешеходам, законно переходящим улицу — ошибки, которые роботизированные автомобили должны быть запрограммированы избегать.

За последние два месяца компания Waymo отозвала тысячи автомобилей и приостановила работу в нескольких городах после того, как роботакси выехали на затопленные улицы, в том числе в Сан-Антонио, где пустой автомобиль Waymo был смыт бурным потоком воды. А недавно компания объявила о приостановке работы на всех автомагистралях в таких городах, как Лос-Анджелес и Майами, после того, как один из пассажиров из Сан-Франциско рассказал на форуме X, что его роботакси устроило высокоскоростную погоню с полицией через зону активных дорожных работ. - ‘Driving like teenagers’: Waymo robotaxis have run red lights and nearly hit pedestrians, CNN finds

INJOIT vol. 14, no. 5

Вышел пятый номер журнала INJOIT в 2026 году. И четырнадцатый год издания журнала.

Темы статей:

• Методы атак и защиты в агентных системах на основе больших языковых моделей
• Комплекс методик совершенствования алгоритмов постквантового шифрования основанных на математической теории решеток
• Risk-based Pareto Approach to the Training Of Information Security Specialists Based On a Sixteen-factor Threat Model
• Применение функции полезности при выявлении и анализе угроз нарушения информационной безопасности объектов критической информационной инфраструктуры Российской Федерации
• A Multi-Scale CNN–BiLSTM Framework for Robust ECG-Based User Authentication
• Искусственный Интеллект в Кибербезопасности. Хроника. Выпуск 7
• О преобразовании и автоматном представлении ε-нечетко-автоматных грамматик
• Разработка и исследование программного обеспечения для обнаружения и отслеживания быстродвижущихся объектов
• Метод обнаружения аномального поведения агентов в роевых робототехнических системах с использованием показателя локальной дезорганизации
• Автоматизация радиационно-химического контроля жидких радиоактивных отходов и сред
• Trust-Aware Dynamic Navigation for Mobile Robots with Sensor Noise
• Математическая модель экстраполятора на основе стохастического уравнения, связывающего процессы с рациональным и квазирациональным спектром
• Алгоритм идентификации оценок параметров двухфакторных неэлементарных линейных регрессий методом наименьших квадратов
• Аспекты реализации генетического алгоритма в задаче смешанной оптимизации в пространстве проектирования переменной размерности
• Программное обеспечение блока проверки последовательного интерфейса
• Селективное обучение ранжированию для поиска товарных аналогов
• Повышение эффективности конфигурации RAG для работы больших языковых моделей с клиническими рекомендациями на примере аллергического ринита
• NVIDIA Vera Rubin как новый стандарт инфраструктуры для Искусственного Интеллекта

Архив журнала находится здесь.

/via Лаборатория ОИТ

Плохому не научит?

«Удачной (и безопасной) стрельбы!» - Чат-боты с искусственным интеллектом помогли подросткам планировать сцены насилия в сотнях тестов. Расследование CNN.

Глубокое обучение в детекции атак на LLM

Быстрое внедрение больших языковых моделей (LLM) в корпоративные и государственные системы вызвало серьезные проблемы безопасности, в частности, атаки с внедрением подсказок, использующие неспособность LLM различать управляющие инструкции от ненадежных пользовательских входных данных. В этом исследовании систематически сравниваются архитектуры нейронных сетей для обнаружения вредоносных подсказок, с акцентом на устойчивость к состязательным возмущениям на уровне символов — аспект, который остается сравнительно малоизученным в конкретном контексте обнаружения внедрения подсказок, несмотря на его признанную значимость в общей состязательной обработке естественного языка. Используя набор данных для обнаружения вредоносных подсказок (MPDD), содержащий 39 234 размеченных экземпляра, были оценены восемь архитектур — Dense DNN, CNN, BiLSTM, BiGRU, Transformer, ResNet и варианты CNN и BiLSTM на уровне символов — на основе стандартных метрик производительности (точность, F1-мера и AUC-ROC), коэффициентов устойчивости к состязательным возмущениям, связанным с интервалами и омоглифами, а также задержки вывода. Результаты показывают, что BiLSTM на уровне слов (3_Word_BiLSTM) показала наилучшие результаты на чистых образцах (точность = 0,9681, F1 = 0,9681), в то время как Transformer продемонстрировал более низкую точность (0,9190) и значительную уязвимость к атакам с использованием пробелов (устойчивость к атакам ρ𝑠𝑝𝑎𝑐𝑖𝑛𝑔=0,61). Напротив, BiLSTM на уровне символов продемонстрировала превосходную устойчивость (ρ𝑠𝑝𝑎𝑐𝑖𝑛𝑔=1,0, ρℎ𝑜𝑚𝑜𝑔𝑙𝑦𝑝ℎ=0,98 ), сохраняя высокую точность (0,9599) и обобщающую способность на внешних наборах данных с падением производительности всего на 2–4%. Эти результаты подчеркивают, что представления на уровне символов обеспечивают внутреннюю устойчивость к атакам обфускации, что позволяет рассматривать Char_BiLSTM как надежный компонент в стратегиях многоуровневой защиты для систем, интегрированных с LLM. - Comparative Benchmarking of Deep Learning Architectures for Detecting Adversarial Attacks on Large Language Models

См. также другие публикации, посвященные LLM

Атаки на детекторы дипфейков

Распространение медиаконтента, генерируемого искусственным интеллектом, повысило риски дезинформации, что обусловило необходимость создания надежных систем обнаружения дипфейков. Однако состязательные атаки — тонкие возмущения, предназначенные для уклонения от обнаружения, — остаются серьезной уязвимостью. Для решения этой проблемы мы организовали конкурс AADD-2025, предложив участникам разработать атаки, которые обманывают различные классификаторы (например, ResNet, DenseNet, слепые модели), сохраняя при этом визуальную точность. Набор данных включал 16 подмножеств высококачественных/низкокачественных дипфейков, сгенерированных генеративно-состязательными сетями (GAN) и диффузионными моделями (например, StableDiffusion, StyleGAN3). Команды оценивались по структурному сходству (SSIM) и показателям успешности атак по классификаторам. Тринадцать команд предложили инновационные решения, использующие манипуляцию латентным пространством, ансамблевые градиенты, суррогатное моделирование и возмущения в частотной области. Лучшие участники конкурса — MR-CAS (1-е место, результат: 2740), Safe AI (2-е место, 2709) и RoMa (3-е место, 2679) — достигли высокого SSIM (0,74–0,93), уклоняясь от классификаторов. Инверсия латентной диффузии MR-CAS и структура ансамбля градиентов Safe AI продемонстрировали превосходную переносимость, даже против Vision Transformers. Ключевые выводы показали, что атаки в латентном пространстве превосходят методы на уровне пикселей, ансамблевые стратегии повышают кросс-модельную устойчивость, а гибридные атаки с использованием CNN-трансформеров являются наиболее эффективными. Несмотря на прогресс, сохраняются проблемы с обобщением атак на гетерогенные модели и сохранением качества восприятия. Задача AADD-2025 подчеркивает срочность разработки адаптивной защиты и гибридных систем обнаружения для противодействия развивающимся враждебным угрозам в медиа, генерируемых ИИ. Для облегчения воспроизводимости и дальнейших исследований полный набор данных доступен для скачивания в репозитории конкурса на GitHub: https://github.com/mfs-iplab/aadd-2025. - Adversarial Attacks on Deepfake Detectors: A Challenge in the Era of AI-Generated Media (AADD-2025)

См. также другие публикации по теме deepfake

Еще о борьбе с дипфейками

Благодаря широкому применению технологий глубокого обучения, таких как свёрточные нейронные сети (CNN) и генеративно-состязательные сети (GAN), методы подделки лиц быстро развиваются, предлагая инновационные приложения в различных областях, одновременно создавая серьёзные проблемы безопасности. Для решения этой проблемы исследователи разработали различные детекторы дипфейков. Однако эти детекторы продемонстрировали значительные уязвимости при столкновении с соперничающими атаками. Целью данного исследования является систематическая оценка производительности детекторов дипфейков в условиях состязательных атак и проверка эффективности различных методов защиты. В ходе масштабных экспериментов мы проанализировали производительность различных типов детекторов в условиях различных состязательных атак и оценили эффективность существующих стратегий защиты. Результаты показывают, что, хотя некоторые методы защиты хорошо работают в определённых сценариях, общая надёжность детекторов всё ещё нуждается в улучшении. Это исследование не только углубляет наше понимание устойчивости к состязательным атакам при обнаружении дипфейков, но и предоставляет важные экспериментальные данные и теоретические рекомендации для разработки более эффективных стратегий защиты. - Adversarial Attacks and Defense for Deepfake Detection: A Comparative Research of Classical Classification Models

Не очень удачно, судя по экспериментам ...

См. также другие публикации по теме deepfake

Кибербезопасность в IoT

Стремительное развитие Интернета вещей (IoT) приводит к появлению миллионов устройств, подключаемых к сети для предоставления интеллектуальных услуг, таких как дистанционное зондирование, управление и мониторинг. Однако эта широкая связь и интеллектуальные функции также привели к появлению ряда уязвимостей кибербезопасности. Традиционные решения безопасности, основанные на машинном обучении (МО), неэффективны из-за динамической природы угроз кибермира. Новые типы вредоносных программ не обнаруживаются большинством решений безопасности на основе МО, поскольку они основаны на статическом извлечении признаков. Кроме того, некоторые методы требуют человеческого опыта и требуют много времени. Для решения этих проблем в данной статье предлагается динамический метод обнаружения и классификации вредоносных программ с использованием обучения признакам для кибербезопасности, ориентированной на Интернет вещей. Предлагаемая модель объединяет сверточные нейронные сети (CNN) для автоматического извлечения признаков и сети с долговременной краткосрочной памятью (LSTM) для последовательного анализа поведения. Предлагаемая модель обеспечивает адаптивное обучение и повышает точность обнаружения вредоносных программ. В отличие от традиционных подходов, наша модель не ограничена конкретными типами вредоносных программ. Эффективность предлагаемого подхода оценивается на основе набора данных MTA-KDD’19, который обеспечивает реалистичное представление легитимного и вредоносного сетевого трафика. Экспериментальные результаты демонстрируют превосходную производительность, достигая точности 99,83%, полноты 99,90%, достоверности 99,74% и оценки F1 99,87%. Эти результаты подтверждают, что предлагаемая динамическая система обнаружения вредоносных программ повышает эффективность противодействия киберугрозам и обеспечивает безопасность системы Интернета вещей. - A feature-learning-enabled malware analysis for enhanced IoT-centric cybersecurity

Аномалии временных рядов

Обнаружение аномалий в кибербезопасности промышленных систем критически важно для обеспечения автоматизированного принятия решений. Существующие подходы часто не справляются с обработкой сложных, неизвестных топологических временных рядов, что требует повышения точности обнаружения аномалий. В данной статье представлена новая двухуровневая структура обнаружения аномалий, сочетающая обобщенный лапласиан графа (GGL), вейвлет-разложение (WAVE) и усовершенствованную сверточную нейронную сеть (CNN). На первом уровне предлагаемый метод использует GGL для эффективного выявления аномальных окон в промышленных временных рядах. На втором уровне разрабатывается точный метод обнаружения аномалий для анализа аномальных окон, выявленных GGL, с использованием вейвлет-разложения для извлечения признаков и усовершенствованной CNN для классификации. Эффективность предлагаемого подхода GGL-WAVE-CNN подтверждена на основе реального набора данных, содержащих сетевой трафик SCADA-системы на предприятии в Китае. Экспериментальные результаты демонстрируют истинно положительный процент (TPR) 97,54%, что подтверждает надежность и точность предлагаемого метода при решении сложных задач промышленной кибербезопасности. - An Anomaly Detection Method for Industrial System Cybersecurity Based on GGL-WAVE-CNN

Архитектура сети и робастность

Состязательные атаки представляют собой проблему при классификации изображений с использованием нейронных сетей. Было создано множество методов для минимизации последствий атак, причём наилучшей защитой от них является состязательное обучение, которое на сегодняшний день зарекомендовало себя как наиболее успешный метод. В силу природы состязательных атак сложно оценить возможности сети по защите. Стандартный метод оценки производительности сети в задачах контролируемой классификации изображений основан на точности. Однако этот метод оценки, хотя и остаётся важным, оказывается недостаточным при учёте состязательных атак. Для оценки производительности сети при наличии возмущений выборок состязательным шумом используется новая метрика, называемая сертифицированной точностью. В данной статье сертифицированная точность дополняется показателем абсентеизма (показателем абсентеизма), чтобы дать более полное представление об устойчивости сети. Показатель абсентеизма измеряет процент сети, которая не смогла сохранить свой прогноз неизменным при увеличении силы возмущения от нуля до заданной. Исследование фокусируется на популярных и высокопроизводительных архитектурах на основе сверточных нейронных сетей (CNN), в частности EfficientNet-B7, ResNet-50, ResNet-101, Wide-ResNet-101 и архитектурах трансформаторов, таких как CaiT и ViT-B/16. Выбранные архитектуры обучаются состязательным и стандартным методам, а затем сертифицируются на наборах данных CIFAR-10, возмущенных гауссовыми шумами различной интенсивности. Наши результаты показывают, что трансформаторы значительно более устойчивы к состязательным атакам, чем архитектуры на основе CNN. Трансформаторы демонстрируют лучшую сертифицированную точность и устойчивость к более сильным шумам, чем архитектуры на основе CNN, демонстрируя хорошую устойчивость как с состязательным обучением, так и без него. Ширина и глубина сети мало влияют на достижение устойчивости к состязательным атакам, однако более эффективными являются методы, которые используются в сети, где, как было показано, механизмы внимания повышают устойчивость сети. - Certified Accuracy and Robustness: How different architectures stand up to adversarial attacks

P.S. См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Атаки с ограничениями

Хотя машинное обучение значительно продвинуло системы обнаружения сетевых вторжений (NIDS), особенно в средах IoT, где устройства генерируют большие объемы данных и все более подвержены киберугрозам, эти модели остаются уязвимыми для состязательных атак. Наше исследование выявляет критический недостаток в существующих методологиях состязательных атак: частое нарушение ограничений, специфичных для домена, таких как численные и категориальные ограничения, присущие IoT и сетевому трафику. Это приводит к тому, что до 80,3% состязательных примеров оказываются недействительными, что значительно завышает уязвимости реального мира. Эти недействительные примеры, хотя и эффективны для обмана моделей, не представляют собой возможные атаки в рамках практических развертываний IoT. Следовательно, опора на эти результаты может ввести в заблуждение при распределении ресурсов для защиты, преувеличивая воспринимаемую восприимчивость моделей NIDS с поддержкой IoT к состязательным манипуляциям. Кроме того, мы демонстрируем, что более простые суррогатные модели, такие как Multi-Layer Perceptron (MLP), генерируют более достоверные состязательные примеры по сравнению со сложными архитектурами, такими как CNN и LSTM. Используя MLP в качестве суррогата, мы анализируем переносимость состязательной серьезности на другие модели ML/DL, обычно используемые в контекстах IoT. Эта работа подчеркивает важность учета как ограничений домена, так и архитектуры модели при оценке и проектировании надежных моделей ML/DL для критически важных для безопасности приложений IoT и сетей. - Constrained Network Adversarial Attacks: Validity, Robustness, and Transferability

P.S. См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Сокрытие объектов

Исследование уязвимостей бэкдора в детекторах объектов, особенно в реальных сценариях, остается ограниченным. Значительная проблема заключается в отсутствии естественного физического набора данных бэкдора, и создание такого набора данных требует как времени, так и труда. В этой работе мы устраняем этот пробел, создавая крупномасштабный набор данных, включающий приблизительно 11 800 изображений/кадров с аннотациями, содержащими природные объекты (например, футболки и шляпы) в качестве триггеров для возникновения маскирующих противоправных эффектов в различных реальных сценариях. Этот набор данных предназначен для изучения физических бэкдоров в детекторах объектов. Используя этот набор данных, мы проводим комплексную оценку коварного эффекта маскирующего бэкдора против детекторов объектов, при котором ограничивающая рамка вокруг человека исчезает, когда человек находится рядом с естественным объектом (например, общедоступной футболкой) перед детектором. Наши оценки охватывают три распространенные поверхности атак: аутсорсинг данных, аутсорсинг моделей и использование предварительно обученных моделей. Эффект маскировки успешно внедрен в детекторы объектов по всем трем поверхностям атак. Мы тщательно оцениваем четыре популярных алгоритма обнаружения объектов (Yolo-V3 на основе якорей, Yolo-V4, Faster R-CNN и CenterNet без якорей), используя 19 видео (всего около 11 800 кадров) в реальных сценариях. Наши результаты показывают, что атака бэкдора демонстрирует замечательную устойчивость к различным факторам, включая движение, расстояние, угол, нежесткую деформацию и освещение. В сценариях аутсорсинга данных и моделей показатель успешности атаки (ASR) в большинстве видео достигает 100% или около того, в то время как точность чистых данных модели с бэкдором остается неотличимой от точности чистой модели, что делает невозможным обнаружение поведения бэкдора с помощью набора для проверки. Примечательно, что двухступенчатые детекторы объектов (например, Faster R-CNN) демонстрируют большую устойчивость к бэкдор-атакам в условиях чистого отравления данных (т. е. при аутсорсинге данных) по сравнению с одноступенчатыми детекторами (например, серия Yolo). Однако эта проблема преодолима, когда злоумышленник контролирует процесс обучения (особенно при аутсорсинге модели), даже при том же небольшом бюджете скорости отравления, что и при аутсорсинге данных. В сценариях атак с передачей обучения, оцененных на CenterNet, средний ASR остается высоким и составляет 78%. - Comprehensive Evaluation of Cloaking Backdoor Attacks on Object Detector in Real-World

См. также другие публикации по теме физические атаки

Состязательные атаки по-умному

Поскольку внимание к безопасности искусственного интеллекта (ИИ) становится первостепенным, исследования по созданию и вставке оптимальных состязательных возмущений становятся все более важными. В области вредоносных программ эта генерация состязательных образцов в значительной степени зависит от точности и размещения созданных возмущений с целью уклонения от обученного классификатора. Эта работа сосредоточена на применении методов объяснимости для улучшения атаки состязательного уклонения на детекторе вредоносных программ Windows PE на основе машинного обучения. Объясняемый инструмент определяет области файлов вредоносных программ PE, которые оказывают наиболее значительное влияние на процесс принятия решений данным детектором вредоносных программ, и следовательно, те же области могут быть использованы для внедрения состязательных возмущений для максимальной эффективности. Профилирование всех регионов файлов вредоносных программ PE на основе их влияния на решение детектора вредоносных программ позволяет вывести эффективную стратегию для определения оптимального места для внедрения возмущений. Стратегия должна включать значимость региона в влиянии на решение детектора вредоносных программ и чувствительность целостности файла вредоносного ПО PE к изменению этого региона. Чтобы оценить полезность объяснимого ИИ при создании состязательного образца вредоносного ПО Windows PE, мы используем модуль DeepExplainer SHAP (SHapley Additive exPlanations) для определения вклада каждого региона вредоносного ПО PE в его обнаружение детектором вредоносных программ на основе CNN, MalConv. Анализ включает как локальные, так и глобальные объяснения для данных образцов вредоносных программ. Мы выполнили сохраняющую функциональность внедрение состязательного возмущения в различных регионах вредоносного ПО PE, где это возможно, выполняя операции, не сохраняющие функциональность, в нескольких оставшихся регионах. Этот подход позволяет нам изучить взаимосвязь между значениями SHAP и скоростью уклонения от состязательной атаки. Кроме того, мы проанализировали значимость значений SHAP на более детальном уровне, разделив каждый раздел Windows PE на небольшие подразделы. Затем мы выполнили атаку состязательного уклонения на подразделы на основе соответствующих значений SHAP последовательностей байтов. Наша экспериментальная оценка показывает значительное улучшение успешности и эффективности атак состязательного уклонения при внедрении возмущения в местоположения вредоносного ПО PE на основе значений SHAP по сравнению со случайными местоположениями PE. - Explainability Guided Adversarial Evasion Attacks on Malware Detectors

С помощью объяснения работы модели строим состязательные атаки.

P.S. См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Распознавание дорожных знаков

Состязательные атаки на модели классификации дорожных знаков были одними из первых, успешно опробованных в реальном мире. С тех пор исследования в этой области в основном ограничивались повторением базовых моделей, таких как LISA-CNN или GTSRB-CNN, и аналогичными экспериментальными настройками, включая белые и черные пятна на дорожных знаках. В этой работе мы отделяем архитектуры моделей от наборов данных и оцениваем на дополнительных общих моделях, чтобы сделать справедливое сравнение. Кроме того, мы сравниваем две настройки атаки, незаметную и видимую, которые обычно рассматриваются без прямого сравнения. Наши результаты показывают, что стандартные базовые модели, такие как LISA-CNN или GTSRB-CNN, значительно более уязвимы, чем общие. Поэтому мы предлагаем оценивать новые атаки на более широком спектре базовых моделей в будущем. Наш код доступен по адресу https://github. com/KASTEL-MobilityLab/attacks-on-traffic-sign-recognition/ - Evaluating Adversarial Attacks on Traffic Sign Classifiers beyond Standard Baselines

См. также другие публикации по теме физические атаки

Фейк или нет?

Интересный обзор: состязательные атаки на детекцию генерации изображений

"Недавние достижения в области синтеза изображений, особенно с появлением моделей GAN и Diffusion, усилили общественную обеспокоенность относительно распространения дезинформации. Для решения таких проблем были предложены многочисленные детекторы изображений, сгенерированных ИИ (AIGI), которые достигли многообещающих результатов в идентификации поддельных изображений. Однако до сих пор отсутствует систематическое понимание устойчивости детекторов AIGI к состязательным атакам. В этой статье мы рассматриваем уязвимость современных детекторов AIGI к соперничающим атакам в условиях белого и черного ящика, которая до сих пор редко исследовалась. Для задачи обнаружения AIGI мы предлагаем новую атаку, содержащую две основные части. Во-первых, вдохновленные очевидной разницей между реальными изображениями и поддельными изображениями в частотной области, мы добавляем возмущения в частотной области, чтобы отодвинуть изображение от его исходного распределения частот. Во-вторых, мы исследуем полное апостериорное распределение суррогатной модели, чтобы еще больше сократить этот разрыв между разнородными моделями, например, перенося состязательные примеры через CNN и ViT. Это достигается путем введения новой пост-обученной байесовской стратегии, которая превращает один суррогат в байесовскую, способную моделировать различные модели жертв с использованием одного предварительно обученного суррогата, без необходимости повторного обучения. Мы называем наш метод частотной пост-обученной байесовской атакой, или FPBA. С помощью FPBA мы показываем, что состязательная атака действительно представляет реальную угрозу для детекторов AIGI, поскольку FPBA может проводить успешные атаки черного ящика по моделям, генераторам, методам защиты и даже обходить обнаружение перекрестного генератора, что является критически важным сценарием обнаружения в реальном мире. Код будет предоставлен после принятия"

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Управляемые нейронные сети

Steerable Neural Networks. Расширение для CNN, когда возможна не только трансляция, нои другие преобразования (повороты и т.п.)

Поясни за CNN

Local Interpretable Model-agnostic Explanations (LIME) для объяснения работы CNN. Есть исходные тексты.

См. также другие публикации, посвященные LIME

Интерпретируемые CNN

Попытка построить интерпретируемые CNN за счет большего количества аннотаций - Concept Bottleneck Models

CNN - введение

Хороший материал по сверточным сетям

См. также другие статьи, посвященные CNN

Обобщение в нейронных сетях

Люди понимают мир с помощью абстракции: если вы усвоите концепцию схватывания палки, вы также поймете, как схватить мяч. Новая работа исследует способность систем глубокого обучения делать то же самое - важный аспект их способности делать обобщения.

Что нового: психологи называют такое мышление систематическим рассуждением. Исследователи из DeepMind, Стэнфордского университета и Университетского колледжа Лондона изучали эту способность в моделях глубокого обучения с подкреплением, обученных взаимодействовать с окружающей средой и выполнять задачу.

Ключевой вывод: Феликс Хилл и его коллеги обучили модель помещать объект 1 в точку 1 с примером выполняемого действия. Во время тестирования они попросили модель поместить объект 2 в позицию 2. Объекта 2 и позиции 2 не было в обучающей выборке, поэтому способность модели выполнять задачу указывает на общее понимание того, как положить.

Как это работает: модель получает представление об окружающей среде вместе с описанием задачи (инструкцией по размещению или поиску данного объекта). Модель обрабатывает эти элементы по отдельности, а затем объединяет свое понимание каждого из них, чтобы определить серию действий для выполнения задачи.
Модель состоит из трех компонентов (обычный выбор для обработки изображений, понимания текста и решений последовательности): CNN обрабатывает представление среды, LSTM интерпретирует описание задачи, а выходы CNN и LSTM объединяются в скрытом слое LSTM для отслеживания прогресса. к выполнению задачи.
Модель учится связывать различные объекты с их именами, выполняя задачи put [object] или find [object]. Исследователи разделяют объекты на тестовые и обучающие наборы. Затем они обучают модель ставить или поднимать предметы в обучающую выборку. Чтобы измерить систематичность рассуждений, они просят его поднять или положить предметы в набор для тестирования.

Результаты: исследователи обучили копии модели в смоделированных 2D и 3D средах. В любом случае более 91% удалось поднять новые объекты. Однако успешность размещения новых объектов упала примерно до 50 процентов в обеих средах.

Да, но: удаление описания задачи и компонента LSTM не сильно повлияло на производительность. То есть, хотя такие слова, как положить и найти, могут помочь людям понять, как нейронные сети работают систематически, язык, по-видимому, не имеет решающего значения для их работы.

Почему это важно: нейронные сети могут делать обобщения, но наше понимание того, как они это делают, неполно. Это исследование предлагает способ оценить роль систематических рассуждений. Результаты предполагают, что модели, которые рассуждают систематически, с большей вероятностью будут обобщать.

Вывод: недавняя серия предварительно обученных языковых моделей приобретает знания, которые позволяют им выполнять различные задачи без переобучения с нуля. Понимание систематических рассуждений в нейронных сетях может привести к повышению производительности в областях, отличных от естественного языка.

Отсюда