Атаки вывода: таксономия, обзор и перспективные направления

Inference Attacks: A Taxonomy, Survey, and Promising Directions

"Процветание машинного обучения также вызвало у людей беспокойство по поводу конфиденциальности данных. Среди них атаки вывода могут реализовывать нарушения конфиденциальности в различных сценариях MLaaS и фазах обучения/прогнозирования модели. В частности, атаки вывода могут выполнять вывод конфиденциальности на нераскрытых целевых обучающих наборах на основе выходных данных целевой модели, включая, помимо прочего, статистику, членство, семантику, представление данных и т. д. Кроме того, быстрое развитие сообщества машинного обучения в последние годы, особенно всплеск типов моделей и сценариев применения, еще больше стимулировало исследования атак вывода. Таким образом, изучение атак вывода и их глубокий анализ являются неотложными и значительными. Однако все еще существует пробел в систематическом обсуждении атак вывода с точки зрения таксономии, глобальной перспективы, атак и защиты. Также мы анализируем плюсы и минусы каждого типа атаки вывода, их рабочий процесс, контрмеры и то, как они взаимодействуют с другими атаками. В конце мы указываем несколько перспективных направлений для исследователей с более всеобъемлющей и новой точки зрения"

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Атаки на табличные данные

Исследование незаметности состязательных модификаций для табличных данных

Состязательные атаки представляют потенциальную угрозу для моделей машинного обучения, вызывая неверные прогнозы посредством незаметных возмущений входных данных. Хотя эти атаки были тщательно изучены в неструктурированных данных, таких как изображения, применение их к структурированным данным, таким как табличные данные, представляет новые проблемы. Эти проблемы возникают из-за присущей неоднородности и сложных взаимозависимостей признаков в табличных данных, которые отличаются от характеристик данных изображений. Чтобы учесть это различие, необходимо установить индивидуальные критерии незаметности, специфичные для табличных данных. Однако в настоящее время отсутствует стандартизированная метрика для оценки незаметности состязательных атак на табличные данные. Чтобы устранить этот пробел, мы предлагаем набор ключевых свойств и соответствующих метрик, предназначенных для всесторонней характеристики незаметных состязательных атак на табличные данные. К ним относятся: близость к исходным входным данным, разреженность измененных признаков, отклонение от исходного распределения данных, чувствительность к возмущенным признакам с узким распределением, неизменность определенных признаков, которые должны оставаться неизменными, осуществимость определенных значений признаков, которые не должны выходить за пределы допустимых практических диапазонов, и взаимозависимости признаков, фиксирующие сложные отношения между атрибутами данных. Мы оцениваем незаметность пяти состязательных атак, включая как ограниченные, так и неограниченные атаки, на табличных данных, используя предлагаемые метрики незаметности. Результаты показывают компромисс между незаметностью и эффективностью этих атак. Исследование также выявляет ограничения в текущих алгоритмах атак, предлагая идеи, которые могут направлять будущие исследования в этой области. Результаты, полученные в результате этого эмпирического анализа, дают ценное направление для улучшения разработки алгоритмов состязательных атак, тем самым продвигая состязательное машинное обучение на табличных данных."

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Фейк или нет?

Интересный обзор: состязательные атаки на детекцию генерации изображений

"Недавние достижения в области синтеза изображений, особенно с появлением моделей GAN и Diffusion, усилили общественную обеспокоенность относительно распространения дезинформации. Для решения таких проблем были предложены многочисленные детекторы изображений, сгенерированных ИИ (AIGI), которые достигли многообещающих результатов в идентификации поддельных изображений. Однако до сих пор отсутствует систематическое понимание устойчивости детекторов AIGI к состязательным атакам. В этой статье мы рассматриваем уязвимость современных детекторов AIGI к соперничающим атакам в условиях белого и черного ящика, которая до сих пор редко исследовалась. Для задачи обнаружения AIGI мы предлагаем новую атаку, содержащую две основные части. Во-первых, вдохновленные очевидной разницей между реальными изображениями и поддельными изображениями в частотной области, мы добавляем возмущения в частотной области, чтобы отодвинуть изображение от его исходного распределения частот. Во-вторых, мы исследуем полное апостериорное распределение суррогатной модели, чтобы еще больше сократить этот разрыв между разнородными моделями, например, перенося состязательные примеры через CNN и ViT. Это достигается путем введения новой пост-обученной байесовской стратегии, которая превращает один суррогат в байесовскую, способную моделировать различные модели жертв с использованием одного предварительно обученного суррогата, без необходимости повторного обучения. Мы называем наш метод частотной пост-обученной байесовской атакой, или FPBA. С помощью FPBA мы показываем, что состязательная атака действительно представляет реальную угрозу для детекторов AIGI, поскольку FPBA может проводить успешные атаки черного ящика по моделям, генераторам, методам защиты и даже обходить обнаружение перекрестного генератора, что является критически важным сценарием обнаружения в реальном мире. Код будет предоставлен после принятия"

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Фишинговый генератор

Создание фишинговых страниц для тестирования детекторов

"Фишинговые атаки пытаются обмануть пользователей, что представляет собой значительную угрозу кибербезопасности. Достижения в области машинного обучения (ML) и глубокого обучения (DL) привели к разработке многочисленных решений по обнаружению фишинговых веб-страниц, но эти модели остаются уязвимыми для состязательных атак. Оценка их устойчивости к состязательным фишинговым веб-страницам имеет важное значение. Существующие инструменты содержат наборы данных предварительно разработанных фишинговых веб-страниц для ограниченного числа брендов и не имеют разнообразия в фишинговых функциях.

Для решения этих проблем мы разрабатываем PhishOracle, инструмент, который генерирует состязательные фишинговые веб-страницы путем внедрения различных фишинговых функций в легитимные веб-страницы. Мы оцениваем надежность двух существующих моделей, Stack model и Phishpedia, при классификации созданных PhishOracle состязательных фишинговых веб-страниц. Кроме того, мы изучаем коммерческую большую языковую модель Gemini Pro Vision в контексте состязательных атак. Мы проводим исследование пользователей, чтобы определить, обманывают ли пользователей вредоносные фишинговые веб-страницы, созданные PhishOracle. Наши результаты показывают, что многие фишинговые веб-страницы, созданные PhishOracle, обходят текущие модели обнаружения фишинговых веб-страниц и обманывают пользователей, но Gemini Pro Vision устойчив к атакам. Мы также разрабатываем веб-приложение PhishOracle, позволяющее пользователям вводить законный URL, выбирать соответствующие фишинговые функции и создавать соответствующую фишинговую веб-страницу. Все ресурсы общедоступны на GitHub"

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Биометрические риски

Биометрия и состязательные атаки - оценка рисков. Есть хорошие сводные материалы по противодействию состязательным атакам

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Бэкдор и физические атаки

Интересная работа: On the Credibility of Backdoor Attacks Against Object Detectors in the Physical World

"мы провели обширное эмпирическое исследование, нацеленное на несколько архитектур детекторов и две сложные задачи обнаружения в реальных условиях: дорожные знаки и транспортные средства. Используя разнообразные, методично собранные видео, снятые с вождения автомобилей и летающих дронов, включая развертывание триггеров физических объектов в аутентичных сценах, мы исследовали жизнеспособность атак бэкдоров, запускаемых физическими объектами, в настройках приложений. Наши результаты выявили 8 ключевых идей. Важно отметить, что распространенный метод отравления «цифровых» данных для внедрения бэкдоров в модели не приводит к эффективным атакам на детекторы в реальном мире, хотя и доказал свою эффективность в задачах классификации. Мы создаем новый, экономически эффективный метод атаки, названный Morphing, включающий уникальную природу задач обнаружения; наш метод удивительно успешен во внедрении бэкдоров, запускаемых физическими объектами, даже способен отравлять триггеры с чистыми аннотациями или невидимыми триггерами, не уменьшая успешность бэкдоров, запускаемых физическими объектами. Мы обнаружили, что подобранные средства защиты плохо оснащены для защиты детекторов от таких атак. Чтобы подчеркнуть серьезность угрозы и способствовать дальнейшему исследованию, мы впервые публикуем обширный набор видеотестов реальных атак через бэкдор. Наше исследование не только подтверждает достоверность и серьезность этой угрозы, но и служит громким призывом к исследовательскому сообществу развивать защиту через бэкдор в контексте обнаружения объектов."

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Физические атаки в автовождении

Stealthy and Effective Physical Adversarial Attacks in Autonomous Driving

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Атака замены слов

Word-level Adversarial Attacks with Large Language Models. Как их правильно делать :)

См. также другие публикации, посвященные LLM

Обманчивая диффузия

Deceptive diffusion - генерация состязательных примеров

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Правила зависимости

Causal Inference: Семь основных правил причинно-следственной связи

см. также другие публикации, посвященные каузальности

Фишинговая почта

Хороший обзор и новые метод определения фишинговых писем

см. также другие публикации по теме фишинг

Поиск патчей

Интересная идея по поиску состязательных патчей на изображениях: cостязательные патчи должны содержать статистически большее количество информации, с точки зрения теории информации, по сравнению с любой случайной окрестностью из естественного распределения изображений. Поэтому можно использовать энтропию Шеннона в качестве индикатора кандидатов на состязательные патчи. Отсюда: Tarchoun, Bilel, et al. "An information-theoretic perspective of physical adversarial patches." Neural Networks (2024): 106590.

Вот репозиторий.

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Атаки на мультимодальную биометрию

Разспознаем человека по лицу и походке - и строим состязательные атаки на такое распознавание

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Инверсия для LLM

Интересная задача: если мы знаем вывод LLM, то каков был вход?

См. также другие публикации, посвященные LLM

Отравление кластеров

Атаки отравления на алгоритмы кластеризации

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Безопасный ИИ

sAIfer Lab. Интересные проекты

ELSA AI

Европейский проект ELSA – European Lighthouse on Secure and Safe AI

Отравление логов

Отравление журналов — это кибератака, при которой злоумышленники манипулируют файлами журналов систем, чтобы скрыть свою деятельность или выполнить вредоносные коды. В этой статье представлено тщательное исследование атак отравления журналов с упором на демонстрацию методологий, применяемых к распространенным платформам Интернета вещей (IoT), таким как Raspberry Pi. - отсюда

О микросервисах

Отчет по шифровальщикам

Ransomware and Data Extortion

Шире шаг !

Интересная илея - пьезоэлектрическая пластина в подошвах солдатских ботинок. Вырабатывает энергию для носимых гаджетов. Ходьба в течение 1 часа со скоростью 40 шагов в минуту приводит к получению 2,1 Дж энергии, чего достаточно для питания устройства с напряжением 3,3 В, потребляющего 10 мА в течение примерно минуты.

Как искать в больших данных

Дифференциальный поисковый индекс (DSI) извлечения текста

Replay атаки

Практическая работа: Replay Attack Detection for Cyber-Physical Control Systems: A Dynamical Delay Estimation Method

Семантический поиск

Практическая статья по реализации семантического поиска на открытых инструментах:

Как использовать LLM для создания семантически насыщенных описаний эмодзи
Как использовать Hugging Face Transformers для многоязычных вложений
Как интегрировать векторную базу данных Qdrant для выполнения эффективного семантического поиска

YOLO8 в военных целях

Использование YOLO8 для распознавания военных целей

Art-атаки

Атаки на LLM с помощью ASCII кодов

См. также другие публикации, посвященные LLM

Патчи в динамике

Атаки патчами - известная история в распознавании изображений с помощью нейронных сетей. А вот здесь расчитывают эти патчи с учетом реального угла обзора, что увеличивает успешность атак.

Атаки на модели машинного обучения

This research delves into the cybersecurity implications of neural network training in cloud-based services. Despite their recognition for solving IT problems, the resource-intensive nature of neural network training poses challenges, leading to increased reliance on cloud services. However, this dependence introduces new cybersecurity risks. The study focuses on a novel attack method exploiting neural network weights to discreetly distribute hidden malware. It explores seven embedding methods and four trigger types for malware activation. Additionally, the paper introduces an open-source framework automating code injection into neural network weight parameters, allowing researchers to investigate and counteract this emerging attack vector. - from this paper

Полный текст доступен по этой ссылке: https://rdcu.be/dQbLH

Атака по побочным каналам

Восстановление сигнала по прослушке HDMI

Атаки на авто-программистов

Атака отравления на модели завершения кода (code completion). И выполняется эта атака с помощью LLM.

См. также другие публикации, посвященные LLM

Атака на классификатор

Атака черного ящика на классификатор вредоносного ПО

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Не очень умные

Критический анализ смарт-контрактов в блокчейн. Кто-то должен был сказать, что это сущий ужас, с точки зрения кибербезопасности.

DevOps для дата сайентистов

Книга в открытом доступе: DevOps for Data Science