Thursday, January 30, 2025

Большие атаки

"Давняя проблема в состязательной устойчивости заключается в защите от атак за пределами стандартных моделей угроз ℓp. Однако пространство возможных не-ℓp атак огромно, и существующая работа разработала лишь небольшое количество атак из-за ручных усилий, необходимых для проектирования и реализации каждой отдельной атаки. Основываясь на недавнем прогрессе в дифференцируемом рендеринге материалов, мы предлагаем RenderAttack, масштабируемую структуру для разработки большого количества структурно разнообразных, не-ℓp состязательных атак. RenderAttack использует обширные существующие репозитории вручную разработанных возмущений изображений в форме процедурных графов генерации текстур, преобразуя их в дифференцируемые преобразования, поддающиеся оптимизации на основе градиента. В этой работе мы отбираем 160 новых атак и представляем бенчмарк ImageNet-RA. В ходе экспериментов мы обнаруживаем, что ImageNet-RA представляет вызов для существующих надежных моделей и раскрывает новые области пространства атак. Сравнивая современные модели и средства защиты, мы определяем перспективные направления для будущей работы по обеспечению устойчивости к широкому спектру противников во время тестирования." - RenderAttack: Hundreds of Adversarial Attacks Through Differentiable Texture Generation

Исторически, состязательные атаки рассматривались как малые ("незаметные") возмущения входных данных, которые меняют работу модели. Но ведь модель могут обманывать произвольные модификации. И если в контуре принятия решений нет человека, то "незаметность" вообще ни на что не влияет. Вот одна из немногих работ, где рассматриваются "неограниченные" модификации. Глобальная атака уклонения.

P.S. См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Tuesday, January 28, 2025

Состязательные атаки по-умному

Поскольку внимание к безопасности искусственного интеллекта (ИИ) становится первостепенным, исследования по созданию и вставке оптимальных состязательных возмущений становятся все более важными. В области вредоносных программ эта генерация состязательных образцов в значительной степени зависит от точности и размещения созданных возмущений с целью уклонения от обученного классификатора. Эта работа сосредоточена на применении методов объяснимости для улучшения атаки состязательного уклонения на детекторе вредоносных программ Windows PE на основе машинного обучения. Объясняемый инструмент определяет области файлов вредоносных программ PE, которые оказывают наиболее значительное влияние на процесс принятия решений данным детектором вредоносных программ, и следовательно, те же области могут быть использованы для внедрения состязательных возмущений для максимальной эффективности. Профилирование всех регионов файлов вредоносных программ PE на основе их влияния на решение детектора вредоносных программ позволяет вывести эффективную стратегию для определения оптимального места для внедрения возмущений. Стратегия должна включать значимость региона в влиянии на решение детектора вредоносных программ и чувствительность целостности файла вредоносного ПО PE к изменению этого региона. Чтобы оценить полезность объяснимого ИИ при создании состязательного образца вредоносного ПО Windows PE, мы используем модуль DeepExplainer SHAP (SHapley Additive exPlanations) для определения вклада каждого региона вредоносного ПО PE в его обнаружение детектором вредоносных программ на основе CNN, MalConv. Анализ включает как локальные, так и глобальные объяснения для данных образцов вредоносных программ. Мы выполнили сохраняющую функциональность внедрение состязательного возмущения в различных регионах вредоносного ПО PE, где это возможно, выполняя операции, не сохраняющие функциональность, в нескольких оставшихся регионах. Этот подход позволяет нам изучить взаимосвязь между значениями SHAP и скоростью уклонения от состязательной атаки. Кроме того, мы проанализировали значимость значений SHAP на более детальном уровне, разделив каждый раздел Windows PE на небольшие подразделы. Затем мы выполнили атаку состязательного уклонения на подразделы на основе соответствующих значений SHAP последовательностей байтов. Наша экспериментальная оценка показывает значительное улучшение успешности и эффективности атак состязательного уклонения при внедрении возмущения в местоположения вредоносного ПО PE на основе значений SHAP по сравнению со случайными местоположениями PE. - Explainability Guided Adversarial Evasion Attacks on Malware Detectors

С помощью объяснения работы модели строим состязательные атаки.

P.S. См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Monday, January 27, 2025

Родовые проблемы

The Price of Intelligence - проблемы LLM, которые не имеют решения

См. также другие публикации, посвященные LLM

Физические атаки на модели распознавания человека

В недавних исследованиях состязательные атаки на детекторы людей с использованием заплат или статических модификации текстур на основе 3D-моделей боролись с низкими показателями успеха из-за гибкой природы человеческого движения. Моделирование 3D-деформаций, вызванных различными действиями, было серьезной проблемой. К счастью, достижения в области Neural Radiance Fields (NeRF) для динамического моделирования человека открывают новые возможности. В этой статье мы представляем UV-Attack, новаторский подход, который достигает высоких показателей успеха даже при обширных и невидимых действиях человека. Мы решаем вышеуказанную проблему, используя динамическое UV-картирование на основе NeRF. UV-Attack может генерировать изображения человека при различных действиях и точках обзора и даже создавать новые действия путем выборки из пространства параметров SMPL. В то время как динамические модели NeRF способны моделировать человеческие тела, изменение текстур одежды является сложной задачей, поскольку они встроены в параметры нейронной сети. Чтобы решить эту проблему, UV-Attack генерирует UV-карты вместо RGB-изображений и изменяет текстурные стеки. Этот подход позволяет редактировать текстуры в реальном времени и делает атаку более практичной. Мы также предлагаем новую потерю Expectation over Pose Transformation (EoPT) для повышения успешности уклонения от невидимых поз и видов. Наши эксперименты показывают, что UV-Attack достигает 92,75% успешности атаки против модели FastRCNN в различных позах в динамических настройках видео, значительно превосходя современную атаку AdvCamou, которая имела только 28,50% ASR. Более того, мы достигаем 49,5% ASR на новейшем детекторе YOLOv8 в настройках черного ящика. Эта работа подчеркивает потенциал динамического UV-картирования на основе NeRF для создания более эффективных состязательных атак на детекторы людей, решая ключевые проблемы в моделировании движения человека и модификации текстуры. - UV-Attack: Physical-World Adversarial Attacks for Person Detection via Dynamic-NeRF-based UV Mapping

См. также другие публикации по теме физические атаки

Sunday, January 26, 2025

Open Source ИИ стек

Ключевые компоненты возможного стека ИИ с открытым исходным кодом следующие:

Фронтенд
Для создания красивых пользовательских интерфейсов ИИ чрезвычайно полезны такие фреймворки, как NextJS и Streamlit. Кроме того, Vercel может помочь с развертыванием.

Встраивание и библиотеки RAG
Встраивание моделей и библиотек RAG, таких как Nomic, JinaAI, Cognito и LLMAware, помогает разработчикам создавать точные функции поиска и RAG.

Бэкенд и доступ к моделям
Для разработки бэкенда разработчики могут полагаться на такие фреймворки, как FastAPI, Langchain и Netflix Metaflow. Для доступа к моделям доступны такие продукты, как Ollama и Huggingface.

Данные и извлечение
Для хранения и извлечения данных доступны несколько опций, таких как Postgres, Milvus, Weaviate, PGVector и FAISS.

LLM
Основанные на тестах производительности, модели с открытым исходным кодом, такие как Llama, Mistral, Qwen, Phi и Gemma, являются отличными альтернативами проприетарным моделям LLM, таким как GPT и Claude.

/via bytebytego.com

Saturday, January 25, 2025

Friday, January 24, 2025

Все хуже, чем мы думали

Нейронные сети восприимчивы к небольшим возмущениям в виде двумерных вращений и сдвигов, обрезки изображений и даже изменениям цветов объектов. Прошлые работы связывают эти ошибки со смещением набора данных, утверждая, что модели терпят неудачу на этих возмущенных образцах, поскольку они не принадлежат распределению обучающих данных. Здесь мы оспариваем это утверждение и представляем доказательства широко распространенного существования возмущенных изображений в распределении обучающих данных, которые сети не могут классифицировать. Мы обучаем модели на данных, выбранных из параметрических распределений, а затем ищем внутри этого распределения данных, чтобы найти такие состязательные примеры внутри распределения. Это делается с помощью нашего подхода, основанного на стратегиях эволюции без градиента (ES), который мы называем CMA-Search. Несмотря на обучение с использованием крупномасштабного (⇠ 0,5 миллиона изображений), несмещенного набора данных с изменениями камеры и освещения, CMA-Search может обнаружить сбой внутри распределения данных в более чем 71% случаев, возмущением положения камеры. При изменении освещения CMASearch обнаруживает неправильную классификацию в 42% случаев. Эти результаты также распространяются на естественные изображения из наборов данных ImageNet и Co3D. Этот феномен изображений в распределении представляет собой крайне тревожную проблему для искусственного интеллекта — они обходят необходимость для вредоносного агента добавлять искусственный шум, чтобы вызвать состязательную атаку. Весь код, наборы данных и демонстрации доступны по адресу https://github.com/in-dist-adversarials/in_distribution_adversarial_examples - In-distribution adversarial attacks on object recognition models using gradient-free search

То есть, для состязательных примеров не нужно двигать распределение данных. Примеры существуют на данных с тем же самым распределением, что и тренировочный набор

P.S. См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Thursday, January 23, 2025

Косинусная близость

Возможности, проблемы, подводные камни - Don't use cosine similarity carelessly

Новый подход к очистке данных

Технология глубокого обучения (DL) показала выдающуюся производительность в различных областях, таких как распознавание и классификация объектов, распознавание речи и обработка естественного языка. Однако хорошо известно, что модели DL уязвимы для атак с отравлением данных, когда злоумышленники изменяют или злонамеренно вводят образцы данных на этапе обучения, что приводит к снижению точности классификации или неправильной классификации. Поскольку атаки с отравлением данных продолжают развиваться, чтобы избежать существующих методов защиты, исследователи безопасности тщательно изучают модели атак с отравлением данных и соответственно разрабатывают более надежные и эффективные методы обнаружения. В частности, атаки с отравлением данных могут быть реалистичными в состязательной ситуации, когда мы переобучаем модель DL с новым набором данных, полученным из внешнего источника во время трансферного обучения. Исходя из этой мотивации, мы предлагаем новый метод защиты, который разделяет и проверяет новый набор данных, а затем удаляет вредоносные поднаборы данных. В частности, наш предлагаемый метод сначала делит новый набор данных на n поднаборов данных либо равномерно, либо случайным образом, проверяет их, используя чистую модель DL в качестве детектора отравленных наборов данных, и, наконец, удаляет вредоносные поднаборы данных, классифицированные детектором. Для разделения и проверки мы разрабатываем два динамических защитных алгоритма: алгоритм последовательного разделения и проверки (SPIA) и алгоритм рандомизированного разделения и проверки (RPIA). При таком подходе полученный очищенный набор данных можно надежно использовать для повторного обучения модели DL. Кроме того, мы провели два эксперимента в среде Python и DL, чтобы показать, что наши предлагаемые методы эффективно защищают от двух моделей атак отравления данных (концентрированные атаки отравления и случайные атаки отравления) с точки зрения различных метрик оценки, таких как скорость удаленного отравления (RPR), скорость успешной атаки (ASR) и точность классификации (ACC). В частности, SPIA полностью удалил все отравленные данные при концентрированных атаках отравления как в среде Python, так и в среде DL. Кроме того, RPIA удалил до 91,1% и 99,1% зараженных данных при случайных атаках отравления в средах Python и DL соответственно. - A Novel Data Sanitization Method Based on Dynamic Dataset Partition and Inspection Against Data Poisoning Attacks

P.S. См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Tuesday, January 21, 2025

ЦОД 2024

Обзор рынка ЦОД в России

Безопасность цифровых двойников

"В Промышленности 4.0 цифровой двойник является одной из новых технологий, предлагая возможности моделирования для прогнозирования, уточнения и интерпретации условий и операций, где крайне важно подчеркнуть повышенную концентрацию на связанных с ними рисках безопасности и конфиденциальности. Если говорить точнее, то внедрение цифровых двойников в обрабатывающей промышленности опирается на интеграцию таких технологий, как киберфизические системы, промышленный Интернет вещей, виртуализация и передовое производство. Взаимодействие этих технологий приводит к многочисленным уязвимостям безопасности и конфиденциальности, которые остаются недостаточно изученными. С этой целью в данной статье анализируются угрозы кибербезопасности цифровых двойников для передового производства в контексте сбора данных, обмена данными, машинного обучения и глубокого обучения, а также безопасности и конфиденциальности на уровне системы. Мы также предлагаем несколько решений для угроз в этих четырех категориях, которые могут помочь повысить доверие к цифровым двойникам." - Security and Privacy of Digital Twins for Advanced Manufacturing: A Survey

См. также другие публикации, посвященные digital twins

Monday, January 20, 2025

Новый подход к физическим атакам

Изучение физических состязательных патчей имеет решающее значение для выявления уязвимостей в системах распознавания на основе ИИ и разработки более надежных моделей глубокого обучения. Хотя недавние исследования были сосредоточены на улучшении скрытности патчей для большей практической применимости, достижение эффективного баланса между скрытностью и эффективностью атаки остается значительной проблемой. Для решения этой проблемы мы предлагаем новый метод физической состязательной атаки, который использует дистилляцию знаний. В частности, мы сначала определяем скрытое цветовое пространство, адаптированное к целевой среде, чтобы обеспечить плавное смешивание. Затем мы оптимизируем состязательный патч в неограниченном цветовом пространстве, которое служит патчем «учителя». Наконец, мы используем модуль дистилляции состязательных знаний для передачи знаний патча учителя патчу «ученика», направляя оптимизацию скрытого патча. Экспериментальные результаты показывают, что наш подход улучшает эффективность атаки на 20%, сохраняя при этом скрытность, подчеркивая его практическую ценность - Distillation-Enhanced Physical Adversarial Attacks

См. также другие публикации по теме физические атаки

Sunday, January 19, 2025

Friday, January 17, 2025

Агенты: белая книга

Это сочетание рассуждений, логики и доступа к внешней информации, которые все связаны с моделью генеративного ИИ, вызывает концепцию агента. - Google об ИИ-агентах P.S. см. также нашу статью об архитектуре LLM-агентов

Thursday, January 16, 2025

LLM в анализе сетевого трафика

Интеграция технологии Интернета вещей (IoT) в различные области привела к эксплуатационным усовершенствованиям, но также создала новые уязвимости для угроз кибербезопасности, о чем свидетельствуют недавние широко распространенные кибератаки на устройства IoT. Системы обнаружения вторжений часто являются реактивными, запускаемыми определенными шаблонами или аномалиями, наблюдаемыми в сети. Для решения этой проблемы в этой работе предлагается проактивный подход к предвидению и упреждающему смягчению вредоносных действий, направленный на предотвращение потенциального ущерба до его возникновения. В этой статье предлагается инновационная структура прогнозирования вторжений, усиленная предварительно обученными большими языковыми моделями (LLM). Структура включает две LLM: тонко настроенную модель двунаправленных и авторегрессивных преобразователей (BART) для прогнозирования сетевого трафика и тонко настроенную модель двунаправленных представлений кодировщика из преобразователей (BERT) для оценки прогнозируемого трафика. Используя двунаправленные возможности BART, фреймворк затем идентифицирует вредоносные пакеты среди этих прогнозов. Оцененный с использованием набора данных атак IoT CICIoT2023, наш фреймворк демонстрирует заметное улучшение в производительности прогнозирования, достигая впечатляющей общей точности 98%, предоставляя мощный ответ на проблемы кибербезопасности, с которыми сталкиваются сети IoT. - BARTPredict: Empowering IoT Security with LLM-Driven Cyber Threat Prediction

См. также другие публикации, посвященные LLM

Wednesday, January 15, 2025

Атаки черного ящика

Хотя состязательная устойчивость широко изучалась в условиях белого ящика, последние достижения в атаках черного ящика (включая подходы на основе передачи и запросов) в первую очередь сопоставляются со слабыми защитами, оставляя значительный разрыв в оценке их эффективности по сравнению с более новыми и умеренно надежными моделями (например, представленными в таблице лидеров Robustbench). В этой статье мы ставим под сомнение это отсутствие внимания со стороны атак черного ящика к надежным моделям. Мы устанавливаем структуру для оценки эффективности последних атак черного ящика как против самых эффективных, так и против стандартных механизмов защиты на наборе данных ImageNet. Наша эмпирическая оценка показывает следующие основные выводы:

(1) наиболее продвинутые атаки черного ящика с трудом достигают успеха даже против простых обученных состязательным образом моделей;
(2) надежные модели, оптимизированные для противостояния сильным атакам белого ящика, таким как AutoAttack, также демонстрируют повышенную устойчивость к атакам черного ящика;
(3) надежность соответствия между суррогатными моделями и целевой моделью играет ключевую роль в успехе атак на основе передачи.

Отсюда

Атаки черного ящика, конечно, являются самым реалистичным случаем. Интересная работа, которая исследует - насколько же они эффективны

P.S. См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению