Как описывать езду?

Стандарт BSI: BSI Flex 1891 Таксономия поведения для приложений автоматизированных систем вождения. Требования к автоматизированной системе вождения (ADS), другим участникам дорожного движения и компетенциям в областях эксплуатационного проектирования.

Фиксация состязательных модификаций изображений

Широкое распространение глубоких нейронных сетей (DNN) в критических приложениях реального времени стимулировало значительные исследования их безопасности и надежности. Ключевой выявленной уязвимостью является то, что решения DNN могут быть злонамеренно изменены путем введения тщательно созданного шума во входные данные, что приводит к ошибочным прогнозам. Это известно как состязательная атака. В этой статье мы предлагаем новую структуру обнаружения, использующую маски сегментации и методы сегментации изображений для выявления состязательных атак на DNN, особенно в контексте автономных систем вождения. Наша техника защиты рассматривает два уровня состязательного обнаружения. Первый уровень в основном обнаруживает состязательные входные данные с большими возмущениями, используя модель U-net и одноклассовую машину опорных векторов (SVM). Второй уровень защиты предлагает динамический алгоритм сегментации, основанный на алгоритме k-средних и модели верификатора, которая управляет окончательным прогнозом входного изображения. Чтобы оценить наш подход, мы всесторонне сравниваем наш метод с современным методом сжатия признаков в атаке белого ящика, используя одиннадцать различных состязательных атак в трех эталонных и гетерогенных наборах данных. Экспериментальные результаты демонстрируют эффективность нашей структуры, достигая общих показателей обнаружения, превышающих 96% по всем изученным состязательным методам и наборам данных. Стоит отметить, что наш метод повышает показатели обнаружения атак FGSM и BIM, достигая средних показателей обнаружения 95,65% по сравнению с 62,63% при сжатии признаков в трех наборах данных. - Image Segmentation Framework for Detecting Adversarial Attacks for Autonomous Driving Cars

P.S. См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Медицинские кибер-физические системы

Отечественный стандарт на медициские CPS

Большие атаки

"Давняя проблема в состязательной устойчивости заключается в защите от атак за пределами стандартных моделей угроз ℓp. Однако пространство возможных не-ℓp атак огромно, и существующая работа разработала лишь небольшое количество атак из-за ручных усилий, необходимых для проектирования и реализации каждой отдельной атаки. Основываясь на недавнем прогрессе в дифференцируемом рендеринге материалов, мы предлагаем RenderAttack, масштабируемую структуру для разработки большого количества структурно разнообразных, не-ℓp состязательных атак. RenderAttack использует обширные существующие репозитории вручную разработанных возмущений изображений в форме процедурных графов генерации текстур, преобразуя их в дифференцируемые преобразования, поддающиеся оптимизации на основе градиента. В этой работе мы отбираем 160 новых атак и представляем бенчмарк ImageNet-RA. В ходе экспериментов мы обнаруживаем, что ImageNet-RA представляет вызов для существующих надежных моделей и раскрывает новые области пространства атак. Сравнивая современные модели и средства защиты, мы определяем перспективные направления для будущей работы по обеспечению устойчивости к широкому спектру противников во время тестирования." - RenderAttack: Hundreds of Adversarial Attacks Through Differentiable Texture Generation

Исторически, состязательные атаки рассматривались как малые ("незаметные") возмущения входных данных, которые меняют работу модели. Но ведь модель могут обманывать произвольные модификации. И если в контуре принятия решений нет человека, то "незаметность" вообще ни на что не влияет. Вот одна из немногих работ, где рассматриваются "неограниченные" модификации. Глобальная атака уклонения.

P.S. См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Российские ИИ продукты

В продолжение темы открытого ИИ стека - Подборка решений: инструменты Open Source для разработчиков ИИ

Состязательные атаки по-умному

Поскольку внимание к безопасности искусственного интеллекта (ИИ) становится первостепенным, исследования по созданию и вставке оптимальных состязательных возмущений становятся все более важными. В области вредоносных программ эта генерация состязательных образцов в значительной степени зависит от точности и размещения созданных возмущений с целью уклонения от обученного классификатора. Эта работа сосредоточена на применении методов объяснимости для улучшения атаки состязательного уклонения на детекторе вредоносных программ Windows PE на основе машинного обучения. Объясняемый инструмент определяет области файлов вредоносных программ PE, которые оказывают наиболее значительное влияние на процесс принятия решений данным детектором вредоносных программ, и следовательно, те же области могут быть использованы для внедрения состязательных возмущений для максимальной эффективности. Профилирование всех регионов файлов вредоносных программ PE на основе их влияния на решение детектора вредоносных программ позволяет вывести эффективную стратегию для определения оптимального места для внедрения возмущений. Стратегия должна включать значимость региона в влиянии на решение детектора вредоносных программ и чувствительность целостности файла вредоносного ПО PE к изменению этого региона. Чтобы оценить полезность объяснимого ИИ при создании состязательного образца вредоносного ПО Windows PE, мы используем модуль DeepExplainer SHAP (SHapley Additive exPlanations) для определения вклада каждого региона вредоносного ПО PE в его обнаружение детектором вредоносных программ на основе CNN, MalConv. Анализ включает как локальные, так и глобальные объяснения для данных образцов вредоносных программ. Мы выполнили сохраняющую функциональность внедрение состязательного возмущения в различных регионах вредоносного ПО PE, где это возможно, выполняя операции, не сохраняющие функциональность, в нескольких оставшихся регионах. Этот подход позволяет нам изучить взаимосвязь между значениями SHAP и скоростью уклонения от состязательной атаки. Кроме того, мы проанализировали значимость значений SHAP на более детальном уровне, разделив каждый раздел Windows PE на небольшие подразделы. Затем мы выполнили атаку состязательного уклонения на подразделы на основе соответствующих значений SHAP последовательностей байтов. Наша экспериментальная оценка показывает значительное улучшение успешности и эффективности атак состязательного уклонения при внедрении возмущения в местоположения вредоносного ПО PE на основе значений SHAP по сравнению со случайными местоположениями PE. - Explainability Guided Adversarial Evasion Attacks on Malware Detectors

С помощью объяснения работы модели строим состязательные атаки.

P.S. См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Родовые проблемы

The Price of Intelligence - проблемы LLM, которые не имеют решения

См. также другие публикации, посвященные LLM

Физические атаки на модели распознавания человека

В недавних исследованиях состязательные атаки на детекторы людей с использованием заплат или статических модификации текстур на основе 3D-моделей боролись с низкими показателями успеха из-за гибкой природы человеческого движения. Моделирование 3D-деформаций, вызванных различными действиями, было серьезной проблемой. К счастью, достижения в области Neural Radiance Fields (NeRF) для динамического моделирования человека открывают новые возможности. В этой статье мы представляем UV-Attack, новаторский подход, который достигает высоких показателей успеха даже при обширных и невидимых действиях человека. Мы решаем вышеуказанную проблему, используя динамическое UV-картирование на основе NeRF. UV-Attack может генерировать изображения человека при различных действиях и точках обзора и даже создавать новые действия путем выборки из пространства параметров SMPL. В то время как динамические модели NeRF способны моделировать человеческие тела, изменение текстур одежды является сложной задачей, поскольку они встроены в параметры нейронной сети. Чтобы решить эту проблему, UV-Attack генерирует UV-карты вместо RGB-изображений и изменяет текстурные стеки. Этот подход позволяет редактировать текстуры в реальном времени и делает атаку более практичной. Мы также предлагаем новую потерю Expectation over Pose Transformation (EoPT) для повышения успешности уклонения от невидимых поз и видов. Наши эксперименты показывают, что UV-Attack достигает 92,75% успешности атаки против модели FastRCNN в различных позах в динамических настройках видео, значительно превосходя современную атаку AdvCamou, которая имела только 28,50% ASR. Более того, мы достигаем 49,5% ASR на новейшем детекторе YOLOv8 в настройках черного ящика. Эта работа подчеркивает потенциал динамического UV-картирования на основе NeRF для создания более эффективных состязательных атак на детекторы людей, решая ключевые проблемы в моделировании движения человека и модификации текстуры. - UV-Attack: Physical-World Adversarial Attacks for Person Detection via Dynamic-NeRF-based UV Mapping

См. также другие публикации по теме физические атаки

Open Source ИИ стек

Ключевые компоненты возможного стека ИИ с открытым исходным кодом следующие:

Фронтенд
Для создания красивых пользовательских интерфейсов ИИ чрезвычайно полезны такие фреймворки, как NextJS и Streamlit. Кроме того, Vercel может помочь с развертыванием.

Встраивание и библиотеки RAG
Встраивание моделей и библиотек RAG, таких как Nomic, JinaAI, Cognito и LLMAware, помогает разработчикам создавать точные функции поиска и RAG.

Бэкенд и доступ к моделям
Для разработки бэкенда разработчики могут полагаться на такие фреймворки, как FastAPI, Langchain и Netflix Metaflow. Для доступа к моделям доступны такие продукты, как Ollama и Huggingface.

Данные и извлечение
Для хранения и извлечения данных доступны несколько опций, таких как Postgres, Milvus, Weaviate, PGVector и FAISS.

LLM
Основанные на тестах производительности, модели с открытым исходным кодом, такие как Llama, Mistral, Qwen, Phi и Gemma, являются отличными альтернативами проприетарным моделям LLM, таким как GPT и Claude.

/via bytebytego.com

Advanced Natural Language Processing

Курс по обработке естественного языка от CMU. 2025 год, презентации, код

См. также другие публикации, посвященные NLP

Все хуже, чем мы думали

Нейронные сети восприимчивы к небольшим возмущениям в виде двумерных вращений и сдвигов, обрезки изображений и даже изменениям цветов объектов. Прошлые работы связывают эти ошибки со смещением набора данных, утверждая, что модели терпят неудачу на этих возмущенных образцах, поскольку они не принадлежат распределению обучающих данных. Здесь мы оспариваем это утверждение и представляем доказательства широко распространенного существования возмущенных изображений в распределении обучающих данных, которые сети не могут классифицировать. Мы обучаем модели на данных, выбранных из параметрических распределений, а затем ищем внутри этого распределения данных, чтобы найти такие состязательные примеры внутри распределения. Это делается с помощью нашего подхода, основанного на стратегиях эволюции без градиента (ES), который мы называем CMA-Search. Несмотря на обучение с использованием крупномасштабного (⇠ 0,5 миллиона изображений), несмещенного набора данных с изменениями камеры и освещения, CMA-Search может обнаружить сбой внутри распределения данных в более чем 71% случаев, возмущением положения камеры. При изменении освещения CMASearch обнаруживает неправильную классификацию в 42% случаев. Эти результаты также распространяются на естественные изображения из наборов данных ImageNet и Co3D. Этот феномен изображений в распределении представляет собой крайне тревожную проблему для искусственного интеллекта — они обходят необходимость для вредоносного агента добавлять искусственный шум, чтобы вызвать состязательную атаку. Весь код, наборы данных и демонстрации доступны по адресу https://github.com/in-dist-adversarials/in_distribution_adversarial_examples - In-distribution adversarial attacks on object recognition models using gradient-free search

То есть, для состязательных примеров не нужно двигать распределение данных. Примеры существуют на данных с тем же самым распределением, что и тренировочный набор

P.S. См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Косинусная близость

Возможности, проблемы, подводные камни - Don't use cosine similarity carelessly

Новый подход к очистке данных

Технология глубокого обучения (DL) показала выдающуюся производительность в различных областях, таких как распознавание и классификация объектов, распознавание речи и обработка естественного языка. Однако хорошо известно, что модели DL уязвимы для атак с отравлением данных, когда злоумышленники изменяют или злонамеренно вводят образцы данных на этапе обучения, что приводит к снижению точности классификации или неправильной классификации. Поскольку атаки с отравлением данных продолжают развиваться, чтобы избежать существующих методов защиты, исследователи безопасности тщательно изучают модели атак с отравлением данных и соответственно разрабатывают более надежные и эффективные методы обнаружения. В частности, атаки с отравлением данных могут быть реалистичными в состязательной ситуации, когда мы переобучаем модель DL с новым набором данных, полученным из внешнего источника во время трансферного обучения. Исходя из этой мотивации, мы предлагаем новый метод защиты, который разделяет и проверяет новый набор данных, а затем удаляет вредоносные поднаборы данных. В частности, наш предлагаемый метод сначала делит новый набор данных на n поднаборов данных либо равномерно, либо случайным образом, проверяет их, используя чистую модель DL в качестве детектора отравленных наборов данных, и, наконец, удаляет вредоносные поднаборы данных, классифицированные детектором. Для разделения и проверки мы разрабатываем два динамических защитных алгоритма: алгоритм последовательного разделения и проверки (SPIA) и алгоритм рандомизированного разделения и проверки (RPIA). При таком подходе полученный очищенный набор данных можно надежно использовать для повторного обучения модели DL. Кроме того, мы провели два эксперимента в среде Python и DL, чтобы показать, что наши предлагаемые методы эффективно защищают от двух моделей атак отравления данных (концентрированные атаки отравления и случайные атаки отравления) с точки зрения различных метрик оценки, таких как скорость удаленного отравления (RPR), скорость успешной атаки (ASR) и точность классификации (ACC). В частности, SPIA полностью удалил все отравленные данные при концентрированных атаках отравления как в среде Python, так и в среде DL. Кроме того, RPIA удалил до 91,1% и 99,1% зараженных данных при случайных атаках отравления в средах Python и DL соответственно. - A Novel Data Sanitization Method Based on Dynamic Dataset Partition and Inspection Against Data Poisoning Attacks

P.S. См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

ИИ-агенты

Учебный курс от HuggingFace по LLM-агентам

ЦОД 2024

Обзор рынка ЦОД в России

Безопасность цифровых двойников

"В Промышленности 4.0 цифровой двойник является одной из новых технологий, предлагая возможности моделирования для прогнозирования, уточнения и интерпретации условий и операций, где крайне важно подчеркнуть повышенную концентрацию на связанных с ними рисках безопасности и конфиденциальности. Если говорить точнее, то внедрение цифровых двойников в обрабатывающей промышленности опирается на интеграцию таких технологий, как киберфизические системы, промышленный Интернет вещей, виртуализация и передовое производство. Взаимодействие этих технологий приводит к многочисленным уязвимостям безопасности и конфиденциальности, которые остаются недостаточно изученными. С этой целью в данной статье анализируются угрозы кибербезопасности цифровых двойников для передового производства в контексте сбора данных, обмена данными, машинного обучения и глубокого обучения, а также безопасности и конфиденциальности на уровне системы. Мы также предлагаем несколько решений для угроз в этих четырех категориях, которые могут помочь повысить доверие к цифровым двойникам." - Security and Privacy of Digital Twins for Advanced Manufacturing: A Survey

См. также другие публикации, посвященные digital twins

Новый подход к физическим атакам

Изучение физических состязательных патчей имеет решающее значение для выявления уязвимостей в системах распознавания на основе ИИ и разработки более надежных моделей глубокого обучения. Хотя недавние исследования были сосредоточены на улучшении скрытности патчей для большей практической применимости, достижение эффективного баланса между скрытностью и эффективностью атаки остается значительной проблемой. Для решения этой проблемы мы предлагаем новый метод физической состязательной атаки, который использует дистилляцию знаний. В частности, мы сначала определяем скрытое цветовое пространство, адаптированное к целевой среде, чтобы обеспечить плавное смешивание. Затем мы оптимизируем состязательный патч в неограниченном цветовом пространстве, которое служит патчем «учителя». Наконец, мы используем модуль дистилляции состязательных знаний для передачи знаний патча учителя патчу «ученика», направляя оптимизацию скрытого патча. Экспериментальные результаты показывают, что наш подход улучшает эффективность атаки на 20%, сохраняя при этом скрытность, подчеркивая его практическую ценность - Distillation-Enhanced Physical Adversarial Attacks

См. также другие публикации по теме физические атаки

Еще об оценке LLM

Обзор подходов к тестированию LLM. См. также здесь и здесь

См. также другие публикации, посвященные тестированию LLM

Практика построения ИИ-агентов

Building Autonomous Multi-Tool Agents with Gemini 2.0 and LangGraph. Детальный разбор с примерами кода

Агенты: белая книга

Это сочетание рассуждений, логики и доступа к внешней информации, которые все связаны с моделью генеративного ИИ, вызывает концепцию агента. - Google об ИИ-агентах P.S. см. также нашу статью об архитектуре LLM-агентов

LLM в анализе сетевого трафика

Интеграция технологии Интернета вещей (IoT) в различные области привела к эксплуатационным усовершенствованиям, но также создала новые уязвимости для угроз кибербезопасности, о чем свидетельствуют недавние широко распространенные кибератаки на устройства IoT. Системы обнаружения вторжений часто являются реактивными, запускаемыми определенными шаблонами или аномалиями, наблюдаемыми в сети. Для решения этой проблемы в этой работе предлагается проактивный подход к предвидению и упреждающему смягчению вредоносных действий, направленный на предотвращение потенциального ущерба до его возникновения. В этой статье предлагается инновационная структура прогнозирования вторжений, усиленная предварительно обученными большими языковыми моделями (LLM). Структура включает две LLM: тонко настроенную модель двунаправленных и авторегрессивных преобразователей (BART) для прогнозирования сетевого трафика и тонко настроенную модель двунаправленных представлений кодировщика из преобразователей (BERT) для оценки прогнозируемого трафика. Используя двунаправленные возможности BART, фреймворк затем идентифицирует вредоносные пакеты среди этих прогнозов. Оцененный с использованием набора данных атак IoT CICIoT2023, наш фреймворк демонстрирует заметное улучшение в производительности прогнозирования, достигая впечатляющей общей точности 98%, предоставляя мощный ответ на проблемы кибербезопасности, с которыми сталкиваются сети IoT. - BARTPredict: Empowering IoT Security with LLM-Driven Cyber Threat Prediction

См. также другие публикации, посвященные LLM

Атаки черного ящика

Хотя состязательная устойчивость широко изучалась в условиях белого ящика, последние достижения в атаках черного ящика (включая подходы на основе передачи и запросов) в первую очередь сопоставляются со слабыми защитами, оставляя значительный разрыв в оценке их эффективности по сравнению с более новыми и умеренно надежными моделями (например, представленными в таблице лидеров Robustbench). В этой статье мы ставим под сомнение это отсутствие внимания со стороны атак черного ящика к надежным моделям. Мы устанавливаем структуру для оценки эффективности последних атак черного ящика как против самых эффективных, так и против стандартных механизмов защиты на наборе данных ImageNet. Наша эмпирическая оценка показывает следующие основные выводы:

(1) наиболее продвинутые атаки черного ящика с трудом достигают успеха даже против простых обученных состязательным образом моделей;
(2) надежные модели, оптимизированные для противостояния сильным атакам белого ящика, таким как AutoAttack, также демонстрируют повышенную устойчивость к атакам черного ящика;
(3) надежность соответствия между суррогатными моделями и целевой моделью играет ключевую роль в успехе атак на основе передачи.

Отсюда

Атаки черного ящика, конечно, являются самым реалистичным случаем. Интересная работа, которая исследует - насколько же они эффективны

P.S. См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Бортовые компьютеры

За последние три десятилетия принятие более высоких порогов риска в космической отрасли способствовало широкой интеграции коммерческих готовых (COTS) компонентов в авионику и полезную нагрузку, что привело к заметной трансформации в проектировании космических миссий. Эта трансформация привела к появлению Новой космической экономики и широкому принятию экономичных или малых спутников в целом, особенно CubeSats. CubeSats в настоящее время широко используются в коммерческих, научных и исследовательских приложениях благодаря своей универсальности, доступности, простоте разработки и ускоренным срокам разработки. Бортовые вычисления играют решающую роль в проектировании миссий CubeSat, поскольку для решения задач будущих миссий требуются все более высокопроизводительные вычислительные требования. В этой статье систематически рассматривается современное состояние подсистемы управления и обработки данных CubeSat (C&DH), охватывающее как аппаратные компоненты, так и фреймворки разработки полетного программного обеспечения (FSW). В нем представлен анализ основных характеристик и последних разработок бортовых компьютеров (OBC) в коммерческих и академических институциональных проектах, финансируемых правительствами, агентствами и государственными учреждениями. В нем далее рассматривается влияние космической радиации на компоненты авионики и обсуждаются основные методы отказоустойчивости, используемые в платформах CubeSat. Наконец, в этой статье освещаются тенденции и опасности для будущей авионики CubeSat, а также определяются потенциальные направления будущих разработок в области высокопроизводительных бортовых вычислений. Объединяя современные исследования и отраслевые идеи, эта статья направлена ​​на то, чтобы пролить свет на конструкцию OBC CubeSat, предоставив обзор существующего технологического ландшафта и проблем, которые необходимо решить для потребностей миссий следующего поколения. - фундаментальный обзор On-Board Computer for CubeSats: State-of-the-Art and Future Trends

Poisson vs Binomial

Хорошее объяснение: Распределение Пуассона и биномиальное распределение

Чтобы определить, какое распределение использовать: пуассоновское или биномиальное, спросите себя:

Присутствует ли фиксированное количество испытаний?

Да → биномиальное.
Нет → пуассоновское.

Вероятность успеха мала при большом количестве испытаний?

Да → рассмотрите пуассоновское как приближение.

Распознавание дорожных знаков

Состязательные атаки на модели классификации дорожных знаков были одними из первых, успешно опробованных в реальном мире. С тех пор исследования в этой области в основном ограничивались повторением базовых моделей, таких как LISA-CNN или GTSRB-CNN, и аналогичными экспериментальными настройками, включая белые и черные пятна на дорожных знаках. В этой работе мы отделяем архитектуры моделей от наборов данных и оцениваем на дополнительных общих моделях, чтобы сделать справедливое сравнение. Кроме того, мы сравниваем две настройки атаки, незаметную и видимую, которые обычно рассматриваются без прямого сравнения. Наши результаты показывают, что стандартные базовые модели, такие как LISA-CNN или GTSRB-CNN, значительно более уязвимы, чем общие. Поэтому мы предлагаем оценивать новые атаки на более широком спектре базовых моделей в будущем. Наш код доступен по адресу https://github. com/KASTEL-MobilityLab/attacks-on-traffic-sign-recognition/ - Evaluating Adversarial Attacks on Traffic Sign Classifiers beyond Standard Baselines

См. также другие публикации по теме физические атаки

Аномалии временных рядов

Недавние достижения в технологии сбора данных, сопровождаемые постоянно растущим объемом и скоростью потоковой передачи данных, подчеркивают насущную необходимость в аналитике временных рядов. В этой связи обнаружение аномалий временных рядов стало важной деятельностью, влекущей за собой различные приложения в таких областях, как кибербезопасность, финансовые рынки, правоохранительные органы и здравоохранение. В то время как традиционная литература по обнаружению аномалий сосредоточена на статистических мерах, растущее число алгоритмов машинного обучения в последние годы требует структурированной общей характеристики методов исследования для обнаружения аномалий временных рядов. Этот обзор группирует и суммирует существующие решения по обнаружению аномалий в рамках таксономии, ориентированной на процесс, в контексте временных рядов. Помимо предоставления оригинальной категоризации методов обнаружения аномалий, мы также проводим метаанализ литературы и излагаем общие тенденции в исследованиях обнаружения аномалий временных рядов. - Dive into Time-Series Anomaly Detection: A Decade Review

Образование в эпоху LLM

Учебник по линейной алгебре, написанный с участием LLM

ACM RecSys 2024

Интересный обзор конференции по рекомендательным системам

См. также другие публикации, посвященные рекомендательным системам

Устройство ИИ-агентов

В работе рассматриваются архитектуры агентов для систем Искусственного интеллекта. Слово “агент” стало темой 2024 года для такого рода систем. Агентный Искусственный интеллект рассматривается как следующий шаг в развитии генеративных моделей. Соответственно, агенты для больших языковых моделей (базовых моделей) представляют собой одно из наиболее бурно развивающихся направлений исследований. Агент искусственного интеллекта представляет собой программу (программное обеспечение), которое умеет собирать данные и на их основе самостоятельно и выполнять задачи, позволяющие добиться заранее определенных целей. Для выполнения задач агенты задействуют одну или несколько языковых моделей. Агенты можно рассматривать как логичный шаг в помощи разработчикам создавать рабочие процессы (реализовывать бизнес-модели) с помощью больших языковых (базовых) моделей. С точки зрения сбора (анализа) информации агенты можно сравнить с давно известными мэшапами (веб-мэшапами, например), с точки зрения выполнения каких-либо действий – с программными роботами. Большие языковые модели сегодня могут содержать встроенную поддержку некоторых рабочих процессов. Альтернатива – разного рода фреймворки, которые призваны упростить процесс создания агентов. - Архитектура LLM-агентов

LLM 2024

Очень интересный обзор - развитие LLM в 2024 году

Интересно мнения автора по поводу агентов: "Что бы ни значил этот термин, у агентов все еще есть это постоянное ощущение «скоро». Оставив в стороне терминологию, я остаюсь скептически настроенным относительно их полезности, основанной, опять же, на проблеме доверчивости. LLM верят всему, что вы им говорите. Любая система, которая пытается принимать осмысленные решения от вашего имени, столкнется с тем же препятствием: насколько хорош турагент, или цифровой помощник, или даже исследовательский инструмент, если он не может отличить правду от вымысла?"

Вот пример такой доверчивости - галлюцинации LLM, которым в запросе указали вымышленную информацию (про административную границу, про морские курорты в Белоруссии)

См. также другие публикации, посвященные LLM

Лабораторные работы по IoT

Детально разработанные практические занятия по IoT. На базе Cisco Packet Tracer

Физический бэкдор

"Атаки бэкдора внедряют скрытые связи между триггерами и целями в глубокие нейронные сети (DNN), заставляя их предсказывать цель при наличии триггера, сохраняя при этом нормальное поведение в противном случае. Физические атаки бэкдора, которые используют физические объекты в качестве триггеров, возможны, но им не хватает дистанционного управления, временной скрытности, гибкости и мобильности. Чтобы преодолеть эти ограничения, в этой работе мы предлагаем новый тип триггеров бэкдора, использующих лазеры, которые обладают свойствами передачи на большие расстояния и мгновенной визуализации. Основываясь на триггерах бэкдора на основе лазера, мы представляем физическую атаку бэкдора, называемую LaserGuider, которая обладает возможностью дистанционного управления и достигает высокой временной скрытности, гибкости и мобильности. Мы также представляем систематический подход к оптимизации параметров лазера для повышения эффективности атаки. Наша оценка распознавания дорожных знаков DNN, критически важных для автономных транспортных средств, показывает, что LaserGuider с тремя различными триггерами на основе лазера достигает более 90% успеха атаки с незначительным влиянием на обычные входные данные. Кроме того, мы выпускаем LaserMark, первый набор данных реальных дорожных знаков, проштампованных физическими лазерными точками, для поддержки дальнейших исследований в области атак через бэкдор и защиты." - LaserGuider: A Laser Based Physical Backdoor Attack against Deep Neural Networks

P.S. См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

LLM и поиск уязвимостей в коде

"Обнаружение уязвимостей имеет решающее значение для поддержания безопасности программного обеспечения, и недавние исследования изучали использование языковых моделей (LM) для этой задачи. Хотя LM показали многообещающие результаты, их производительность была непоследовательной в разных наборах данных, особенно при обобщении на невидимый код. Более того, большинство исследований были сосредоточены на языке программирования C/C++, с ограниченным вниманием к другим популярным языкам. В этой статье этот пробел устраняется путем исследования эффективности LM для обнаружения уязвимостей в JavaScript, Java, Python, PHP и Go, в дополнение к C/C++ для сравнения. Мы используем набор данных CVEFixes для создания разнообразной коллекции уязвимостей, специфичных для языка, и предварительной обработки данных для обеспечения качества и целостности. Мы тонко настраиваем и оцениваем современные LM для выбранных языков и обнаруживаем, что производительность обнаружения уязвимостей значительно различается. JavaScript демонстрирует наилучшую производительность, со значительно лучшими и более практичными возможностями обнаружения по сравнению с C/C++. Мы также изучаем взаимосвязь между сложностью кода и эффективностью обнаружения на шести языках и обнаруживаем лишь слабую корреляцию между показателями сложности кода и оценками моделей F1." - Vulnerability Detection in Popular Programming Languages with Language Models

"Несмотря на свой замечательный успех, большие языковые модели (LLM) продемонстрировали ограниченные возможности в прикладных задачах, таких как обнаружение уязвимостей. Мы исследуем различные стратегии подсказок для обнаружения уязвимостей и в рамках этого исследования предлагаем стратегию подсказок, которая объединяет описания уязвимостей на естественном языке с подходом к контрастной цепочке рассуждений, дополненным контрастными образцами из синтетического набора данных. Наше исследование подчеркивает потенциал LLM для обнаружения уязвимостей путем интеграции описаний на естественном языке, контрастных рассуждений и синтетических примеров в комплексную структуру подсказок. Наши результаты показывают, что этот подход может улучшить понимание LLM уязвимостей. На высококачественном наборе данных для обнаружения уязвимостей, таком как SVEN, наши стратегии подсказок могут улучшить точность, F1-баллы и парные точности на 23%, 11% и 14% соответственно"- Can LLM Prompting Serve as a Proxy for Static Analysis in Vulnerability Detection

См. также другие публикации, посвященные LLM

Значимые статьи по LLM

Значимые работы по AI (LLM) 2024 года

Переносимость физических состязательных атак

"Физические состязательные атаки сталкиваются со значительными трудностями в достижении переносимости между различными моделями обнаружения объектов, особенно в условиях реального мира. Это в первую очередь связано с различиями в архитектурах моделей, обучающих данных и стратегиях обнаружения, которые могут сделать состязательные примеры весьма специфичными для модели. В этом исследовании представлен подход к состязательному обучению с несколькими моделями для улучшения переносимости состязательных текстур между различными моделями обнаружения, включая одноступенчатые, двухступенчатые и основанные на трансформаторах архитектуры. Используя фреймворк Truck Adversarial Camouflage Optimization (TACO) и новую комбинацию моделей YOLOv8n, YOLOv5m и YOLOv3 для оптимизации, наш подход достигает показателя обнаружения AP@0.5, равного 0,0972 — более чем на 50% ниже, чем текстуры, обученные только на отдельных моделях. Этот результат подчеркивает важность многомодельного обучения для повышения эффективности атак между детекторами объектов, способствуя повышению эффективности состязания." - Improving Transferability of Physical Adversarial Attacks on Object Detectors Through Multi-Model Optimization

P.S. См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Состязательные атаки на NIDS

"Системы обнаружения сетевых вторжений (NIDS) жизненно важны для защиты сетей Интернета вещей (IoT) от вредоносных атак. Современные NIDS используют методы машинного обучения (ML) для борьбы с развивающимися угрозами. В этом исследовании систематически изучались состязательные атаки, исходящие из области изображений, против NIDS на основе ML, при этом включался разнообразный выбор моделей ML. В частности, мы оценили атаки как «белого ящика», так и «черного ящика» на девяти часто используемых моделях NIDS на основе ML. Мы проанализировали атаку Projected Gradient Descent (PGD), которая использует градиентный спуск на входных признаках, атаки переноса, атаку оптимизации нулевого порядка (ZOO) на основе оценок и две атаки на основе решений: Boundary и HopSkipJump. Используя набор данных NSL-KDD, мы оценили точность атакуемых моделей ML и процент успешных состязательных атак. Наши результаты показали, что атаки на основе принятия решений черного ящика были высокоэффективны против большинства моделей машинного обучения, достигнув показателя успешности атак, превышающего 86% по восьми моделям. Кроме того, в то время как модели логистической регрессии и многослойного персептрона были весьма восприимчивы ко всем изученным атакам, модели машинного обучения на основе экземпляров, такие как KNN и распространение меток, продемонстрировали устойчивость к этим атакам. Эти идеи будут способствовать разработке более надежных NIDS против состязательных атак в средах IoT." - A Systematic Study of Adversarial Attacks Against Network Intrusion Detection Systems

P.S. См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Спуфинг атака на CPS

"Разработка атак с подменой датчиков для киберфизических систем (CPS) получила значительное внимание в литературе, поскольку она может выявить основные уязвимости CPS. Мы представляем динамический подход обратной связи для разработки скрытых атак с подменой датчиков против CPS. В отличие от существующих работ, мы рассматриваем случай, когда злоумышленник имеет ограниченные знания о динамической модели жертвы CPS, характеризующейся политопической неопределенностью. Показано, что, несмотря на ограниченные знания злоумышленника, предлагаемый метод атаки с подменой датчиков может доказуемо избежать обнаружения встроенным механизмом обнаружения, даже при наличии неопределенностей модели, шумов измерений и помех. Кроме того, мы показываем, что полученная схема атаки рекурсивно осуществима, т. е. разработанная атака на текущем временном шаге обеспечивает постоянное удовлетворение ограничений обнаружения на протяжении всей атаки. Наконец, мы демонстрируем эффективность нашего подхода посредством иллюстративного численного моделирования атаки с использованием подмены датчиков на квадрокоптере." - Adversarial Sensor Attacks Against Uncertain Cyber-Physical Systems: A Dynamic Output Feedback Approach

CPS и безопасность

Хороший ресурс по безопасности кибер-физических систем