Агенты: белая книга

Это сочетание рассуждений, логики и доступа к внешней информации, которые все связаны с моделью генеративного ИИ, вызывает концепцию агента. - Google об ИИ-агентах P.S. см. также нашу статью об архитектуре LLM-агентов

LLM в анализе сетевого трафика

Интеграция технологии Интернета вещей (IoT) в различные области привела к эксплуатационным усовершенствованиям, но также создала новые уязвимости для угроз кибербезопасности, о чем свидетельствуют недавние широко распространенные кибератаки на устройства IoT. Системы обнаружения вторжений часто являются реактивными, запускаемыми определенными шаблонами или аномалиями, наблюдаемыми в сети. Для решения этой проблемы в этой работе предлагается проактивный подход к предвидению и упреждающему смягчению вредоносных действий, направленный на предотвращение потенциального ущерба до его возникновения. В этой статье предлагается инновационная структура прогнозирования вторжений, усиленная предварительно обученными большими языковыми моделями (LLM). Структура включает две LLM: тонко настроенную модель двунаправленных и авторегрессивных преобразователей (BART) для прогнозирования сетевого трафика и тонко настроенную модель двунаправленных представлений кодировщика из преобразователей (BERT) для оценки прогнозируемого трафика. Используя двунаправленные возможности BART, фреймворк затем идентифицирует вредоносные пакеты среди этих прогнозов. Оцененный с использованием набора данных атак IoT CICIoT2023, наш фреймворк демонстрирует заметное улучшение в производительности прогнозирования, достигая впечатляющей общей точности 98%, предоставляя мощный ответ на проблемы кибербезопасности, с которыми сталкиваются сети IoT. - BARTPredict: Empowering IoT Security with LLM-Driven Cyber Threat Prediction

См. также другие публикации, посвященные LLM

Атаки черного ящика

Хотя состязательная устойчивость широко изучалась в условиях белого ящика, последние достижения в атаках черного ящика (включая подходы на основе передачи и запросов) в первую очередь сопоставляются со слабыми защитами, оставляя значительный разрыв в оценке их эффективности по сравнению с более новыми и умеренно надежными моделями (например, представленными в таблице лидеров Robustbench). В этой статье мы ставим под сомнение это отсутствие внимания со стороны атак черного ящика к надежным моделям. Мы устанавливаем структуру для оценки эффективности последних атак черного ящика как против самых эффективных, так и против стандартных механизмов защиты на наборе данных ImageNet. Наша эмпирическая оценка показывает следующие основные выводы:

(1) наиболее продвинутые атаки черного ящика с трудом достигают успеха даже против простых обученных состязательным образом моделей;
(2) надежные модели, оптимизированные для противостояния сильным атакам белого ящика, таким как AutoAttack, также демонстрируют повышенную устойчивость к атакам черного ящика;
(3) надежность соответствия между суррогатными моделями и целевой моделью играет ключевую роль в успехе атак на основе передачи.

Отсюда

Атаки черного ящика, конечно, являются самым реалистичным случаем. Интересная работа, которая исследует - насколько же они эффективны

P.S. См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Бортовые компьютеры

За последние три десятилетия принятие более высоких порогов риска в космической отрасли способствовало широкой интеграции коммерческих готовых (COTS) компонентов в авионику и полезную нагрузку, что привело к заметной трансформации в проектировании космических миссий. Эта трансформация привела к появлению Новой космической экономики и широкому принятию экономичных или малых спутников в целом, особенно CubeSats. CubeSats в настоящее время широко используются в коммерческих, научных и исследовательских приложениях благодаря своей универсальности, доступности, простоте разработки и ускоренным срокам разработки. Бортовые вычисления играют решающую роль в проектировании миссий CubeSat, поскольку для решения задач будущих миссий требуются все более высокопроизводительные вычислительные требования. В этой статье систематически рассматривается современное состояние подсистемы управления и обработки данных CubeSat (C&DH), охватывающее как аппаратные компоненты, так и фреймворки разработки полетного программного обеспечения (FSW). В нем представлен анализ основных характеристик и последних разработок бортовых компьютеров (OBC) в коммерческих и академических институциональных проектах, финансируемых правительствами, агентствами и государственными учреждениями. В нем далее рассматривается влияние космической радиации на компоненты авионики и обсуждаются основные методы отказоустойчивости, используемые в платформах CubeSat. Наконец, в этой статье освещаются тенденции и опасности для будущей авионики CubeSat, а также определяются потенциальные направления будущих разработок в области высокопроизводительных бортовых вычислений. Объединяя современные исследования и отраслевые идеи, эта статья направлена ​​на то, чтобы пролить свет на конструкцию OBC CubeSat, предоставив обзор существующего технологического ландшафта и проблем, которые необходимо решить для потребностей миссий следующего поколения. - фундаментальный обзор On-Board Computer for CubeSats: State-of-the-Art and Future Trends

Poisson vs Binomial

Хорошее объяснение: Распределение Пуассона и биномиальное распределение

Чтобы определить, какое распределение использовать: пуассоновское или биномиальное, спросите себя:

Присутствует ли фиксированное количество испытаний?

Да → биномиальное.
Нет → пуассоновское.

Вероятность успеха мала при большом количестве испытаний?

Да → рассмотрите пуассоновское как приближение.

Распознавание дорожных знаков

Состязательные атаки на модели классификации дорожных знаков были одними из первых, успешно опробованных в реальном мире. С тех пор исследования в этой области в основном ограничивались повторением базовых моделей, таких как LISA-CNN или GTSRB-CNN, и аналогичными экспериментальными настройками, включая белые и черные пятна на дорожных знаках. В этой работе мы отделяем архитектуры моделей от наборов данных и оцениваем на дополнительных общих моделях, чтобы сделать справедливое сравнение. Кроме того, мы сравниваем две настройки атаки, незаметную и видимую, которые обычно рассматриваются без прямого сравнения. Наши результаты показывают, что стандартные базовые модели, такие как LISA-CNN или GTSRB-CNN, значительно более уязвимы, чем общие. Поэтому мы предлагаем оценивать новые атаки на более широком спектре базовых моделей в будущем. Наш код доступен по адресу https://github. com/KASTEL-MobilityLab/attacks-on-traffic-sign-recognition/ - Evaluating Adversarial Attacks on Traffic Sign Classifiers beyond Standard Baselines

См. также другие публикации по теме физические атаки

Аномалии временных рядов

Недавние достижения в технологии сбора данных, сопровождаемые постоянно растущим объемом и скоростью потоковой передачи данных, подчеркивают насущную необходимость в аналитике временных рядов. В этой связи обнаружение аномалий временных рядов стало важной деятельностью, влекущей за собой различные приложения в таких областях, как кибербезопасность, финансовые рынки, правоохранительные органы и здравоохранение. В то время как традиционная литература по обнаружению аномалий сосредоточена на статистических мерах, растущее число алгоритмов машинного обучения в последние годы требует структурированной общей характеристики методов исследования для обнаружения аномалий временных рядов. Этот обзор группирует и суммирует существующие решения по обнаружению аномалий в рамках таксономии, ориентированной на процесс, в контексте временных рядов. Помимо предоставления оригинальной категоризации методов обнаружения аномалий, мы также проводим метаанализ литературы и излагаем общие тенденции в исследованиях обнаружения аномалий временных рядов. - Dive into Time-Series Anomaly Detection: A Decade Review

Образование в эпоху LLM

Учебник по линейной алгебре, написанный с участием LLM

ACM RecSys 2024

Интересный обзор конференции по рекомендательным системам

См. также другие публикации, посвященные рекомендательным системам

Устройство ИИ-агентов

В работе рассматриваются архитектуры агентов для систем Искусственного интеллекта. Слово “агент” стало темой 2024 года для такого рода систем. Агентный Искусственный интеллект рассматривается как следующий шаг в развитии генеративных моделей. Соответственно, агенты для больших языковых моделей (базовых моделей) представляют собой одно из наиболее бурно развивающихся направлений исследований. Агент искусственного интеллекта представляет собой программу (программное обеспечение), которое умеет собирать данные и на их основе самостоятельно и выполнять задачи, позволяющие добиться заранее определенных целей. Для выполнения задач агенты задействуют одну или несколько языковых моделей. Агенты можно рассматривать как логичный шаг в помощи разработчикам создавать рабочие процессы (реализовывать бизнес-модели) с помощью больших языковых (базовых) моделей. С точки зрения сбора (анализа) информации агенты можно сравнить с давно известными мэшапами (веб-мэшапами, например), с точки зрения выполнения каких-либо действий – с программными роботами. Большие языковые модели сегодня могут содержать встроенную поддержку некоторых рабочих процессов. Альтернатива – разного рода фреймворки, которые призваны упростить процесс создания агентов. - Архитектура LLM-агентов

LLM 2024

Очень интересный обзор - развитие LLM в 2024 году

Интересно мнения автора по поводу агентов: "Что бы ни значил этот термин, у агентов все еще есть это постоянное ощущение «скоро». Оставив в стороне терминологию, я остаюсь скептически настроенным относительно их полезности, основанной, опять же, на проблеме доверчивости. LLM верят всему, что вы им говорите. Любая система, которая пытается принимать осмысленные решения от вашего имени, столкнется с тем же препятствием: насколько хорош турагент, или цифровой помощник, или даже исследовательский инструмент, если он не может отличить правду от вымысла?"

Вот пример такой доверчивости - галлюцинации LLM, которым в запросе указали вымышленную информацию (про административную границу, про морские курорты в Белоруссии)

См. также другие публикации, посвященные LLM

Лабораторные работы по IoT

Детально разработанные практические занятия по IoT. На базе Cisco Packet Tracer

Физический бэкдор

"Атаки бэкдора внедряют скрытые связи между триггерами и целями в глубокие нейронные сети (DNN), заставляя их предсказывать цель при наличии триггера, сохраняя при этом нормальное поведение в противном случае. Физические атаки бэкдора, которые используют физические объекты в качестве триггеров, возможны, но им не хватает дистанционного управления, временной скрытности, гибкости и мобильности. Чтобы преодолеть эти ограничения, в этой работе мы предлагаем новый тип триггеров бэкдора, использующих лазеры, которые обладают свойствами передачи на большие расстояния и мгновенной визуализации. Основываясь на триггерах бэкдора на основе лазера, мы представляем физическую атаку бэкдора, называемую LaserGuider, которая обладает возможностью дистанционного управления и достигает высокой временной скрытности, гибкости и мобильности. Мы также представляем систематический подход к оптимизации параметров лазера для повышения эффективности атаки. Наша оценка распознавания дорожных знаков DNN, критически важных для автономных транспортных средств, показывает, что LaserGuider с тремя различными триггерами на основе лазера достигает более 90% успеха атаки с незначительным влиянием на обычные входные данные. Кроме того, мы выпускаем LaserMark, первый набор данных реальных дорожных знаков, проштампованных физическими лазерными точками, для поддержки дальнейших исследований в области атак через бэкдор и защиты." - LaserGuider: A Laser Based Physical Backdoor Attack against Deep Neural Networks

P.S. См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

LLM и поиск уязвимостей в коде

"Обнаружение уязвимостей имеет решающее значение для поддержания безопасности программного обеспечения, и недавние исследования изучали использование языковых моделей (LM) для этой задачи. Хотя LM показали многообещающие результаты, их производительность была непоследовательной в разных наборах данных, особенно при обобщении на невидимый код. Более того, большинство исследований были сосредоточены на языке программирования C/C++, с ограниченным вниманием к другим популярным языкам. В этой статье этот пробел устраняется путем исследования эффективности LM для обнаружения уязвимостей в JavaScript, Java, Python, PHP и Go, в дополнение к C/C++ для сравнения. Мы используем набор данных CVEFixes для создания разнообразной коллекции уязвимостей, специфичных для языка, и предварительной обработки данных для обеспечения качества и целостности. Мы тонко настраиваем и оцениваем современные LM для выбранных языков и обнаруживаем, что производительность обнаружения уязвимостей значительно различается. JavaScript демонстрирует наилучшую производительность, со значительно лучшими и более практичными возможностями обнаружения по сравнению с C/C++. Мы также изучаем взаимосвязь между сложностью кода и эффективностью обнаружения на шести языках и обнаруживаем лишь слабую корреляцию между показателями сложности кода и оценками моделей F1." - Vulnerability Detection in Popular Programming Languages with Language Models

"Несмотря на свой замечательный успех, большие языковые модели (LLM) продемонстрировали ограниченные возможности в прикладных задачах, таких как обнаружение уязвимостей. Мы исследуем различные стратегии подсказок для обнаружения уязвимостей и в рамках этого исследования предлагаем стратегию подсказок, которая объединяет описания уязвимостей на естественном языке с подходом к контрастной цепочке рассуждений, дополненным контрастными образцами из синтетического набора данных. Наше исследование подчеркивает потенциал LLM для обнаружения уязвимостей путем интеграции описаний на естественном языке, контрастных рассуждений и синтетических примеров в комплексную структуру подсказок. Наши результаты показывают, что этот подход может улучшить понимание LLM уязвимостей. На высококачественном наборе данных для обнаружения уязвимостей, таком как SVEN, наши стратегии подсказок могут улучшить точность, F1-баллы и парные точности на 23%, 11% и 14% соответственно"- Can LLM Prompting Serve as a Proxy for Static Analysis in Vulnerability Detection

См. также другие публикации, посвященные LLM

Значимые статьи по LLM

Значимые работы по AI (LLM) 2024 года

Переносимость физических состязательных атак

"Физические состязательные атаки сталкиваются со значительными трудностями в достижении переносимости между различными моделями обнаружения объектов, особенно в условиях реального мира. Это в первую очередь связано с различиями в архитектурах моделей, обучающих данных и стратегиях обнаружения, которые могут сделать состязательные примеры весьма специфичными для модели. В этом исследовании представлен подход к состязательному обучению с несколькими моделями для улучшения переносимости состязательных текстур между различными моделями обнаружения, включая одноступенчатые, двухступенчатые и основанные на трансформаторах архитектуры. Используя фреймворк Truck Adversarial Camouflage Optimization (TACO) и новую комбинацию моделей YOLOv8n, YOLOv5m и YOLOv3 для оптимизации, наш подход достигает показателя обнаружения AP@0.5, равного 0,0972 — более чем на 50% ниже, чем текстуры, обученные только на отдельных моделях. Этот результат подчеркивает важность многомодельного обучения для повышения эффективности атак между детекторами объектов, способствуя повышению эффективности состязания." - Improving Transferability of Physical Adversarial Attacks on Object Detectors Through Multi-Model Optimization

P.S. См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Состязательные атаки на NIDS

"Системы обнаружения сетевых вторжений (NIDS) жизненно важны для защиты сетей Интернета вещей (IoT) от вредоносных атак. Современные NIDS используют методы машинного обучения (ML) для борьбы с развивающимися угрозами. В этом исследовании систематически изучались состязательные атаки, исходящие из области изображений, против NIDS на основе ML, при этом включался разнообразный выбор моделей ML. В частности, мы оценили атаки как «белого ящика», так и «черного ящика» на девяти часто используемых моделях NIDS на основе ML. Мы проанализировали атаку Projected Gradient Descent (PGD), которая использует градиентный спуск на входных признаках, атаки переноса, атаку оптимизации нулевого порядка (ZOO) на основе оценок и две атаки на основе решений: Boundary и HopSkipJump. Используя набор данных NSL-KDD, мы оценили точность атакуемых моделей ML и процент успешных состязательных атак. Наши результаты показали, что атаки на основе принятия решений черного ящика были высокоэффективны против большинства моделей машинного обучения, достигнув показателя успешности атак, превышающего 86% по восьми моделям. Кроме того, в то время как модели логистической регрессии и многослойного персептрона были весьма восприимчивы ко всем изученным атакам, модели машинного обучения на основе экземпляров, такие как KNN и распространение меток, продемонстрировали устойчивость к этим атакам. Эти идеи будут способствовать разработке более надежных NIDS против состязательных атак в средах IoT." - A Systematic Study of Adversarial Attacks Against Network Intrusion Detection Systems

P.S. См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению