Нечеловеческий анализ смарт-контрактов

Смарт-контракты являются фундаментальными столпами блокчейна, играя важную роль в содействии различным бизнес-транзакциям. Однако эти смарт-контракты уязвимы для эксплуатируемых ошибок, которые могут привести к значительным денежным потерям. Недавнее исследование показывает, что более 80% этих эксплуатируемых ошибок, которые в основном являются функциональными ошибками, могут ускользнуть от обнаружения текущими инструментами. Автоматическое выявление функциональных ошибок в смарт-контрактах представляет собой сложности с нескольких точек зрения. Основная проблема заключается в значительном разрыве между пониманием высокоуровневой логики бизнес-модели и проверкой низкоуровневых реализаций в смарт-контрактах. Кроме того, выявление глубоко укоренившихся функциональных ошибок в смарт-контрактах требует автоматизированной генерации эффективных оракулов обнаружения на основе различных функций ошибок. Для решения этих проблем мы проектируем и внедряем PromFuzz, автоматизированную и масштабируемую систему для обнаружения функциональных ошибок в смарт-контрактах. В PromFuzz мы сначала предлагаем новую структуру анализа на основе Large Language Model (LLM), которая использует стратегию двухагентной оперативной инженерии для выявления потенциально уязвимых функций для дальнейшего изучения. Затем мы реализуем двухэтапный подход связывания, который фокусируется на создании инвариантных контролеров, которые используют логическую информацию, извлеченную из потенциально уязвимых функций. Наконец, мы разрабатываем ориентированный на ошибки механизм фаззинга, который сопоставляет логическую информацию из высокоуровневой бизнес-модели с низкоуровневыми реализациями смарт-контрактов и выполняет ориентированный на ошибки фаззинг на целевых функциях. Мы оцениваем PromFuzz с 4 точек зрения на 6 наборах данных наземной истины и сравниваем его с несколькими современными методами. Результаты показывают, что PromFuzz достигает 86,96% отзыва и 93,02% F1-оценки при обнаружении функциональных ошибок, что означает улучшение как минимум на 50% по обеим показателям по сравнению с передовыми методами. Более того, мы проводим углубленный анализ 6 реальных проектов DeFi и обнаруживаем 30 ошибок нулевого дня. Наши дальнейшие исследования случаев, рискованной ошибки первого депозита и ошибки манипуляции ценовым оракулом AMM в реальных проектах DeFi, демонстрируют серьезные риски эксплуатируемых функциональных ошибок в смарт-контрактах. На сегодняшний день 24 ошибкам нулевого дня были присвоены идентификаторы CVE. Наши открытия защитили активы на общую сумму 18,2 млрд долларов от потенциальных денежных потерь. - Detecting Functional Bugs in Smart Contracts through LLM-Powered and Bug-Oriented Composite Analysis

Промышленные ИБП

Промышленные источники бесперебойного питания (ИБП) – это мощный источник бесперебойного питания, который предназначен для обеспечения качественной электроэнергией промышленных объектов. Промышленные ИБП используются на производственных предприятиях, комплексах нефтедобычи и переработки, нефтехимии, на электростанциях и других объектах энергетики, на военных базах, на транспортных узлах и пр. При этом они обеспечивают электропитание не только систем контроля и автоматики, но и различных исполнительных механизмов Промышленные бесперебойники разрабатываются с учетом специфики стандартов конкретных отраслей. Отсюда: Промышленные и индустриальные ИБП. Системы гарантированного электроснабжения.

Всемирная история ядов

Глубокое обучение стало краеугольным камнем современного искусственного интеллекта, позволяя применять преобразующие приложения в широком спектре областей. Как основной элемент глубокого обучения, качество и безопасность обучающих данных критически влияют на производительность и надежность модели. Однако в процессе обучения модели глубокого обучения сталкиваются со значительной угрозой отравления данных, когда злоумышленники вводят злонамеренно манипулированные обучающие данные, чтобы ухудшить точность модели или привести к аномальному поведению. Хотя существующие опросы предоставляют ценную информацию об отравлении данных, они, как правило, принимают широкую перспективу, охватывающую как атаки, так и защиты, но не имеют специального, глубокого анализа атак отравления, особенно в глубоком обучении. В этом опросе мы устраняем этот пробел, представляя всеобъемлющий и целевой обзор отравления данных в глубоком обучении. Во-первых, этот опрос классифицирует атаки отравления данных по нескольким точкам зрения, предоставляя углубленный анализ их характеристик и основных принципов проектирования. Во-вторых, обсуждение распространяется на новую область отравления данных в больших языковых моделях (LLM). Наконец, мы исследуем критические открытые проблемы в этой области и предлагаем потенциальные направления исследований для дальнейшего продвижения этой области. Для поддержки дальнейшего исследования актуальный репозиторий ресурсов по отравлению данных в глубоком обучении доступен по адресу https://github.com/Pinlong-Zhao/Data-Poisoning - Data Poisoning in Deep Learning: A Survey

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Как отрулить?

Обновленный стандарт BSI Flex 1888 v2.0 - События минимального риска (MRX) для автоматизированных транспортных средств. Структура, позволяющая автоматизированной системе вождения (ADS) определять и выполнять маневры с минимальным риском, когда система выходит из строя или деградирует.

Федеративное зло

Федеративное обучение (FL) позволяет проводить совместное обучение модели на большом корпусе децентрализованных данных, находящихся на распределенной популяции периферийных клиентов. Все клиенты могут хранить свои конфиденциальные данные в тайне и делиться обновлениями локальной модели только с федеративным сервером. С точки зрения кибербезопасности, это, конечно, большая проблема. Что если один (или несколько) участников будут отравлять общую модель? Обзор Data Poisoning and Leakage Analysis in Federated Learning

См. другие публикации по федеративному обучению

Обзор систем накопления энергии (СНЭ)

Системы накопления энергии (СНЭ), также известные как системы хранения энергии, — это технологии, предназначенные для сохранения избыточной энергии в одном виде и её последующего использования в другом виде. Эти системы играют важную роль в энергетике, особенно в контексте возобновляемых источников энергии, таких как солнечная и ветровая энергия, где производство энергии зависит от погодных условий.

Основные типы СНЭ

Существует несколько типов систем накопления энергии, каждый из которых имеет свои особенности, преимущества и недостатки:

1.Химические аккумуляторы
Это один из наиболее распространённых видов накопителей энергии. Примеры включают литий-ионные батареи, свинцово-кислотные аккумуляторы и натрий-серные батареи. Принцип работы заключается в преобразовании электрической энергии в химическую энергию через электрохимические реакции, которые происходят внутри аккумулятора. Когда аккумулятор заряжается, энергия сохраняется в виде химической энергии, а когда разряжается — эта энергия превращается обратно в электрическую.

Преимущества:
- Высокая плотность энергии.
- Относительно компактный размер.
- Возможность многократной перезарядки.

Недостатки:
- Ограниченный срок службы (обычно до нескольких тысяч циклов зарядки-разрядки).
- Потери эффективности при низких температурах.
- Риск возгорания (особенно у литий-ионных батарей).

2.Гидроаккумуляция (ГАЭС)
Гидроаккумуляционные электростанции (ГАЭС) работают по принципу перекачки воды между двумя резервуарами на разных высотах. Во время избытка электроэнергии вода перекачивается вверх, а при необходимости выработки электричества она спускается вниз, вращая турбины.

Преимущества:
- Длительный срок службы (десятилетия).
- Быстрая реакция на изменение нагрузки.
- Большая ёмкость хранения.

Недостатки:
- Требуется значительная площадь земли и высокие капитальные затраты.
- Необходимость наличия географически подходящих мест (горы, холмы).

3.Компрессорные воздушные системы (CAES)
В компрессорных воздушных системах воздух сжимают под высоким давлением и хранят в подземных полостях или баллонах. При необходимости этот сжатый воздух расширяется, приводя в движение турбину для генерации электричества.

Преимущества:
- Простота конструкции.
- Высокие возможности масштабирования.

Недостатки:
- Снижение КПД из-за тепловых потерь.
- Потребность в больших объемах хранилищ.

4.Тепловые накопители
Тепло накапливается в различных материалах (например, воде, камнях, солях) и используется позже для отопления или производства пара, который приводит в движение турбины. Например, солнечные тепловые станции часто используют теплоаккумуляторы для обеспечения круглосуточной выработки энергии.

Преимущества:
- Дешевизна материалов.
- Эффективная передача тепла.

Недостатки:
- Ограниченная возможность хранения большого количества энергии.
- Трудности с использованием для крупномасштабных проектов.

5.Кинетическая энергия (маховики)
Маховик — это массивный ротор, который аккумулирует кинетическую энергию благодаря высокой скорости вращения. Энергия высвобождается путём замедления маховика, который передаёт крутящий момент генератору.

Преимущества:
- Очень высокая скорость отклика.
- Низкий износ.

Недостатки:
- Большой вес и габариты.
- Возможные проблемы с вибрациями.

6.Электромагнитные накопители (суперконденсаторы)
Суперконденсаторы накапливают электроэнергию в форме электрического поля между электродами. Они отличаются высокой плотностью мощности и длительным сроком службы, однако имеют меньшую плотность энергии по сравнению с батареями.

Преимущества:
- Огромное количество циклов заряда/разряда.
- Быстрое время зарядки.

Недостатки:
- Меньшая удельная энергоёмкость.

Состязательные атаки в IoT

Состязательные атаки представляют серьезную угрозу производительности модели ИИ в различных приложениях, включая Интернет вещей (IoT). Для противодействия этим атакам были предложены различные механизмы защиты. Однако их основное ограничение заключается в их неспособности эффективно обрабатывать более широкие наборы данных, полученные из различных приложений. В этом исследовании мы используем несколько моделей ИИ с адаптивными весами, применяемыми на разных уровнях нейронной сети для достижения повышенной производительности и более надежных результатов. В этом исследовании представлена новая модель глубокого обучения на основе ИИ для обнаружения угроз соперничества в системах IoT, оптимизирующая предварительную обработку данных, извлечение признаков и классификацию посредством целостного подхода. Для повышения эффективности предварительной обработки данных была применена трехступенчатая технология фильтрации с использованием адаптивных весов. Для максимизации производительности обучения признакам использовалась двухуровневая стратегия адаптивного извлечения признаков. Это уточняется с помощью адаптивных расширенных обогащенных операций свертки, тогда как статистические атрибуты оптимизируются с помощью квантового алгоритма оптимизации Коати (Q-COA). Двойная система, основанная на внутреннем внимании, объединяет ограниченную машину Больцмана (RBM) с рекуррентной сверточной нейронной сетью (RCNN). Эта конфигурация эффективно идентифицирует состязательные атаки, связывая классификаторы с помощью механизма распределения веса, управляемого внутренним вниманием. Предлагаемый двухуровневый подход распределения веса превосходит обычные классификаторы и достигает превосходной точности классификации. Эта комплексная модель искусственного интеллекта (ИИ) значительно повышает эффективность предварительной обработки, производительность обучения признакам и точность классификации, предлагая инновационное и надежное решение для обнаружения состязательных атак в системах Интернета вещей. Метрика производительности, площадь под кривой (AUC), достигает значений 0,95 и 0,97 для двух наборов данных с использованием предложенной модели, что подчеркивает ее эффективность по сравнению с моделями в сравнении. - Addressing Adversarial Attacks in IoT Using Deep Learning AI Models

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

LLM в анализе программного кода

Программное обеспечение подвержено уязвимостям безопасности. Инструменты анализа программ для их обнаружения имеют ограниченную эффективность на практике из-за их зависимости от маркированных человеком спецификаций. Большие языковые модели (или LLM) показали впечатляющие возможности генерации кода, но они не могут выполнять сложные рассуждения по коду для обнаружения таких уязвимостей, особенно потому, что эта задача требует анализа всего репозитория. Мы предлагаем IRIS, нейросимволический подход, который систематически объединяет LLM со статическим анализом для выполнения рассуждений всего репозитория для обнаружения уязвимостей безопасности. В частности, IRIS использует LLM для вывода спецификаций и выполнения контекстного анализа, устраняя необходимость в человеческих спецификациях и инспекции. Для оценки мы курируем новый набор данных CWE-Bench-Java, включающий 120 вручную проверенных уязвимостей безопасности в реальных проектах Java. Современный инструмент статического анализа CodeQL обнаруживает только 27 из этих уязвимостей, тогда как IRIS с GPT-4 обнаруживает 55 (+28) и улучшает средний показатель ложных срабатываний CodeQL на 5%. Кроме того, IRIS обнаруживает 4 ранее неизвестные уязвимости, которые не могут быть обнаружены существующими инструментами. IRIS доступен публично по адресу https://github.com/iris-sast/iris - IRIS: LLM-ASSISTED STATIC ANALYSIS FOR DETECTING SECURITY VULNERABILITIES

См. также другие публикации, посвященные LLM

Системы накопления энергии (СНЭ)

Система накопления электроэнергии (СНЭ) – это устройство, которое включает в себя батарею, устройство сопряжения с сетью (реверсивный инвертор) и систему управления. СНЭ – полноценный элемент цифровой электрической сети – он наблюдаем, управляем, и встраивается в общую систему управления электрической сетью.

Основной задачей СНЭ систем является выдача электроэнергии во внутреннюю сеть в те часы, когда стоимость электроэнергии и мощности максимальна. Интеллектуальная часть системы осуществляет предиктивную аналитику нагрузки сети и дистанционно управляет графиком заряда и разряда.

Применение системы позволит уменьшить колебания напряжения питающей сети, снизить расход электрической энергии за счёт исключения пиковых нагрузок на источник питания, а также позволит использовать ночной тариф для зарядки СНЭ. См. здесь каталог Систем накопления энергии (СНЭ)

О красных линиях

Определение того, пересекает ли цель заданную зону (например, дверь), может обеспечить различные практические приложения в умных домах, включая интеллектуальную безопасность и подсчет людей. Традиционный подход на основе инфракрасного излучения охватывает только линию и может быть легко взломан. Напротив, повторное использование вездесущих устройств WiFi, развернутых в домах, имеет потенциал для покрытия большей области интереса, поскольку сигналы WiFi разбросаны по всему пространству. Обнаруживая направление движения (т. е. приближение и удаление) с изменением силы сигнала WiFi, существующая работа может идентифицировать поведение пересечения между парой приемопередатчиков WiFi. Однако этот метод ошибочно классифицирует поведение возврата как поведение пересечения, что приводит к высокому уровню ложных тревог. В этой статье мы предлагаем WiCross, который может точно различать поведение возврата с помощью шаблона фазовой статистики сигналов WiFi и, таким образом, надежно определять, пересекает ли цель область между парой приемопередатчиков WiFi. Мы внедряем WiCross с коммерческими устройствами WiFi, и обширные эксперименты показывают, что WiCross может достигать точности выше 95% при частоте ложных срабатываний менее 5%. - WiCross: Indoor Human Zone-Crossing Detection Using Commodity WiFi Devices

LLM для пространства и времени

Пространственно-временная (Spation-Temporal - ST) наука о данных, которая включает в себя зондирование, управление и добычу крупномасштабных данных в пространстве и времени, имеет основополагающее значение для понимания сложных систем в таких областях, как городские вычисления, климатология и интеллектуальный транспорт. Традиционные подходы к глубокому обучению значительно продвинули эту область, особенно на этапе добычи данных ST. Однако эти модели остаются специфичными для конкретной задачи и часто требуют обширных маркированных данных. Вдохновленные успехом моделей Foundation (FM), особенно больших языковых моделей, исследователи начали изучать концепцию пространственно-временных моделей Foundation (STFM) для повышения адаптивности и обобщения в различных задачах ST. В ​​отличие от предыдущих архитектур, STFM расширяют возможности всего рабочего процесса науки о данных ST, начиная от зондирования данных, управления и заканчивая добычей данных, тем самым предлагая более целостный и масштабируемый подход. Несмотря на быстрый прогресс, систематическое исследование STFM для науки о данных ST по-прежнему отсутствует. Целью данного исследования является предоставление всестороннего обзора STFM, категоризация существующих методологий и определение ключевых направлений исследований для развития общего интеллекта ST - Foundation Models for Spatio-Temporal Data Science: A Tutorial and Survey

ИИ в критических системах

Можно ожидать непрерывного увеличения функций на основе искусственного интеллекта (ИИ) для будущих авиационных систем, что создает значительные проблемы для традиционных процессов разработки. Устоявшиеся фреймворки системной инженерии, такие как V-модель, неадекватно решают новые проблемы, связанные с системами на основе ИИ. Следовательно, Агентство по безопасности полетов Европейского союза (EASA) представило W-образный процесс как усовершенствование V-модели, чтобы установить нормативную базу для новых проблем инженерии ИИ. Напротив, подход Agile Development Operations (DevOps), широко принятый в разработке программного обеспечения, способствует бесконечному итеративному процессу разработки. В этой статье предлагается новая концепция, которая интегрирует аспекты DevOps в W-образный процесс для создания фреймворка инженерии ИИ, подходящего для авиационных приложений. Кроме того, он основывается на проверенных идеях и методах с использованием усилий инженерии ИИ из других областей. Предлагаемое расширение W-образного процесса, совместимое с текущими стандартизациями от рабочей группы по стандартизации G34/WG-114, совместными усилиями EUROCAE и SAE, решает потребность в строгом процессе разработки для систем на основе ИИ, признавая при этом его ограничения и потенциал для будущих усовершенствований. Предлагаемая структура позволяет переоценивать компонент ИИ/МО на основе информации из операций, что позволяет улучшать возможности системы в каждой итерации. - Formulating an Engineering Framework for Future AI Certification in Aviation

ИБП для промышленности

Промышленные ИБП – это мощный источник бесперебойного питания, который предназначен для обеспечения качественной электроэнергией промышленных объектов. В качестве объекта может выступать крупный производственный комплекс, цех, станок или другое индустриальное оборудование. Промышленные бесперебойники разрабатываются с учетом специфики стандартов конкретных отраслей.

Основным критерием выбора модели ИБП является оптимальная мощность, которая сможет обеспечить защиту требовательного оборудования от перебоев и отключения электропитания. Для повышения уровня надежности рекомендуется использовать ИБП с определенным запасом мощности, зависящим от сферы применения.

Промышленные источники бесперебойного питания (ИБП) отличаются от бытовых моделей рядом характеристик, делающих их подходящими для работы в сложных условиях и требовательных приложений. Вот ключевые особенности промышленных ИБП:

1.Высокая мощность Промышленные ИБП предназначены для обеспечения электроэнергией крупных объектов — заводов, серверных центров, медицинских учреждений и т.п., где потребляемая мощность значительно превышает бытовые потребности. Это означает, что такие устройства обладают мощностью от десятков до сотен киловатт.

2.Прочность конструкции В отличие от бытовых ИБП, промышленный вариант рассчитан на эксплуатацию в тяжелых условиях: высокая влажность, вибрации, агрессивная среда, экстремальные температуры. Для этого корпуса часто изготавливаются из прочных материалов, защищенных от внешних воздействий (например, IP54 и выше).

3.Надежность и отказоустойчивость Работа промышленного оборудования критически важна, поэтому промышленные ИБП имеют повышенную надежность и резервирование ключевых компонентов. Например, система двойного преобразования (online-режим), когда энергия проходит через два этапа преобразования, позволяет минимизировать вероятность сбоев.

4.Широкий диапазон входного напряжения Промышленные сети подвержены большим колебаниям напряжения, особенно в удалённых районах или на предприятиях с высокой нагрузкой. Поэтому промышленные ИБП способны поддерживать стабильное выходное напряжение даже при значительных отклонениях входного.

5.Интеграция с системами автоматизации Современные промышленные ИБП часто оснащены интерфейсами для интеграции с системами SCADA, мониторинга и диспетчеризации. Это позволяет удалённо контролировать состояние ИБП, получать уведомления о сбоях и управлять работой системы.

6.Продолжительное время автономной работы Часто предприятия требуют длительную работу в случае отключения основного энергоснабжения. Для этого промышленные ИБП комплектуются мощными батареями либо возможностью подключения внешних аккумуляторов большой ёмкости.

7.Возможность параллельного подключения Чтобы увеличить общую мощность или повысить надёжность, промышленные ИБП поддерживают возможность параллельной работы нескольких устройств. Это даёт гибкость в масштабировании системы и дополнительную защиту от отказов.

8.Шумоподавление и минимизация электромагнитных помех Для работы в чувствительной среде, такой как медицинские учреждения или лаборатории, важно, чтобы ИБП создавал минимум шума и электромагнитных помех. Поэтому многие модели оснащаются специальными фильтрами и звукоизоляционными корпусами.

9.Соответствие строгим стандартам безопасности Промышленный сектор требует соблюдения множества стандартов безопасности и качества электроэнергии. ИБП для промышленности сертифицированы согласно международным нормам, таким как IEC/EN 62040-1, ГОСТ Р МЭК 60950-1 и другим.

Таким образом, промышленные ИБП рассчитаны на выполнение специфичных задач в сложных условиях эксплуатации, обеспечивая высокую надёжность и производительность.

Indirect Prompt Injection

Атаки с внедрением подсказок манипулируют большими языковыми моделями (LLM), вводя их в заблуждение, заставляя их отклоняться от исходных входных инструкций и выполнять вредоносные инструкции из-за их возможностей следования инструкциям и неспособности различать исходные входные инструкции и вредоносные инструкции. Для защиты от таких атак недавние исследования разработали различные механизмы обнаружения. В то время как значительные усилия были сосредоточены на обнаружении прямых атак с внедрением подсказок, где внедряемые инструкции поступают непосредственно от злоумышленника, который также является пользователем, ограниченное внимание было уделено косвенным атакам с внедрением подсказок, где внедряемые инструкции поступают косвенно от внешних инструментов, таких как поисковая система. Более того, текущие работы в основном исследуют методы обнаружения инъекций и уделяют меньше внимания методу постобработки, который направлен на смягчение инъекции после обнаружения. В этой статье мы исследуем возможность обнаружения и удаления косвенных атак с внедрением подсказок, и создаем эталонный набор данных для оценки. Для обнаружения мы оцениваем производительность существующих LLM и моделей обнаружения с открытым исходным кодом, а также обучаем модели обнаружения с использованием наших созданных обучающих наборов данных. Для удаления мы оцениваем два интуитивных метода:
(1) метод удаления сегментации, который сегментирует введенный документ и удаляет части, содержащие введенные инструкции, и
(2) метод удаления извлечения, который обучает модель извлечения идентифицировать и удалять введенные инструкции.

Can Indirect Prompt Injection Attacks Be Detected and Removed?

Сокрытие объектов

Исследование уязвимостей бэкдора в детекторах объектов, особенно в реальных сценариях, остается ограниченным. Значительная проблема заключается в отсутствии естественного физического набора данных бэкдора, и создание такого набора данных требует как времени, так и труда. В этой работе мы устраняем этот пробел, создавая крупномасштабный набор данных, включающий приблизительно 11 800 изображений/кадров с аннотациями, содержащими природные объекты (например, футболки и шляпы) в качестве триггеров для возникновения маскирующих противоправных эффектов в различных реальных сценариях. Этот набор данных предназначен для изучения физических бэкдоров в детекторах объектов. Используя этот набор данных, мы проводим комплексную оценку коварного эффекта маскирующего бэкдора против детекторов объектов, при котором ограничивающая рамка вокруг человека исчезает, когда человек находится рядом с естественным объектом (например, общедоступной футболкой) перед детектором. Наши оценки охватывают три распространенные поверхности атак: аутсорсинг данных, аутсорсинг моделей и использование предварительно обученных моделей. Эффект маскировки успешно внедрен в детекторы объектов по всем трем поверхностям атак. Мы тщательно оцениваем четыре популярных алгоритма обнаружения объектов (Yolo-V3 на основе якорей, Yolo-V4, Faster R-CNN и CenterNet без якорей), используя 19 видео (всего около 11 800 кадров) в реальных сценариях. Наши результаты показывают, что атака бэкдора демонстрирует замечательную устойчивость к различным факторам, включая движение, расстояние, угол, нежесткую деформацию и освещение. В сценариях аутсорсинга данных и моделей показатель успешности атаки (ASR) в большинстве видео достигает 100% или около того, в то время как точность чистых данных модели с бэкдором остается неотличимой от точности чистой модели, что делает невозможным обнаружение поведения бэкдора с помощью набора для проверки. Примечательно, что двухступенчатые детекторы объектов (например, Faster R-CNN) демонстрируют большую устойчивость к бэкдор-атакам в условиях чистого отравления данных (т. е. при аутсорсинге данных) по сравнению с одноступенчатыми детекторами (например, серия Yolo). Однако эта проблема преодолима, когда злоумышленник контролирует процесс обучения (особенно при аутсорсинге модели), даже при том же небольшом бюджете скорости отравления, что и при аутсорсинге данных. В сценариях атак с передачей обучения, оцененных на CenterNet, средний ASR остается высоким и составляет 78%. - Comprehensive Evaluation of Cloaking Backdoor Attacks on Object Detector in Real-World

См. также другие публикации по теме физические атаки

Поиск бэкдоров

Атака бэкдора all-to-one (A2O) является одной из основных угроз для нейронных сетей. Большинство существующих защит бэкдора A2O работают в контексте белого ящика, требуя доступа к архитектуре модели бэкдора, скрытым выходам слоя или внутренним параметрам. Необходимость в защите бэкдора A2O черного ящика возникает, особенно в сценариях, где доступны только вход и выход сети. Однако распространенные защиты бэкдора A2O черного ящика часто требуют предположений относительно местонахождения триггеров, поскольку они используют созданные вручную признаки для обнаружения. В случаях, когда триггеры отклоняются от этих предположений, полученные созданные вручную признаки снижаются в качестве, делая эти методы неэффективными. Для решения этой проблемы в этой работе предлагается защита бэкдора A2O черного ящика после обучения, которая поддерживает постоянную эффективность независимо от местонахождения триггеров. Наш метод основан на эмпирическом наблюдении, что в контексте атак с использованием бэкдора A2O отравленные образцы более устойчивы к равномерному шуму, чем чистые образцы с точки зрения сетевого выхода. В частности, наш подход использует метрику для количественной оценки устойчивости заданного входа к равномерному шуму. Детектор новизны, обученный с использованием количественной устойчивости доступных чистых образцов, развертывается для определения, отравлен ли заданный вход. Детектор новизны оценивается по различным триггерам. Наш подход эффективен для всех используемых триггеров. Наконец, дается объяснение нашего наблюдения. - Detecting All-to-One Backdoor Attacks in Black-Box DNNs via Differential Robustness to Noise

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Беседы про ИИ агентов

Тема агентов в искусственном интеллекте, ИИ-агенты и агентный ИИ вот-вот займут центральное место в информационном пространстве. Анализ зарубежных (и западных, и азиатских) консалтинговых и технологических компаний показал, что это самый крупный технологический тренд 2025 года внутри ИИ. - Раскрыть агента. Обзор понимания агентного ИИ

Здесь еще раз приведем ссылку на нашу статью
Намиот Д. Е., Ильюшин Е. А. Архитектура LLM агентов //International Journal of Open Information Technologies. – 2025. – Т. 13. – №. 1. – С. 67-74. Прочесть можно, например, на сайте injoit.org

P.S. когда-то мы были первыми, кто обратил внимание на технологии RPA
Намиот Д. Е. и др. Информационные роботы в системах управления предприятием //International Journal of Open Information Technologies. – 2017. – Т. 5. – №. 4. – С. 12-21. Прочесть можно в Киберленинке, например.

Оккультная кибербезопасность

MITRE представила платформу Offensive Cyber Capability Unified LLM Testing (OCCULT) - новаторскую методологию, разработанную для оценки рисков, создаваемых большими языковыми моделями (LLM) в автономных кибератаках.

Анонсированная 26 февраля 2025 года, инициатива отвечает на растущие опасения, что системы ИИ могут демократизировать наступательные кибероперации (OCO), позволяя злоумышленникам масштабировать атаки с беспрецедентной эффективностью. - MITRE Releases OCCULT Framework to Address AI Security Challenges

См. также другие публикации, посвященные LLM

Отчет о безопасном ИИ и стандарты

Первый международный отчет International AI Safety Report. Вот здесь есть история его появления.

Британия, возможно, была первой страной, которая стала выпускать промышленные стандарты. Традиции точно есть. И вот первый стандарт безопасного ИИ:

"Ведущий в мире стандарт кибербезопасности на основе ИИ для защиты цифровой экономики. Британские компании получат выгоду от первого в мире стандарта кибербезопасности, который защитит системы ИИ от кибератак, обеспечивая безопасность цифровой экономики" - кибербезопасность ИИ. Изданы правила для разработчиков (Code of Practice). Это планируется стандартизовать через ETSI.

Вот здесь есть интересный сборник британских правительственных исследовательских отчетов по кибербезопасности искусственного интеллекта, включая опросы и обзоры литературы - Исследования кибербезопасности ИИ.