ИБП для промышленности

Промышленный источник бесперебойного питания (ИБП) – это мощный источник бесперебойного питания, который предназначен для обеспечения качественной электроэнергией промышленных объектов. Основное назначение ИБП для промышленности – это защита дорогостоящего оборудования от полной потери электроэнергии, скачков напряжения, стабильность производственных процессов. Отсюда: Промышленные и индустриальные ИБП. Системы гарантированного электроснабжения.

Аномалии в киберфизических системах

Интегрируя физические и киберпространства, киберфизические системы (CPS) расширяют потенциальную поверхность атаки для злоумышленников. Учитывая их развертывание в критических инфраструктурах, таких как промышленные системы управления (ICS), обеспечение надежной безопасности является обязательным условием. Текущие исследования разработали различные методы обнаружения вторжений для выявления и противодействия вредоносным действиям. Однако традиционные методы часто сталкиваются с трудностями при обнаружении нескольких типов атак из-за зависимости от одного источника данных, такого как данные временных рядов от датчиков и исполнительных механизмов. В этом исследовании мы тщательно разрабатываем передовые методы глубокого обучения (DL), основанные на аномалиях, обученные либо на данных датчиков/исполнительных механизмов, либо на статистике сетевого трафика в неконтролируемой обстановке. Мы оцениваем эти методы на сетевых и физических данных, собираемых одновременно из реальной CPS. Благодаря тщательной настройке гиперпараметров мы определяем оптимальные параметры для каждой модели и сравниваем их эффективность и результативность при обнаружении различных типов атак. Помимо демонстрации превосходной производительности по сравнению с различными базовыми показателями, мы демонстрируем лучшую модель для каждого источника данных. В конечном итоге мы покажем, как использование разнообразных источников данных может улучшить обнаружение киберугроз, распознавая различные виды атак. An anomaly-based approach for cyber–physical threat detection using network and sensor data

См. также другие публикации, посвященные CPS

ML & Causal

Модели машинного обучения могут предсказывать что будет по историческим данным. Например, будушие продажи по историческим данным. А если мы хотим предсказать, какие будут продажи при условии установки скидки? Как соединить машинное обучение и каузальность? - Double ML: Bridging the Gap Between Machine Learning and Causal Inference

см. также другие публикации, посвященные каузальности

Нечеловеческий анализ смарт-контрактов

Смарт-контракты являются фундаментальными столпами блокчейна, играя важную роль в содействии различным бизнес-транзакциям. Однако эти смарт-контракты уязвимы для эксплуатируемых ошибок, которые могут привести к значительным денежным потерям. Недавнее исследование показывает, что более 80% этих эксплуатируемых ошибок, которые в основном являются функциональными ошибками, могут ускользнуть от обнаружения текущими инструментами. Автоматическое выявление функциональных ошибок в смарт-контрактах представляет собой сложности с нескольких точек зрения. Основная проблема заключается в значительном разрыве между пониманием высокоуровневой логики бизнес-модели и проверкой низкоуровневых реализаций в смарт-контрактах. Кроме того, выявление глубоко укоренившихся функциональных ошибок в смарт-контрактах требует автоматизированной генерации эффективных оракулов обнаружения на основе различных функций ошибок. Для решения этих проблем мы проектируем и внедряем PromFuzz, автоматизированную и масштабируемую систему для обнаружения функциональных ошибок в смарт-контрактах. В PromFuzz мы сначала предлагаем новую структуру анализа на основе Large Language Model (LLM), которая использует стратегию двухагентной оперативной инженерии для выявления потенциально уязвимых функций для дальнейшего изучения. Затем мы реализуем двухэтапный подход связывания, который фокусируется на создании инвариантных контролеров, которые используют логическую информацию, извлеченную из потенциально уязвимых функций. Наконец, мы разрабатываем ориентированный на ошибки механизм фаззинга, который сопоставляет логическую информацию из высокоуровневой бизнес-модели с низкоуровневыми реализациями смарт-контрактов и выполняет ориентированный на ошибки фаззинг на целевых функциях. Мы оцениваем PromFuzz с 4 точек зрения на 6 наборах данных наземной истины и сравниваем его с несколькими современными методами. Результаты показывают, что PromFuzz достигает 86,96% отзыва и 93,02% F1-оценки при обнаружении функциональных ошибок, что означает улучшение как минимум на 50% по обеим показателям по сравнению с передовыми методами. Более того, мы проводим углубленный анализ 6 реальных проектов DeFi и обнаруживаем 30 ошибок нулевого дня. Наши дальнейшие исследования случаев, рискованной ошибки первого депозита и ошибки манипуляции ценовым оракулом AMM в реальных проектах DeFi, демонстрируют серьезные риски эксплуатируемых функциональных ошибок в смарт-контрактах. На сегодняшний день 24 ошибкам нулевого дня были присвоены идентификаторы CVE. Наши открытия защитили активы на общую сумму 18,2 млрд долларов от потенциальных денежных потерь. - Detecting Functional Bugs in Smart Contracts through LLM-Powered and Bug-Oriented Composite Analysis

Промышленные ИБП

Промышленные источники бесперебойного питания (ИБП) – это мощные источники бесперебойного питания, которые предназначены для обеспечения качественной электроэнергией промышленных объектов. Промышленные ИБП используются на производственных предприятиях, комплексах нефтедобычи и переработки, нефтехимии, на электростанциях и других объектах энергетики, на военных базах, на транспортных узлах и пр. При этом они обеспечивают электропитание не только систем контроля и автоматики, но и различных исполнительных механизмов Промышленные бесперебойники разрабатываются с учетом специфики стандартов конкретных отраслей. Отсюда: Промышленные и индустриальные ИБП. Системы гарантированного электроснабжения.

Всемирная история ядов

Глубокое обучение стало краеугольным камнем современного искусственного интеллекта, позволяя применять преобразующие приложения в широком спектре областей. Как основной элемент глубокого обучения, качество и безопасность обучающих данных критически влияют на производительность и надежность модели. Однако в процессе обучения модели глубокого обучения сталкиваются со значительной угрозой отравления данных, когда злоумышленники вводят злонамеренно манипулированные обучающие данные, чтобы ухудшить точность модели или привести к аномальному поведению. Хотя существующие опросы предоставляют ценную информацию об отравлении данных, они, как правило, принимают широкую перспективу, охватывающую как атаки, так и защиты, но не имеют специального, глубокого анализа атак отравления, особенно в глубоком обучении. В этом опросе мы устраняем этот пробел, представляя всеобъемлющий и целевой обзор отравления данных в глубоком обучении. Во-первых, этот опрос классифицирует атаки отравления данных по нескольким точкам зрения, предоставляя углубленный анализ их характеристик и основных принципов проектирования. Во-вторых, обсуждение распространяется на новую область отравления данных в больших языковых моделях (LLM). Наконец, мы исследуем критические открытые проблемы в этой области и предлагаем потенциальные направления исследований для дальнейшего продвижения этой области. Для поддержки дальнейшего исследования актуальный репозиторий ресурсов по отравлению данных в глубоком обучении доступен по адресу https://github.com/Pinlong-Zhao/Data-Poisoning - Data Poisoning in Deep Learning: A Survey

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Как отрулить?

Обновленный стандарт BSI Flex 1888 v2.0 - События минимального риска (MRX) для автоматизированных транспортных средств. Структура, позволяющая автоматизированной системе вождения (ADS) определять и выполнять маневры с минимальным риском, когда система выходит из строя или деградирует.

Федеративное зло

Федеративное обучение (FL) позволяет проводить совместное обучение модели на большом корпусе децентрализованных данных, находящихся на распределенной популяции периферийных клиентов. Все клиенты могут хранить свои конфиденциальные данные в тайне и делиться обновлениями локальной модели только с федеративным сервером. С точки зрения кибербезопасности, это, конечно, большая проблема. Что если один (или несколько) участников будут отравлять общую модель? Обзор Data Poisoning and Leakage Analysis in Federated Learning

См. другие публикации по федеративному обучению

Обзор систем накопления энергии (СНЭ)

Системы накопления энергии (СНЭ), также известные как системы хранения энергии, — это технологии, предназначенные для сохранения избыточной энергии в одном виде и её последующего использования в другом виде. Эти системы играют важную роль в энергетике, особенно в контексте возобновляемых источников энергии, таких как солнечная и ветровая энергия, где производство энергии зависит от погодных условий.

Основные типы СНЭ

Существует несколько типов систем накопления энергии, каждый из которых имеет свои особенности, преимущества и недостатки:

1.Химические аккумуляторы
Это один из наиболее распространённых видов накопителей энергии. Примеры включают литий-ионные батареи, свинцово-кислотные аккумуляторы и натрий-серные батареи. Принцип работы заключается в преобразовании электрической энергии в химическую энергию через электрохимические реакции, которые происходят внутри аккумулятора. Когда аккумулятор заряжается, энергия сохраняется в виде химической энергии, а когда разряжается — эта энергия превращается обратно в электрическую.

Преимущества:
- Высокая плотность энергии.
- Относительно компактный размер.
- Возможность многократной перезарядки.

Недостатки:
- Ограниченный срок службы (обычно до нескольких тысяч циклов зарядки-разрядки).
- Потери эффективности при низких температурах.
- Риск возгорания (особенно у литий-ионных батарей).

2.Гидроаккумуляция (ГАЭС)
Гидроаккумуляционные электростанции (ГАЭС) работают по принципу перекачки воды между двумя резервуарами на разных высотах. Во время избытка электроэнергии вода перекачивается вверх, а при необходимости выработки электричества она спускается вниз, вращая турбины.

Преимущества:
- Длительный срок службы (десятилетия).
- Быстрая реакция на изменение нагрузки.
- Большая ёмкость хранения.

Недостатки:
- Требуется значительная площадь земли и высокие капитальные затраты.
- Необходимость наличия географически подходящих мест (горы, холмы).

3.Компрессорные воздушные системы (CAES)
В компрессорных воздушных системах воздух сжимают под высоким давлением и хранят в подземных полостях или баллонах. При необходимости этот сжатый воздух расширяется, приводя в движение турбину для генерации электричества.

Преимущества:
- Простота конструкции.
- Высокие возможности масштабирования.

Недостатки:
- Снижение КПД из-за тепловых потерь.
- Потребность в больших объемах хранилищ.

4.Тепловые накопители
Тепло накапливается в различных материалах (например, воде, камнях, солях) и используется позже для отопления или производства пара, который приводит в движение турбины. Например, солнечные тепловые станции часто используют теплоаккумуляторы для обеспечения круглосуточной выработки энергии.

Преимущества:
- Дешевизна материалов.
- Эффективная передача тепла.

Недостатки:
- Ограниченная возможность хранения большого количества энергии.
- Трудности с использованием для крупномасштабных проектов.

5.Кинетическая энергия (маховики)
Маховик — это массивный ротор, который аккумулирует кинетическую энергию благодаря высокой скорости вращения. Энергия высвобождается путём замедления маховика, который передаёт крутящий момент генератору.

Преимущества:
- Очень высокая скорость отклика.
- Низкий износ.

Недостатки:
- Большой вес и габариты.
- Возможные проблемы с вибрациями.

6.Электромагнитные накопители (суперконденсаторы)
Суперконденсаторы накапливают электроэнергию в форме электрического поля между электродами. Они отличаются высокой плотностью мощности и длительным сроком службы, однако имеют меньшую плотность энергии по сравнению с батареями.

Преимущества:
- Огромное количество циклов заряда/разряда.
- Быстрое время зарядки.

Недостатки:
- Меньшая удельная энергоёмкость.

Состязательные атаки в IoT

Состязательные атаки представляют серьезную угрозу производительности модели ИИ в различных приложениях, включая Интернет вещей (IoT). Для противодействия этим атакам были предложены различные механизмы защиты. Однако их основное ограничение заключается в их неспособности эффективно обрабатывать более широкие наборы данных, полученные из различных приложений. В этом исследовании мы используем несколько моделей ИИ с адаптивными весами, применяемыми на разных уровнях нейронной сети для достижения повышенной производительности и более надежных результатов. В этом исследовании представлена новая модель глубокого обучения на основе ИИ для обнаружения угроз соперничества в системах IoT, оптимизирующая предварительную обработку данных, извлечение признаков и классификацию посредством целостного подхода. Для повышения эффективности предварительной обработки данных была применена трехступенчатая технология фильтрации с использованием адаптивных весов. Для максимизации производительности обучения признакам использовалась двухуровневая стратегия адаптивного извлечения признаков. Это уточняется с помощью адаптивных расширенных обогащенных операций свертки, тогда как статистические атрибуты оптимизируются с помощью квантового алгоритма оптимизации Коати (Q-COA). Двойная система, основанная на внутреннем внимании, объединяет ограниченную машину Больцмана (RBM) с рекуррентной сверточной нейронной сетью (RCNN). Эта конфигурация эффективно идентифицирует состязательные атаки, связывая классификаторы с помощью механизма распределения веса, управляемого внутренним вниманием. Предлагаемый двухуровневый подход распределения веса превосходит обычные классификаторы и достигает превосходной точности классификации. Эта комплексная модель искусственного интеллекта (ИИ) значительно повышает эффективность предварительной обработки, производительность обучения признакам и точность классификации, предлагая инновационное и надежное решение для обнаружения состязательных атак в системах Интернета вещей. Метрика производительности, площадь под кривой (AUC), достигает значений 0,95 и 0,97 для двух наборов данных с использованием предложенной модели, что подчеркивает ее эффективность по сравнению с моделями в сравнении. - Addressing Adversarial Attacks in IoT Using Deep Learning AI Models

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

LLM в анализе программного кода

Программное обеспечение подвержено уязвимостям безопасности. Инструменты анализа программ для их обнаружения имеют ограниченную эффективность на практике из-за их зависимости от маркированных человеком спецификаций. Большие языковые модели (или LLM) показали впечатляющие возможности генерации кода, но они не могут выполнять сложные рассуждения по коду для обнаружения таких уязвимостей, особенно потому, что эта задача требует анализа всего репозитория. Мы предлагаем IRIS, нейросимволический подход, который систематически объединяет LLM со статическим анализом для выполнения рассуждений всего репозитория для обнаружения уязвимостей безопасности. В частности, IRIS использует LLM для вывода спецификаций и выполнения контекстного анализа, устраняя необходимость в человеческих спецификациях и инспекции. Для оценки мы курируем новый набор данных CWE-Bench-Java, включающий 120 вручную проверенных уязвимостей безопасности в реальных проектах Java. Современный инструмент статического анализа CodeQL обнаруживает только 27 из этих уязвимостей, тогда как IRIS с GPT-4 обнаруживает 55 (+28) и улучшает средний показатель ложных срабатываний CodeQL на 5%. Кроме того, IRIS обнаруживает 4 ранее неизвестные уязвимости, которые не могут быть обнаружены существующими инструментами. IRIS доступен публично по адресу https://github.com/iris-sast/iris - IRIS: LLM-ASSISTED STATIC ANALYSIS FOR DETECTING SECURITY VULNERABILITIES

См. также другие публикации, посвященные LLM

Системы накопления энергии (СНЭ)

Система накопления электроэнергии (СНЭ) – это устройство, которое включает в себя батарею, устройство сопряжения с сетью (реверсивный инвертор) и систему управления. СНЭ – полноценный элемент цифровой электрической сети – он наблюдаем, управляем, и встраивается в общую систему управления электрической сетью.

Основной задачей СНЭ систем является выдача электроэнергии во внутреннюю сеть в те часы, когда стоимость электроэнергии и мощности максимальна. Интеллектуальная часть системы осуществляет предиктивную аналитику нагрузки сети и дистанционно управляет графиком заряда и разряда.

Применение системы позволит уменьшить колебания напряжения питающей сети, снизить расход электрической энергии за счёт исключения пиковых нагрузок на источник питания, а также позволит использовать ночной тариф для зарядки СНЭ. См. здесь каталог Систем накопления энергии (СНЭ)

О красных линиях

Определение того, пересекает ли цель заданную зону (например, дверь), может обеспечить различные практические приложения в умных домах, включая интеллектуальную безопасность и подсчет людей. Традиционный подход на основе инфракрасного излучения охватывает только линию и может быть легко взломан. Напротив, повторное использование вездесущих устройств WiFi, развернутых в домах, имеет потенциал для покрытия большей области интереса, поскольку сигналы WiFi разбросаны по всему пространству. Обнаруживая направление движения (т. е. приближение и удаление) с изменением силы сигнала WiFi, существующая работа может идентифицировать поведение пересечения между парой приемопередатчиков WiFi. Однако этот метод ошибочно классифицирует поведение возврата как поведение пересечения, что приводит к высокому уровню ложных тревог. В этой статье мы предлагаем WiCross, который может точно различать поведение возврата с помощью шаблона фазовой статистики сигналов WiFi и, таким образом, надежно определять, пересекает ли цель область между парой приемопередатчиков WiFi. Мы внедряем WiCross с коммерческими устройствами WiFi, и обширные эксперименты показывают, что WiCross может достигать точности выше 95% при частоте ложных срабатываний менее 5%. - WiCross: Indoor Human Zone-Crossing Detection Using Commodity WiFi Devices

LLM для пространства и времени

Пространственно-временная (Spation-Temporal - ST) наука о данных, которая включает в себя зондирование, управление и добычу крупномасштабных данных в пространстве и времени, имеет основополагающее значение для понимания сложных систем в таких областях, как городские вычисления, климатология и интеллектуальный транспорт. Традиционные подходы к глубокому обучению значительно продвинули эту область, особенно на этапе добычи данных ST. Однако эти модели остаются специфичными для конкретной задачи и часто требуют обширных маркированных данных. Вдохновленные успехом моделей Foundation (FM), особенно больших языковых моделей, исследователи начали изучать концепцию пространственно-временных моделей Foundation (STFM) для повышения адаптивности и обобщения в различных задачах ST. В ​​отличие от предыдущих архитектур, STFM расширяют возможности всего рабочего процесса науки о данных ST, начиная от зондирования данных, управления и заканчивая добычей данных, тем самым предлагая более целостный и масштабируемый подход. Несмотря на быстрый прогресс, систематическое исследование STFM для науки о данных ST по-прежнему отсутствует. Целью данного исследования является предоставление всестороннего обзора STFM, категоризация существующих методологий и определение ключевых направлений исследований для развития общего интеллекта ST - Foundation Models for Spatio-Temporal Data Science: A Tutorial and Survey

ИИ в критических системах

Можно ожидать непрерывного увеличения функций на основе искусственного интеллекта (ИИ) для будущих авиационных систем, что создает значительные проблемы для традиционных процессов разработки. Устоявшиеся фреймворки системной инженерии, такие как V-модель, неадекватно решают новые проблемы, связанные с системами на основе ИИ. Следовательно, Агентство по безопасности полетов Европейского союза (EASA) представило W-образный процесс как усовершенствование V-модели, чтобы установить нормативную базу для новых проблем инженерии ИИ. Напротив, подход Agile Development Operations (DevOps), широко принятый в разработке программного обеспечения, способствует бесконечному итеративному процессу разработки. В этой статье предлагается новая концепция, которая интегрирует аспекты DevOps в W-образный процесс для создания фреймворка инженерии ИИ, подходящего для авиационных приложений. Кроме того, он основывается на проверенных идеях и методах с использованием усилий инженерии ИИ из других областей. Предлагаемое расширение W-образного процесса, совместимое с текущими стандартизациями от рабочей группы по стандартизации G34/WG-114, совместными усилиями EUROCAE и SAE, решает потребность в строгом процессе разработки для систем на основе ИИ, признавая при этом его ограничения и потенциал для будущих усовершенствований. Предлагаемая структура позволяет переоценивать компонент ИИ/МО на основе информации из операций, что позволяет улучшать возможности системы в каждой итерации. - Formulating an Engineering Framework for Future AI Certification in Aviation

ИБП для промышленности

Промышленные ИБП – это мощный источник бесперебойного питания, который предназначен для обеспечения качественной электроэнергией промышленных объектов. В качестве объекта может выступать крупный производственный комплекс, цех, станок или другое индустриальное оборудование. Промышленные бесперебойники разрабатываются с учетом специфики стандартов конкретных отраслей.

Основным критерием выбора модели ИБП является оптимальная мощность, которая сможет обеспечить защиту требовательного оборудования от перебоев и отключения электропитания. Для повышения уровня надежности рекомендуется использовать ИБП с определенным запасом мощности, зависящим от сферы применения.

Промышленные источники бесперебойного питания (ИБП) отличаются от бытовых моделей рядом характеристик, делающих их подходящими для работы в сложных условиях и требовательных приложений. Вот ключевые особенности промышленных ИБП:

1.Высокая мощность Промышленные ИБП предназначены для обеспечения электроэнергией крупных объектов — заводов, серверных центров, медицинских учреждений и т.п., где потребляемая мощность значительно превышает бытовые потребности. Это означает, что такие устройства обладают мощностью от десятков до сотен киловатт.

2.Прочность конструкции В отличие от бытовых ИБП, промышленный вариант рассчитан на эксплуатацию в тяжелых условиях: высокая влажность, вибрации, агрессивная среда, экстремальные температуры. Для этого корпуса часто изготавливаются из прочных материалов, защищенных от внешних воздействий (например, IP54 и выше).

3.Надежность и отказоустойчивость Работа промышленного оборудования критически важна, поэтому промышленные ИБП имеют повышенную надежность и резервирование ключевых компонентов. Например, система двойного преобразования (online-режим), когда энергия проходит через два этапа преобразования, позволяет минимизировать вероятность сбоев.

4.Широкий диапазон входного напряжения Промышленные сети подвержены большим колебаниям напряжения, особенно в удалённых районах или на предприятиях с высокой нагрузкой. Поэтому промышленные ИБП способны поддерживать стабильное выходное напряжение даже при значительных отклонениях входного.

5.Интеграция с системами автоматизации Современные промышленные ИБП часто оснащены интерфейсами для интеграции с системами SCADA, мониторинга и диспетчеризации. Это позволяет удалённо контролировать состояние ИБП, получать уведомления о сбоях и управлять работой системы.

6.Продолжительное время автономной работы Часто предприятия требуют длительную работу в случае отключения основного энергоснабжения. Для этого промышленные ИБП комплектуются мощными батареями либо возможностью подключения внешних аккумуляторов большой ёмкости.

7.Возможность параллельного подключения Чтобы увеличить общую мощность или повысить надёжность, промышленные ИБП поддерживают возможность параллельной работы нескольких устройств. Это даёт гибкость в масштабировании системы и дополнительную защиту от отказов.

8.Шумоподавление и минимизация электромагнитных помех Для работы в чувствительной среде, такой как медицинские учреждения или лаборатории, важно, чтобы ИБП создавал минимум шума и электромагнитных помех. Поэтому многие модели оснащаются специальными фильтрами и звукоизоляционными корпусами.

9.Соответствие строгим стандартам безопасности Промышленный сектор требует соблюдения множества стандартов безопасности и качества электроэнергии. ИБП для промышленности сертифицированы согласно международным нормам, таким как IEC/EN 62040-1, ГОСТ Р МЭК 60950-1 и другим.

Таким образом, промышленные ИБП рассчитаны на выполнение специфичных задач в сложных условиях эксплуатации, обеспечивая высокую надёжность и производительность.

Indirect Prompt Injection

Атаки с внедрением подсказок манипулируют большими языковыми моделями (LLM), вводя их в заблуждение, заставляя их отклоняться от исходных входных инструкций и выполнять вредоносные инструкции из-за их возможностей следования инструкциям и неспособности различать исходные входные инструкции и вредоносные инструкции. Для защиты от таких атак недавние исследования разработали различные механизмы обнаружения. В то время как значительные усилия были сосредоточены на обнаружении прямых атак с внедрением подсказок, где внедряемые инструкции поступают непосредственно от злоумышленника, который также является пользователем, ограниченное внимание было уделено косвенным атакам с внедрением подсказок, где внедряемые инструкции поступают косвенно от внешних инструментов, таких как поисковая система. Более того, текущие работы в основном исследуют методы обнаружения инъекций и уделяют меньше внимания методу постобработки, который направлен на смягчение инъекции после обнаружения. В этой статье мы исследуем возможность обнаружения и удаления косвенных атак с внедрением подсказок, и создаем эталонный набор данных для оценки. Для обнаружения мы оцениваем производительность существующих LLM и моделей обнаружения с открытым исходным кодом, а также обучаем модели обнаружения с использованием наших созданных обучающих наборов данных. Для удаления мы оцениваем два интуитивных метода:
(1) метод удаления сегментации, который сегментирует введенный документ и удаляет части, содержащие введенные инструкции, и
(2) метод удаления извлечения, который обучает модель извлечения идентифицировать и удалять введенные инструкции.

Can Indirect Prompt Injection Attacks Be Detected and Removed?

Сокрытие объектов

Исследование уязвимостей бэкдора в детекторах объектов, особенно в реальных сценариях, остается ограниченным. Значительная проблема заключается в отсутствии естественного физического набора данных бэкдора, и создание такого набора данных требует как времени, так и труда. В этой работе мы устраняем этот пробел, создавая крупномасштабный набор данных, включающий приблизительно 11 800 изображений/кадров с аннотациями, содержащими природные объекты (например, футболки и шляпы) в качестве триггеров для возникновения маскирующих противоправных эффектов в различных реальных сценариях. Этот набор данных предназначен для изучения физических бэкдоров в детекторах объектов. Используя этот набор данных, мы проводим комплексную оценку коварного эффекта маскирующего бэкдора против детекторов объектов, при котором ограничивающая рамка вокруг человека исчезает, когда человек находится рядом с естественным объектом (например, общедоступной футболкой) перед детектором. Наши оценки охватывают три распространенные поверхности атак: аутсорсинг данных, аутсорсинг моделей и использование предварительно обученных моделей. Эффект маскировки успешно внедрен в детекторы объектов по всем трем поверхностям атак. Мы тщательно оцениваем четыре популярных алгоритма обнаружения объектов (Yolo-V3 на основе якорей, Yolo-V4, Faster R-CNN и CenterNet без якорей), используя 19 видео (всего около 11 800 кадров) в реальных сценариях. Наши результаты показывают, что атака бэкдора демонстрирует замечательную устойчивость к различным факторам, включая движение, расстояние, угол, нежесткую деформацию и освещение. В сценариях аутсорсинга данных и моделей показатель успешности атаки (ASR) в большинстве видео достигает 100% или около того, в то время как точность чистых данных модели с бэкдором остается неотличимой от точности чистой модели, что делает невозможным обнаружение поведения бэкдора с помощью набора для проверки. Примечательно, что двухступенчатые детекторы объектов (например, Faster R-CNN) демонстрируют большую устойчивость к бэкдор-атакам в условиях чистого отравления данных (т. е. при аутсорсинге данных) по сравнению с одноступенчатыми детекторами (например, серия Yolo). Однако эта проблема преодолима, когда злоумышленник контролирует процесс обучения (особенно при аутсорсинге модели), даже при том же небольшом бюджете скорости отравления, что и при аутсорсинге данных. В сценариях атак с передачей обучения, оцененных на CenterNet, средний ASR остается высоким и составляет 78%. - Comprehensive Evaluation of Cloaking Backdoor Attacks on Object Detector in Real-World

См. также другие публикации по теме физические атаки

Поиск бэкдоров

Атака бэкдора all-to-one (A2O) является одной из основных угроз для нейронных сетей. Большинство существующих защит бэкдора A2O работают в контексте белого ящика, требуя доступа к архитектуре модели бэкдора, скрытым выходам слоя или внутренним параметрам. Необходимость в защите бэкдора A2O черного ящика возникает, особенно в сценариях, где доступны только вход и выход сети. Однако распространенные защиты бэкдора A2O черного ящика часто требуют предположений относительно местонахождения триггеров, поскольку они используют созданные вручную признаки для обнаружения. В случаях, когда триггеры отклоняются от этих предположений, полученные созданные вручную признаки снижаются в качестве, делая эти методы неэффективными. Для решения этой проблемы в этой работе предлагается защита бэкдора A2O черного ящика после обучения, которая поддерживает постоянную эффективность независимо от местонахождения триггеров. Наш метод основан на эмпирическом наблюдении, что в контексте атак с использованием бэкдора A2O отравленные образцы более устойчивы к равномерному шуму, чем чистые образцы с точки зрения сетевого выхода. В частности, наш подход использует метрику для количественной оценки устойчивости заданного входа к равномерному шуму. Детектор новизны, обученный с использованием количественной устойчивости доступных чистых образцов, развертывается для определения, отравлен ли заданный вход. Детектор новизны оценивается по различным триггерам. Наш подход эффективен для всех используемых триггеров. Наконец, дается объяснение нашего наблюдения. - Detecting All-to-One Backdoor Attacks in Black-Box DNNs via Differential Robustness to Noise

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Беседы про ИИ агентов

Тема агентов в искусственном интеллекте, ИИ-агенты и агентный ИИ вот-вот займут центральное место в информационном пространстве. Анализ зарубежных (и западных, и азиатских) консалтинговых и технологических компаний показал, что это самый крупный технологический тренд 2025 года внутри ИИ. - Раскрыть агента. Обзор понимания агентного ИИ

Здесь еще раз приведем ссылку на нашу статью
Намиот Д. Е., Ильюшин Е. А. Архитектура LLM агентов //International Journal of Open Information Technologies. – 2025. – Т. 13. – №. 1. – С. 67-74. Прочесть можно, например, на сайте injoit.org

P.S. когда-то мы были первыми, кто обратил внимание на технологии RPA
Намиот Д. Е. и др. Информационные роботы в системах управления предприятием //International Journal of Open Information Technologies. – 2017. – Т. 5. – №. 4. – С. 12-21. Прочесть можно в Киберленинке, например.

Оккультная кибербезопасность

MITRE представила платформу Offensive Cyber Capability Unified LLM Testing (OCCULT) - новаторскую методологию, разработанную для оценки рисков, создаваемых большими языковыми моделями (LLM) в автономных кибератаках.

Анонсированная 26 февраля 2025 года, инициатива отвечает на растущие опасения, что системы ИИ могут демократизировать наступательные кибероперации (OCO), позволяя злоумышленникам масштабировать атаки с беспрецедентной эффективностью. - MITRE Releases OCCULT Framework to Address AI Security Challenges

См. также другие публикации, посвященные LLM

Отчет о безопасном ИИ и стандарты

Первый международный отчет International AI Safety Report. Вот здесь есть история его появления.

Британия, возможно, была первой страной, которая стала выпускать промышленные стандарты. Традиции точно есть. И вот первый стандарт безопасного ИИ:

"Ведущий в мире стандарт кибербезопасности на основе ИИ для защиты цифровой экономики. Британские компании получат выгоду от первого в мире стандарта кибербезопасности, который защитит системы ИИ от кибератак, обеспечивая безопасность цифровой экономики" - кибербезопасность ИИ. Изданы правила для разработчиков (Code of Practice). Это планируется стандартизовать через ETSI.

Вот здесь есть интересный сборник британских правительственных исследовательских отчетов по кибербезопасности искусственного интеллекта, включая опросы и обзоры литературы - Исследования кибербезопасности ИИ.

ИБП для ЦОД

Одним из главных требований к ЦОД является требование к его высокой надежности, первостепенно – требование высокой надежности электроснабжения.

Строится система электроснабжения ЦОД на основе источников бесперебойного питания (ИБП), важность которых демонстрирует стандарт TIA-942, который фиксирует основополагающие требования к структуре ЦОД и классифицирует дата-центры по уровню надёжности (от 1 до 4). Уже на втором уровне (дата-центр с резервированием) обязательно наличие источника бесперебойного питания, а четвертый – самый высокий (отказоустойчивый дата-центр) предполагает двукратное резервирование системы бесперебойного электроснабжения – два отдельных ввода, зарезервированных по схеме N+1 (фактически – не менее четырёх ИБП). - отсюда: ИБП для ЦОД

ЦОД устанавливают на предприятиях, где информационные технологии являются критическими для бизнеса, а само исполнение бизнес-функций напрямую зависит от уровня, качества и степени доступности IT-сервисов. К таким потребителям относятся государственные структуры, банки и телекоммуникационные компании. Для обеспечения бесперебойного питания дата-центра используются современные и мощные ИБП для ЦОД разных мощностей. Выбор источника бесперебойного питания для ЦОД зависит от размеров центра обработки данных. ИБП легко сочетаются с дизель-генераторными установками, которые являются неотъемлемой частью системы электропитания современного ЦОДа.

Когда перебои в электроэнергии составляют небольшое количество времени, для таких ситуаций подойдет установка ИБП для ЦОД. Источник бесперебойного питания может обеспечить lата-центр электропитанием в течение 40-60 минут, в зависимости от выбранных батарей (АКБ для ЦОД).

Если электроэнергия отсутствует довольно продолжительное время, то следует укомплектовать ЦОД дизель-генераторной установкой (ДГУ для ЦОД). Дизельная электростанция запускается автоматически сигналом с ИБП при отключении внешнего электропитания и выходит на полную мощность через минуты после старта. При строительстве ЦОД выбирают мощные источники бесперебойного питания. Преимущества при использовании ИБП является надежность, гибкость, большой срок службы оборудования, легкость обслуживания и мониторинга.- отсюда: Как выбрать ИБП для ЦОД

Коалиция безопасного ИИ

Коалиция за безопасный ИИ (CoSAI) — это открытая экосистема экспертов в области ИИ и безопасности из ведущих отраслевых организаций, целью которой является обмен передовым опытом в области безопасного развертывания ИИ и сотрудничество в области исследований и разработки продуктов в области безопасности ИИ. www.coalitionforsecureai.org.

Вот здесь есть списки рассылок

Рекомендации DeepSeek

Чтобы проверить использование LLM для последовательных рекомендаций:

Q: Для последовательности A B A A C A B предскажи следующий элемент и объясни свой выбор

A: Для предсказания следующего элемента в последовательности A B A A C A B проанализируем её структуру:

A: Последовательность: A, B, A, A, C, A, B

Заметим, что элементы A и B чередуются, но иногда появляется C.

Возможный паттерн:

A повторяется чаще, а B и C появляются реже.

После A часто следует B, но иногда A или C.

Если продолжить логику, после B может снова идти A.

Предсказание: Следующий элемент — A.

Обоснование: Паттерн предполагает чередование A и B, с редкими вставками C. После B логично ожидать возврат к A.

Q: В последовательности покупок товаров стиральный порошок, хлеб, корм, чипсы предскажи следующий элемент и объясни свой выбор

A: Для предсказания следующего элемента в последовательности покупок стиральный порошок, хлеб, корм, чипсы проанализируем возможные закономерности:

Стиральный порошок — товар для бытовых нужд.

Хлеб — продукт первой необходимости.

Корм — товар для домашних животных.

Чипсы — продукт для перекуса, не первой необходимости.

Эта последовательность не имеет явного логического паттерна, но можно предположить, что это случайный набор товаров из разных категорий. Если искать закономерность, то:

Товары чередуются между необходимыми (стиральный порошок, хлеб) и менее необходимыми (корм, чипсы).

После "чипсов" (необязательный товар) может следовать что-то из категории первой необходимости.

Предсказание: Следующий элемент — молоко (или другой продукт первой необходимости, например, яйца).
Обоснование: После менее необходимого товара (чипсы) логично ожидать возврат к товару первой необходимости, например, молоку или хлебу.

LLM и рекомендательные системы

Использование LLM для рекомендательных сервисов - интересный технический обзор

Апишки

Бэкдор атаки на LLM

"Генеративные большие языковые модели имеют решающее значение в обработке естественного языка, но они уязвимы для атак бэкдора, где тонкие триггеры ставят под угрозу их поведение. Хотя атаки бэкдора против LLM постоянно возникают, существующие бенчмарки остаются ограниченными с точки зрения достаточного охвата атаки, целостности метрической системы, выравнивания атак бэкдора. И существующие предварительно обученные атаки бэкдора идеализируются на практике из-за ограничений доступа к ресурсам. Поэтому мы создаем ELBA-Bench, комплексную и унифицированную структуру, которая позволяет злоумышленникам внедрять бэкдор с помощью эффективной тонкой настройки параметров (например, LoRA) или без методов тонкой настройки (например, In-contextlearning). ELBA-Bench предоставляет более 1300 экспериментов, охватывающих реализации 12 методов атаки, 18 наборов данных и 12 LLM. Обширные эксперименты предоставляют новые бесценные выводы о сильных сторонах и ограничениях различных стратегий атак. Например, атака PEFT последовательно превосходит без тонкой настройки подходов в задачах классификации, показывая при этом сильное обобщение кросс-наборов данных с оптимизированными триггерами, повышающими надежность; Методы оптимизации бэкдора, соответствующие задаче, или подсказки для атаки вместе с чистыми и состязательными демонстрациями могут повысить успешность атаки бэкдора, сохраняя производительность модели на чистых образцах. Кроме того, мы представляем универсальный набор инструментов, разработанный для стандартизированного исследования атак бэкдора, с целью продвижения дальнейшего прогресса в этой жизненно важной области." - ELBA-Bench: An Efficient Learning Backdoor Attacks Benchmark for Large Language Models

См. также другие публикации, посвященные LLM

Систему нужно менять

Состязательные примеры в контексте компьютерного зрения — это входные данные, намеренно созданные для обмана или введения в заблуждение искусственных нейронных сетей. Эти примеры используют уязвимости нейронных сетей, что приводит к минимальным изменениям исходных входных данных, которые незаметны для людей, но могут существенно повлиять на выходные данные сети. В этой статье мы представляем тщательный обзор исследований состязательных примеров, уделяя основное внимание их влиянию на классификаторы нейронных сетей. Мы внимательно изучаем теоретические возможности и ограничения искусственных нейронных сетей. После этого мы исследуем открытие и эволюцию состязательных примеров, начиная с базовых градиентных методов и продвигаясь к недавней тенденции использования генеративных нейронных сетей для этой цели. Мы обсуждаем ограниченную эффективность существующих мер противодействия состязательным примерам. Кроме того, мы подчеркиваем, что состязательные примеры порождают несоответствие между процессами принятия решений человеком и нейронной сетью. Это можно отнести к текущей методологии обучения нейронных сетей. Мы также утверждаем, что широко используемый термин «атака на нейронные сети» вводит в заблуждение при обсуждении состязательного глубокого обучения. В этой статье наша цель — предоставить всесторонний обзор примеров состязаний и вдохновить дальнейших исследователей на разработку более надежных нейронных сетей. Такие сети будут лучше соответствовать процессам принятия решений человеком и повышать безопасность и надежность систем компьютерного зрения в практических приложениях - A decade of adversarial examples: a survey on the nature and understanding of neural network non-robustness

Утечка данных в моделях ML

С ростом зависимости от машинного обучения (ML) в различных дисциплинах, ML-код подвергается ряду проблем, которые влияют на его качество, таких как отсутствие документации, алгоритмические предубеждения, переобучение, отсутствие воспроизводимости, неадекватная предварительная обработка данных и потенциальная утечка данных, все из которых могут существенно повлиять на производительность и надежность моделей ML. Утечка данных может повлиять на качество ML-моделей, где конфиденциальная информация из тестового набора непреднамеренно влияет на процесс обучения, что приводит к завышенным показателям производительности, которые плохо обобщаются на новые, неизвестные данные. Утечка данных может происходить как на уровне набора данных (т. е. во время создания набора данных), так и на уровне кода. Существующие исследования представили методы для обнаружения утечки данных на уровне кода с использованием ручных и подходов анализа кода. Однако автоматизированные инструменты с передовыми методами МО все чаще признаются необходимыми для эффективного выявления проблем качества в больших и сложных кодовых базах, повышая общую эффективность процессов проверки кода. В этой статье мы стремимся исследовать подходы на основе МО для ограниченных аннотированных наборов данных для обнаружения утечки данных на уровне кода в коде МО. Мы предложили три подхода, а именно: трансферное обучение, активное обучение и низкочастотное подсказывание. Кроме того, мы представили автоматизированный подход для решения проблем дисбаланса данных кода. - Data leakage detection in machine learning code: transfer learning, active learning, or low-shot prompting?

Как выиграть соревнования по ML

Обзор соревнований и выигрышных моделей

Не ловится

С появлением широкодоступных мощных LLM дезинформация, генерируемая большими Языковыми моделями (LLM), стала основной проблемой. Исторически детекторы LLM рекламировались как решение, но их эффективность в реальном мире еще предстоит доказать. В этой статье мы сосредоточимся на важной настройке в информационных операциях — коротких новостных сообщениях, генерируемых умеренно опытными злоумышленниками. Мы демонстрируем, что существующие детекторы LLM, будь то нулевые или специально обученные, не готовы к реальному использованию в этой настройке. Все протестированные детекторы нулевых результатов работают непоследовательно с предыдущими тестами и крайне уязвимы к повышению температуры выборки, тривиальной атаке, отсутствующей в последних тестах. Можно разработать специально обученный детектор, обобщающий LLM и невидимые атаки, но он не может обобщать новые тексты, написанные человеком. Мы утверждаем, что первое указывает на необходимость предметно-специфического бенчмаркинга, тогда как последнее предполагает компромисс между устойчивостью к состязательному уклонению и переобучением справочному человеческому тексту, причем оба требуют оценки в бенчмарках и в настоящее время отсутствуют. Мы считаем, что это предполагает пересмотр текущих подходов к бенчмаркингу детектора LLM и предоставляет динамически расширяемый бенчмарк, позволяющий это сделать (https://github.com/Reliable-Information-Lab-HEVS/benchmark_llm_texts_detection). - LLM Detectors Still Fall Short of Real World: Case of LLM-Generated Short News-Like Posts

См. также другие публикации, посвященные LLM

Как сделать RAG

Еще одно, довольно толковое, руководство по RAG

См. также другие публикации, посвященные RAG

Байесовская статистика

4-x дневный курс с примерами из R

P.S. см. также другие публикации по теме Байес

Источники бесперебойного питания (ИБП)

Источники бесперебойного питания (ИБП) - решения:

Промышленные ИБП, ИБП для медицины, ИБП для ЦОД

Промышленные источники бесперебойного питания (ИБП, бесперебойники)

ИБП для нефтегаза, ИБП для транспорта

Flat files

О работе с плоскими файлами

Сдвиг концепций на практике

Классификация вредоносных программ в динамических средах представляет собой значительную проблему из-за дрейфа концепций, где статистические свойства данных вредоносных программ со временем меняются, усложняя усилия по обнаружению. Для решения этой проблемы мы предлагаем структуру глубокого обучения, улучшенную генетическим алгоритмом для повышения точности классификации вредоносных программ и адаптивности с обработкой дрейфа концепций. Наш подход включает операции мутации и оценки оценки пригодности в генетических алгоритмах для постоянного совершенствования модели глубокого обучения, обеспечивая устойчивость к развивающимся угрозам вредоносных программ. Экспериментальные результаты показывают, что этот гибридный метод значительно повышает производительность классификации и адаптивность, превосходя традиционные статические модели. Наш предлагаемый подход предлагает многообещающее решение для классификации вредоносных программ в реальном времени в постоянно меняющихся ландшафтах кибербезопасности. - Deep Learning-Driven Malware Classification with API Call Sequence Analysis and Concept Drift Handling

Практическая работа, демонстрирующая борьбу со сдвигом концепций

LLM Red teaming

Быстрый рост больших языковых моделей (LLM) представляет значительные проблемы конфиденциальности, безопасности и этики. Хотя многие исследования предлагали методы защиты систем LLM от неправомерного использования злоумышленниками, исследователи недавно дополнили эти усилия наступательным подходом, который включает red teaming, т. е. упреждающую атаку на LLM с целью выявления их уязвимостей. В этой статье представлен краткий и практический обзор литературы по red teaming LLM, структурированный таким образом, чтобы описать многокомпонентную систему от начала до конца. Чтобы мотивировать red teaming, мы изучаем первоначальные потребности в безопасности некоторых высокопоставленных LLM, а затем углубляемся в различные компоненты системы red teaming, а также программные пакеты для их реализации. Мы рассматриваем различные методы атак, стратегии для оценки успешности атак, метрики для оценки результатов эксперимента, а также множество других соображений. Наш опрос будет полезен любому читателю, который хочет быстро получить представление об основных концепциях Red Teaming для собственного использования в практических приложениях. - Building Safe GenAI Applications: An End-to-End Overview of Red Teaming for Large Language Models

См. также другие публикации по теме AI Red Team

Публикации по теме Искусственный интеллект в кибербезопасности

Вопросы безопасности систем ИИ рассматриваются в двух магистерских программах факультета ВМК МГУ имени М.В. Ломоносова: Искусственный интеллект в кибербезопасности и Кибербезопасность (совместно со Сбербанк). Ниже приведен список публикаций, подготовленных в процессе реализации этих программ по состоянию на 10.03.2025

Ильюшин Е. А., Намиот Д. Е. An approach to the automatic enhancement of the robustness of ml models to external influences on the example of the problem of biometric speaker identification by voice // International Journal of Open Information Technologies. — 2021. — Vol. 9, no. 6. — P. 11–19.

Намиот Д. Е., Ильюшин Е. А., Чижов И. В. Текущие академические и индустриальные проекты, посвященные устойчивому машинному обучению // International Journal of Open Information Technologies. — 2021. — Т. 9, № 10. — С. 35–46.

Намиот Д. Е., Ильюшин Е. А., Чижов И. В. Основания для работ по устойчивому машинному обучению // International Journal of Open Information Technologies. — 2021. — Т. 9, № 11. — С. 68–74.

Намиот Д. Е., Ильшин Е. А., Чижов И. В. Военные применения машинного обучения // International Journal of Open Information Technologies. — 2022. — Т. 10, № 1. — С. 69–76.

Ильюшин Е. А., Намиот Д. Е., Чижов И. В. Атаки на системы машинного обучения – общие проблемы и методы // International Journal of Open Information Technologies. — 2022. — Т. 10, № 3. — С. 17–22.

Namiot D., Ilyushin E. On monitoring of machine learning models // Distributed Computer and Communication Networks: Control, Computation, Communications (DCCN-2022) : материалы XXV международной научной конференции: Москва, 26–30 сентября 2022 года / под общ. ред. В. М. Вишневского и К. Е. Самуйлова. — РУДН Москва: 2022. — P. 150–157.

Namiot D., Ilyushin E., Chizhov I. On a formal verification of machine learning systems // International Journal of Open Information Technologies. — 2022. — Vol. 10, no. 5. — P. 30–34.

Huayu L., Namiot D. A survey of adversarial attacks and defenses for image data on deep learning // International Journal of Open Information Technologies. — 2022. — Vol. 10, no. 5. — P. 9–16.

Намиот Д., Ильюшин Е., Пилипенко О. Доверенные платформы искусственного интеллекта // International Journal of Open Information Technologies. — 2022. — Т. 10, № 7. — С. 119–127.

Намиот Д., Ильюшин Е. Порождающие модели в машинном обучении // International Journal of Open Information Technologies. — 2022. — Т. 10, № 7. — С. 101–118.

Биджиев Т. М., Намиот Д. Е. Исследование существующих подходов к встраиванию вредоносного программного обеспечения в искусственные нейронные сети // International Journal of Open Information Technologies. — 2022. — Т. 10, № 9. — С. 21–31.

Намиот Д. Е., Ильюшин Е. А. Об устойчивости и безопасности систем искусственного интеллекта // International Journal of Open Information Technologies. — 2022. — Т. 10, № 9. — С. 126–134.

Намиот Д. Е., Ильюшин Е. А., Чижов И. В. Искусственный интеллект и кибербезопасность // International Journal of Open Information Technologies. — 2022. — Т. 10, № 9. — С. 135–147.

Stroeva E., Tonkikh A. Methods for formal verification of artificial neural networks: A review of existing approaches // International Journal of Open Information Technologies. — 2022. — Vol. 10, no. 10. — P. 3.

Намиот Д., Ильюшин Е. Мониторинг сдвига данных в моделях машинного обучения // International Journal of Open Information Technologies. — 2022. — Т. 10, № 12. — С. 84–93.

Костюмов, Василий Владимирович. "Обзор и систематизация атак уклонением на модели компьютерного зрения." International Journal of Open Information Technologies 10.10 (2022): 11-20.

Намиот Д. Е., Ильюшин Е. А. О причинах неудач проектов машинного обучения // International Journal of Open Information Technologies. — 2023. — Т. 11, № 1. — С. 60–69.

Намиот Д. Е. Введение в атаки отравлением на модели машинного обучения // International Journal of Open Information Technologies. — 2023. — Т. 11, № 3. — С. 58–68.

Namiot D. E., Ilyushin E., Chizhov I. On the practical generation of counterfactual examples // Труды Института системного анализа Российской академии наук. — 2023. — Vol. 73, no. 1. — P. 73–81.

Junzhe S., Namiot D. E. A survey of model inversion attacks and countermeasures // Труды Института системного анализа Российской академии наук. — 2023. — Vol. 73, no. 1. — P. 82–93.

Junzhe S., Namiot D. A survey of the implementations of model inversion attacks // Communications in Computer and Information Science. — 2023. — Vol. 1748. — P. 3–16.

Намиот Д. Е. Схемы атак на модели машинного обучения // International Journal of Open Information Technologies. — 2023. — Т. 11, № 5. — С. 68–86.

On the evasion attack detector / L. Huayui, V. Kostyumov, O. Pilipenko, D. Namiot // DCCN 2023. Материалы конференции. — ИПУ РАН Москва: 2023. — P. 183–188.

Junzhe S., Namiot D. On the machine learning models inversion attack detector // DCCN 2023. Материалы конференции. — ИПУ РАН Москва: 2023. — P. 194.

Lozinskii I., Kostyumov V., Stroeva E. Extraction of trigger and mask from poisoned data using modified activation clustering and neural cleanse methods // International Journal of Open Information Technologies. — 2023. — Vol. 11, no. 7. — P. 1

Чехонина, Екатерина Андреевна, and Василий Владимирович Костюмов. "ОБЗОР СОСТЯЗАТЕЛЬНЫХ АТАК И МЕТОДОВ ЗАЩИТЫ ДЛЯ ДЕТЕКТОРОВ ОБЪЕКТОВ." International Journal of Open Information Technologies 11.7 (2023): 11-20.

Пришлецов Д. Е., Пришлецов С. Е., Намиот Д. Е. Камуфляж как состязательные атаки на модели машинного обучения // International Journal of Open Information Technologies. — 2023. — Т. 11, № 9. — С. 41–49.

Намиот Д. Е., Зубарева Е. В. О работе ai red team // International Journal of Open Information Technologies. — 2023. — Т. 11, № 10. — С. 130–139.

Намиот Д. Е., Ильюшин Е. А. Доверенные платформы искусственного интеллекта: сертификация и аудит // International Journal of Open Information Technologies. — 2024. — Т. 12, № 1. — С. 43–60.

Киржинов Д. А., Ильюшин Е. А. Сравнительный анализ алгоритмов атак и защиты на графовые архитектуры ИНС // International Journal of Open Information Technologies. — 2024. — Т. 12, № 2.

Намиот Д. Е., Романов В. Ю. Об улучшении робастности моделей машинного обучения // International Journal of Open Information Technologies. — 2024. — Т. 12, № 3. — С. 88–98.

Junzhe S., Namiot D. On real-time model inversion attacks detection // Lecture Notes in Computer Science. — 2024. — Vol. 14123. — P. 56–67.

Мударова Р. М., Намиот Д. Е. Противодействие атакам типа инъекция подсказок на большие языковые модели // International Journal of Open Information Technologies. — 2024. — Т. 12, № 5. — С. 39–48.

Намиот Д. Е., Ильюшин Е. А. Искусственный интеллект в кибербезопасности: поиск вредоносного программного обеспечения // International Journal of Open Information Technologies. — 2024. — Т. 12, № 6. — С. 143–149.

Селевенко Р. М., Строева Е. Н. Исследование и разработка алгоритма формальной верификации и метрики оценки качества на основе методов понижения размерности ИНС // INJOIT. — 2024. — Т. 12, № 6. — С. 2.

Биджиев Т. М., Намиот Д. Е. Атаки на модели машинного обучения, основанные на фреймворке pytorch // Автоматика и телемеханика. — 2024. — № 3. — С. 38–50.

Намиот Д. Е., Ильюшин Е. А. О сертификации систем искусственного интеллекта // Физика элементарных частиц и атомного ядра. — 2024. — Т. 55, № 3. — С. 530–536.

Намиот Д. Е., Куприяновский В. П., Пичугов А. А. Состязательные атаки для автономных транспортных средств // International Journal of Open Information Technologies. — 2024. — Т. 12, № 7. — С. 139–149.

Намиот Д. Е. О кибератаках с помощью систем Искусственного интеллекта // International Journal of Open Information Technologies. — 2024. — Т. 12, № 9. — С. 132–141.

Воробьев, Егор Александрович. "Анализ состязательных атак на системы сегментации изображений." International Journal of Open Information Technologies 12.10 (2024): 1-25.

Намиот Д. Е., Ильюшин Е. А. О киберрисках генеративного Искусственного Интеллекта // International Journal of Open Information Technologies. — 2024. — Т. 12, № 10. — С. 109–119.

Порывай, Максим Викторович. "Сравнительное исследование методов естественной аугментации изображений." International Journal of Open Information Technologies 12.10 (2024): 26-33.

Герасименко, Денис Валерьевич, and Дмитрий Евгеньевич Намиот. "Извлечение тренировочных данных: Риски и решения в контексте безопасности LLM." International Journal of Open Information Technologies 12.11 (2024): 9-19.

Костиков, Егор Вячеславович. "Методы анализа логов Sysmon для обнаружения киберугроз." International Journal of Open Information Technologies 12.11 (2024): 25-34.

Намиот Д. Е., Ильюшин Е. А. Архитектура LLM агентов //International Journal of Open Information Technologies. – 2025. – Т. 13. – №. 1. – С. 67-74.

Намиот, Д. Е., and Е. А. Ильюшин. "Об оценке доверия к системам Искусственного интеллекта." International Journal of Open Information Technologies 13.3 (2025): 75-90.

Пешеходы-невидимки

"Камеры событий, известные своей низкой задержкой и высоким динамическим диапазоном, демонстрируют большой потенциал в приложениях обнаружения пешеходов. Однако, хотя недавние исследования были в основном сосредоточены на повышении точности обнаружения, устойчивость визуальных моделей на основе событий к физическим состязательным атакам получила ограниченное внимание. Например, состязательные физические объекты, такие как определенные модели одежды или аксессуары, могут использовать присущие этим системам уязвимости, что приводит к ошибочным обнаружениям или ошибочной классификации. Это исследование является первым, изучающим физические состязательные атаки на детекторы пешеходов, управляемые событиями, в частности, исследуя, могут ли определенные модели одежды, которые носят пешеходы, привести к сбою этих детекторов, фактически делая их неспособными обнаружить человека. Чтобы решить эту проблему, мы разработали сквозную состязательную структуру в цифровой области, обрамляя дизайн текстур состязательной одежды как задачу оптимизации двумерной текстуры. Создавая эффективную функцию состязательных потерь, фреймворк итеративно генерирует оптимальные текстуры посредством обратного распространения. Наши результаты показывают, что текстуры, идентифицированные в цифровой области, обладают сильными состязательными свойствами. Кроме того, мы перевели эти цифровые оптимизированные текстуры в физическую одежду и протестировали их в реальных сценариях, успешно продемонстрировав, что разработанные текстуры значительно ухудшают производительность основанных на событиях моделей обнаружения пешеходов. Эта работа подчеркивает уязвимость таких моделей к физическим состязательным атакам." - Adversarial Attacks on Event-Based Pedestrian Detectors: A Physical Approach

См. также другие публикации по теме физические атаки

Устройство LLM

Хорошая лекция о принципах работы LLM от Andrej Karpathy

См. также другие публикации, посвященные LLM

Диффузионные модели в порождении текста

"Несмотря на свою новаторскую производительность для многих задач генеративного моделирования, модели диффузии не справляются с дискретными областями данных, такими как естественный язык. Что особенно важно, стандартные модели диффузии опираются на устоявшуюся теорию сопоставления оценок, но попытки обобщить ее на дискретные структуры не дали тех же эмпирических результатов. В этой работе мы устраняем этот разрыв, предлагая энтропию оценок, новую потерю, которая естественным образом расширяет сопоставление оценок до дискретных пространств, легко интегрируется для построения дискретных моделей диффузии и значительно повышает производительность." Одна из немногих статей на эту тему Discrete Diffusion Modeling by Estimating the Ratios of the Data Distribution

Идея в том, что диффузионные модели могут генерить тексты быстрее, чем авторегрессия в LLM. Вот эта компания показывает генерацию кода в 10 раз быстрее, чем это делают LLM.

Источники бесперебойного питания (ИБП) для ЦОД

Выбор источника бесперебойного питания (ИБП) для центра обработки данных (ЦОД) — это важный этап в обеспечении надежности и непрерывности работы IT-инфраструктуры. Основные критерии выбора ИБП для ЦОД включают:

1. Тип ИБП
Для ЦОД чаще всего используют ИБП типа *on-line* (двойное преобразование), которые обеспечивают постоянное питание нагрузки стабилизированным напряжением без задержки переключения. Это гарантирует максимальную защиту оборудования от любых аномалий сети.

2. Мощность
Мощность ИБП определяется исходя из суммарной мощности всех подключённых устройств плюс запас на случай расширения инфраструктуры. Рекомендуется выбирать ИБП с мощностью минимум на 20% больше, чем пиковая нагрузка серверов и другого оборудования.

Как рассчитать мощность ИБП, зная коэффициент мощности нагрузки? Чтобы вычислить мощность необходимо перемножить номинальную мощность ИБП на коэффициент мощности. В результате операции получается число, которое показывает максимальную активную мощность, которую сможет обслуживать источник бесперебойного питания. Например, мощность ИБП составляет 100 кВА, а коэффициент мощности нагрузки равен 0,9. В таком случае активная мощность нагрузки составит 90 кВт. Суммарная мощность нагрузки должна быть меньше 90 кВт.

3. Время автономной работы
Время автономной работы зависит от емкости батарей ИБП. Для ЦОД важно иметь достаточное количество времени для безопасного завершения работы критически важных приложений или перевода нагрузки на резервные источники энергии (например, генераторы). Оптимальное время автономной работы варьируется от 10 минут до нескольких часов, в зависимости от требований конкретной инфраструктуры.

4. Масштабируемость
Важно учитывать возможность увеличения мощности ИБП путем добавления модулей или замены батарей. Масштабируемые ИБП особенно полезны для крупных центров обработки данных, где инфраструктура постоянно расширяется.

5. Эффективность
Высокий КПД (коэффициент полезного действия) важен для снижения эксплуатационных расходов. Современные ИБП могут достигать КПД до 95%, что снижает потери электроэнергии и тепловыделение.

6. Интеллектуальная система управления
Наличие встроенной системы мониторинга и управления позволяет удалённо контролировать состояние ИБП, получать уведомления о сбоях и автоматически управлять нагрузкой. Поддержка интеграции с системами мониторинга и управления инфраструктурой (DCIM) также важна.

7. Поддержка параллельной работы
Возможность подключения нескольких ИБП параллельно увеличивает общую мощность и повышает надежность системы. В случае выхода из строя одного устройства остальные продолжают обеспечивать электропитание.

8. Уровень защиты
Необходимо убедиться, что ИБП защищает оборудование не только от скачков напряжения, но и от импульсных перенапряжений, электромагнитных помех и гармоник. Для этого важны фильтры и дополнительные защитные схемы.

9. Условия эксплуатации
Учитываются требования к окружающей среде: температура, влажность, пыле- и влагозащита. ИБП для ЦОД должны выдерживать высокие температуры и работать в условиях повышенной нагрузки.

10. Цена и гарантия
Выбор ИБП также зависит от стоимости и гарантийных обязательств производителя. Лучше выбирать проверенные бренды с хорошей репутацией и длительным сроком гарантии.

При выборе ИБП для ЦОД нужно ориентироваться на конкретные потребности инфраструктуры, учитывая как технические параметры, так и возможные сценарии развития предприятия.

Подбор источника бесперебойного питания (ИБП) для ЦОД

LLM и дроны

Низковысотная мобильность, примером которой являются беспилотные летательные аппараты (БПЛА), внесла преобразующие достижения в различные области, такие как транспорт, логистика и сельское хозяйство. Используя гибкие перспективы и быструю маневренность, БПЛА расширяют возможности восприятия и действия традиционных систем, привлекая широкое внимание со стороны академических кругов и промышленности. Однако текущие операции БПЛА в первую очередь зависят от человеческого контроля, с ограниченной автономностью только в простых сценариях и не имеют интеллекта и адаптивности, необходимых для более сложных сред и задач. Появление больших языковых моделей (LLM) демонстрирует замечательные возможности решения проблем и обобщения, предлагая многообещающий путь для развития интеллекта БПЛА. В этой статье рассматривается интеграция LLM и БПЛА, начиная с обзора основных компонентов и функций систем БПЛА, за которым следует обзор новейших технологий LLM. Затем систематически освещаются мультимодальные ресурсы данных, доступные для БПЛА, которые обеспечивают критически важную поддержку для обучения и оценки. Кроме того, он классифицирует и анализирует ключевые задачи и сценарии применения, в которых сходятся БПЛА и LLM. Наконец, предлагается справочная дорожная карта к агентным БПЛА, направленная на то, чтобы позволить БПЛА достичь агентного интеллекта посредством автономного восприятия, памяти, рассуждения и использования инструментов. Сопутствующие ресурсы доступны по адресу https://github.com/Hub-Tian/UAVs - UAVs Meet LLMs: Overviews and Perspectives Toward Agentic Low-Altitude Mobility

Интересная работа по использованию мультимодальных моделей в БПЛА. Например, использование Vision Foundation Models для сегментации изображений.

NVIDIA AI Red Team

Состязательное тестирование LLM по версии NVIDIA

См. также другие публикации по теме AI Red Team

Доверенные системы Искусственного Интеллекта

Вопросы доверия к системам Искусственного интеллекта (ИИ) включают в себя много аспектов. Доверие к системам ИИ – это доверие к их результатам. Результаты работы используемых моделей принципиально носят недетерминированный характер. Доверие (гарантирование) результатов – это устойчивость модели, способность к обобщению, отсутствие бэкдоров и множество других показателей. Отсюда появляются риски систем ИИ. К сожалению, подходы к оценкам для большинства из них (практически всех) не имеют объемлющих (окончательных) решений. Одним из возможных решений в такой ситуации является оценка самого факта использования (принятия во внимание) разработчиками системы ИИ решений по парированию определенных рисков. Мы не можем оценить результаты этих решений, но, по крайней мере, мы можем зафиксировать попытки решения. Что это дает? Во-первых, мы можем оценить наличие этих попыток в баллах, что даст возможность сравнивать между собой разные реализации. Во-вторых, парирование таких рисков и есть лучшие практики по разработке систем ИИ, соответственно, отсутствие конкретных решений указывает разработчикам пути для улучшения свои продуктов. Это и есть аудит для систем ИИ. В работе рассматривается европейский проект опросного листа для оценки доверия к системам ИИ, для которого был создан адаптированный локализованный вариант, предлагаемый авторами как основа для систем аудита моделей ИИ. - Об оценке доверия к системам Искусственного интеллекта

См. также другие публикации по теме аудит

INJOIT том 13, номер 3

Вышел третий номер журнала INJOIT в 2025 году. И тринадцатый год издания журнала.

Темы статей:

• Исследование асимптотик решений дифференциальных уравнений 2-го порядка с мероморфными коэффициентами
• Опыт прогнозирования интенсивности морского трафика на основе компьютерного анализа online-морских карт Панамского канала
• Improvement the Accuracy of Attitude Estimation of UAV using the Extended Kalman Filter based on Particle Swarm Optimization
• Разработка и исследование программного обеспечения для моделирования певческого голоса на основе применения технологии SoftVC VITS
• Exact solution of the three-state generalized double-chain Potts model
• Метод кратковременного использования простаивающих компьютеров корпоративной сети для решения ресурсоемкой задачи
• Система аннотирования биомедицинских изображений на основе интернет-технологий в онкогематологии
• Виртуальный Музей Киберинцидентов: Реальность Цифровых Артефактов
• Методическое и программно-аппартное обеспечение выявления индивидуального киберукачивания в виртуальной реальности
• Об оценке доверия к системам Искусственного интеллекта

/via Лаборатория ОИТ

Архив журнала находится здесь.

Безопасность электрозарядок

Зарядки для электротранспорта - новые поверхности атак. NIST: Cybersecurity Framework Profile for Electric Vehicle Extreme Fast Charging Infrastructure

Ответственный ИИ

"Anthropic получила сертификат ISO 42001 для ответственного ИИ

Мы рады сообщить, что Anthropic получила аккредитованную сертификацию в соответствии с новым стандартом ISO/IEC 42001:2023 для нашей системы управления ИИ. ISO 42001 — первый международный стандарт, определяющий требования к управлению ИИ, и помогает гарантировать, что системы ИИ разрабатываются и используются ответственно.

Получение этой сертификации подчеркивает нашу приверженность безопасности ИИ и ответственному развитию. Она обеспечивает независимую проверку того, что мы внедрили комплексную структуру для выявления, оценки и снижения потенциальных рисков, связанных с нашими системами ИИ. Ключевые элементы включают:

Политики и процессы, гарантирующие, что системы ИИ проектируются, разрабатываются и развертываются этичным, безопасным и ответственным образом; Строгое тестирование и мониторинг для проверки того, что системы ведут себя так, как задумано, а потенциальные негативные воздействия устраняются проактивно; Меры прозрачности для предоставления соответствующей информации пользователям и заинтересованным сторонам; Установленные роли, обязанности и надзор для поддержания ответственных практик." - отсюда

/via Radar Trends

Дизельная электростанция (ДЭС)

Дизельная электростанция (ДЭС) представляет собой генерирующее электроэнергию устройство, состоящее из дизельного двигателя и генератора переменного тока, сочлененных между собой и установленных на прочную металлическую раму. Внутри рамы ДЭС обычно располагается топливный бак на 6-8 часов работы дизельной электростанции. Электростанция обеспечивается локальной системой контроля и управления – панелью управления. Дизельная электростанция может быть одно- или многоагрегатной. Одноагрегатные дизельные электростанции часто называют дизель-генераторными установками (ДГУ) или дизель-генераторами (ДГ) - Дизельная электростанция (ДЭС) от Ведущего эксперта в области гарантированного и бесперебойного электроснабжения

Новый фишинг

Фишинговые сайты - как контекстная реклама в Google

Как LLM рассуждают?

Интересная статья Understanding Reasoning LLMs

См. также другие публикации, посвященные LLM

Постоянные угрозы

"Продвинутые постоянные угрозы (Advanced persistent threats - APT) — это сложные кибератаки, которые могут оставаться незамеченными в течение длительного времени, что делает их устранение особенно сложным. Учитывая их постоянство, требуются значительные усилия для их обнаружения и эффективного реагирования. Существующие методы обнаружения атак на основе происхождения часто не обладают интерпретируемостью и страдают от высоких показателей ложных срабатываний, в то время как подходы к расследованию либо контролируются, либо ограничиваются известными атаками. Для решения этих проблем мы представляем SHIELD, новый подход, который сочетает статистическое обнаружение аномалий и анализ на основе графов с возможностями контекстного анализа больших языковых моделей (LLM). SHIELD использует неявные знания LLM для выявления скрытых шаблонов атак в данных о происхождении, одновременно сокращая количество ложных срабатываний и предоставляя четкие, интерпретируемые описания атак. Это снижает утомляемость аналитиков и облегчает им понимание ландшафта угроз. Наша обширная оценка демонстрирует эффективность SHIELD и вычислительную эффективность в реальных сценариях. SHIELD показал, что превосходит самые современные методы, достигая более высокой точности и полноты. Интеграция SHIELD обнаружения аномалий, контекстного анализа на основе LLM и расширенной графической корреляции устанавливает новый эталон для обнаружения APT." - SHIELD: APT Detection and Intelligent Explanation Using LLM

Интересная идея использования LLM в кибербезопасности.

Архитектура программных систем

ИБП для медицинского оборудования

ИБП (Источник бесперебойного питания) играет важную роль в защите критически важных медицинских устройств, включая МРТ-аппараты. Основная задача ИБП — обеспечить стабильное питание оборудования даже при сбоях в электросети. Рассмотрим подробнее, каким образом ИБП защищают МРТ-аппараты и какие факторы важны при выборе источника бесперебойного питания для медицинского учреждения.

Как ИБП защищает МРТ-аппараты?

1. Защита от сбоев напряжения В условиях работы медицинской техники любые колебания в сети могут привести к значительным проблемам, вплоть до выхода оборудования из строя. ИБП компенсирует скачки напряжения, обеспечивая постоянное и качественное электропитание МРТ-аппаратов. Это особенно важно, поскольку такие устройства чувствительны к качеству поступающей электроэнергии.

2. Обеспечение непрерывной работы МРТ требует постоянного питания без перерывов. Даже кратковременный сбой в электроснабжении может нарушить работу аппарата и сделать результаты исследования непригодными. ИБП предотвращает эти проблемы, поддерживая подачу энергии через аккумуляторы в случае отключения основного питания.

3. Фильтрация помех Источники бесперебойного питания также фильтруют электромагнитные помехи и высокочастотные шумы, которые могут возникать в электрических сетях. Эти помехи способны ухудшить качество изображений МРТ, делая их менее информативными для диагностики. Качественный ИБП минимизирует влияние таких факторов.

4. Автоматическое переключение на резервное питание Если основное напряжение пропадает, ИБП мгновенно активируется, переключая нагрузку на батарею. Благодаря этому МРТ продолжает функционировать без перебоев, пока электросеть не восстановится или персонал не примет меры по замене батареи.

5. Продление срока службы оборудования Из-за постоянных колебаний напряжения МРТ-оборудование подвергается повышенному износу. Использование ИБП помогает стабилизировать условия эксплуатации, что продлевает срок службы дорогостоящей аппаратуры.

Составлено по материалам раздела ИБП для медицинского оборудования

Какие параметры важны при выборе ИБП для медицинского учреждения?

1. Тип ИБП Существует несколько типов источников бесперебойного питания, каждый из которых имеет свои особенности:

- Резервные ИБП: Используются только при отключениях основной сети. Они дешевы, но имеют задержки при переключении на аккумуляторную батарею.
- Интерактивные ИБП: Помимо защиты от отключений, они корректируют напряжение в режиме реального времени, снижая риски повреждений оборудования.
- Онлайновые ИБП: Наиболее надежный вариант для медицинских учреждений. Они обеспечивают полное дублирование сети, преобразуя входящее переменное напряжение в постоянное, а затем обратно в переменное. Это позволяет исключить любую задержку при переходе на аккумулятор и поддерживать идеальные параметры электропитания.

Для МРТ лучше всего подходят онлайновые ИБП благодаря их способности обеспечивать максимальную защиту и стабильность.

2. Мощность ИБП Мощность ИБП должна соответствовать потребляемой мощности МРТ-аппарата плюс небольшой запас (обычно около 20%). Важно учитывать не только активную мощность (в ваттах), но и полную мощность (в вольт-амперах). Полная мощность рассчитывается с учетом коэффициента мощности, который часто указывается производителями МРТ.

3. Время автономной работы Время автономии определяет, сколько ИБП сможет поддерживать оборудование после отключения основного питания. Для МРТ это особенно важно, чтобы завершить исследование пациента, даже если произошло длительное отключение электричества. Обычно ИБП комплектуется несколькими сменными батареями, которые позволяют увеличить время автономной работы.

4. Совместимость с медицинскими стандартами Медицинские учреждения обязаны соблюдать строгие стандарты безопасности. Поэтому выбираемый ИБП должен иметь соответствующие сертификаты, подтверждающие его соответствие требованиям электробезопасности и электромагнитной совместимости.

Источник: Справочник по решениям для бесперебойного и гарантированного электропитания

AI кодо-генератор

Генерация веб-приложений, мобильных приложений Android & IoS агентом LLM

Одноплатники для IoT

Одноплатные компьютеры для Интернета Вещей

Искусственный интеллект: вызовы и возможности

Искусственный интеллект: вызовы и возможности. Опыт использования AI/ML в различных отраслях, вопросы доверия и информационной безопасности. Материалы конференции ТБ Форум 2025.

Математические основы ИИ

Доклады семинара "Математические основы искусственного интеллекта", который проводит Математический институт им. В.А. Стеклова.

DeepSeek в иллюстрациях

The Illustrated DeepSeek-R1

См. также другие публикации, посвященные LLM

Парадокс Симпсона

Парадокс Симпсона — это когда тенденция, присутствующая в различных группах данных, кажется, исчезает или даже обращается вспять, когда эти группы объединяются. Примеры этого часто можно увидеть в таких вещах, как медицинские испытания, и это явление обычно обусловлено одной или несколькими немоделированными смешивающими переменными или, возможно, различными причинными предположениями. - отсюда

Вопросы по тексту

Если с помощью LLM можно суммировать содержание текста, то почему бы не попробовать составить вопросы по этому тексту? И проверять ответы. Интересная идея: AI Quiz Generator Русский язык поддерживают.

Шифрованные атаки

Шифрование трафика широко применяется для защиты конфиденциальности и целостности интернет-трафика. Однако злоумышленники также могут злоупотреблять таким механизмом для доставки вредоносного трафика. В частности, существующие методы обнаружения зашифрованного вредоносного трафика не являются надежными против атак уклонения, которые манипулируют трафиком для сокрытия характеристик трафика. Надежное обнаружение атак уклонения остается открытой проблемой. В конце концов, мы разрабатываем Wedjat, который использует причинно-следственную сеть для моделирования доброкачественных взаимодействий пакетов между соответствующими потоками, таким образом, что он распознает аномальную причинно-следственную связь, которая представляет собой вредоносный трафик и нарушенную причинно-следственную связь, вызванную атаками уклонения. - Wedjat: Detecting Sophisticated Evasion Attacks via Real-time Causal Analysis

P.S. См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Атаки в тексте

Хороший и компактный обзор - состязательные атаки в NLP и защита от них

P.S. См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Машинное обучение в проде

Курс CMU, который охватывает, как создавать, развертывать, обеспечивать и поддерживать программные продукты с моделями машинного обучения. Включает весь жизненный цикл от прототипа модели ML до целой системы, развернутой в производстве. Охватывает также ответственный ИИ (включая безопасность, защищенность, справедливость, объяснимость) и MLOps. - Machine Learning in Production (17-445/17-645/17-745) / AI Engineering (11-695)

Автономные и доверенные

Автономные транспортные средства полагаются на машинное обучение для решения сложных задач восприятия и планирования движения. Однако стандарты безопасности автомобильного программного обеспечения не полностью развились для решения проблем безопасности машинного обучения, таких как интерпретируемость, проверка и ограничения производительности. В этой статье мы рассматриваем и организуем практические методы безопасности машинного обучения, которые могут дополнять инженерную безопасность для программного обеспечения на основе машинного обучения в автономных транспортных средствах. Наша организация сопоставляет стратегии безопасности с современными методами машинного обучения, чтобы повысить надежность и безопасность алгоритмов машинного обучения. Мы также обсуждаем ограничения безопасности и аспекты пользовательского опыта компонентов машинного обучения в автономных транспортных средствах. - Practical Solutions for Machine Learning Safety in Autonomous Vehicles

И один из авторов этой работы Sina Mohseni

Генеративный ИИ на ракетах

Материалы экспертной сессии от Softline и Фонда «Сколково» «Проблемы и вызовы применения ИИ в ракетно-космической отрасли», которая состоялась 30 января 2025 года. Цель - обсудить актуальные вопросы внедрения искусственного интеллекта в разработку и проектирование продукции космического назначения. В ходе мероприятия обсудили широкий спектр тем, от технологий ИИ в аэрокосмическом приборостроении и генеративного проектирования до текстовой аналитики и управления проектами НИОКР. Ведущие эксперты представили передовые решения с акцентом на предиктивной аналитике, формировании высокотехнологических холдингов и перспективах генеративных моделей.

Презентации

LLM и будущее

Современное общество сталкивается с беспрецедентными вызовами — от быстрой технологической эволюции до изменения климата и демографической напряженности — заставляющими организации предвидеть будущее для принятия обоснованных решений. Целью этого тематического исследования было разработать цифровую систему для конечных пользователей под названием Time Machine, которая позволяет системе генеративного искусственного интеллекта (GenAI) автоматически создавать перспективные будущие сценарии на основе входной информации, предлагая гипотезы и расставляя приоритеты тенденций для упрощения и повышения доступности формулирования будущих сценариев. Проектирование, разработка и тестирование системы проходили через три версии подсказок для OpenAI GPT-4 LLM, с шестью испытаниями, проведенными с участием 222 человек. Этот итеративный подход позволил постепенно корректировать инструкции, даваемые машине, и поощрял уточнения. Результаты шести испытаний показали, что Time Machine является эффективным инструментом для создания будущих сценариев, которые способствуют дебатам и стимулируют новые идеи в многопрофильных командах. Наши испытания доказали, что сценарии, созданные GenAI, могут стимулировать обсуждения по +70% созданных сценариев с соответствующими подсказками, и более половины из них включали новые идеи. В заключение, большие языковые модели (LLM) GenAI с подходящей оперативной инженерией и архитектурой имеют потенциал для создания полезных будущих сценариев для организаций, преобразуя будущий интеллект в более доступный и оперативный ресурс. Однако критическое использование этих сценариев имеет важное значение. - The Time Machine: Future Scenario Generation Through Generative AI Tools

См. также другие публикации, посвященные LLM

Состязательные тренировки для LLM

Большие языковые модели (LLM) уязвимы для универсальных стратегий, побуждающих к джейлбрейкам, которые систематически обходят защитные механизмы моделей и позволяют пользователям выполнять вредоносные процессы, требующие множества взаимодействий с моделями, например, производство незаконных веществ в больших масштабах. Для защиты от этих атак мы вводим конституционные классификаторы: защитные механизмы, обученные на синтетических данных, созданных путем подсказки LLM с помощью правил естественного языка (т. е. конституции), определяющих разрешенный и ограниченный контент. За более чем 3000 предполагаемых часов работы red teaming ни один red teaming не нашел универсального джейлбрейка, который мог бы извлекать информацию из раннего защищенного классификатором LLM на том же уровне детализации, что и незащищенная модель, по большинству целевых запросов. При автоматизированных оценках улучшенные классификаторы продемонстрировали надежную защиту от удерживаемых доменно-специфичных джейлбрейков. Эти классификаторы также поддерживают жизнеспособность развертывания с абсолютным увеличением отказов производственного трафика на 0,38% и накладными расходами на вывод на 23,7%. Наша работа показывает, что защита от универсальных джейлбрейков при сохранении практической жизнеспособности развертывания является управляемой. - Constitutional Classifiers: Defending against Universal Jailbreaks across Thousands of Hours of Red Teaming

Anthropic описал состязательные тренировки для LLM. Вот здесь есть описание подхода

См. также другие публикации, посвященные LLM

Как описывать езду?

Стандарт BSI: BSI Flex 1891 Таксономия поведения для приложений автоматизированных систем вождения. Требования к автоматизированной системе вождения (ADS), другим участникам дорожного движения и компетенциям в областях эксплуатационного проектирования.

Фиксация состязательных модификаций изображений

Широкое распространение глубоких нейронных сетей (DNN) в критических приложениях реального времени стимулировало значительные исследования их безопасности и надежности. Ключевой выявленной уязвимостью является то, что решения DNN могут быть злонамеренно изменены путем введения тщательно созданного шума во входные данные, что приводит к ошибочным прогнозам. Это известно как состязательная атака. В этой статье мы предлагаем новую структуру обнаружения, использующую маски сегментации и методы сегментации изображений для выявления состязательных атак на DNN, особенно в контексте автономных систем вождения. Наша техника защиты рассматривает два уровня состязательного обнаружения. Первый уровень в основном обнаруживает состязательные входные данные с большими возмущениями, используя модель U-net и одноклассовую машину опорных векторов (SVM). Второй уровень защиты предлагает динамический алгоритм сегментации, основанный на алгоритме k-средних и модели верификатора, которая управляет окончательным прогнозом входного изображения. Чтобы оценить наш подход, мы всесторонне сравниваем наш метод с современным методом сжатия признаков в атаке белого ящика, используя одиннадцать различных состязательных атак в трех эталонных и гетерогенных наборах данных. Экспериментальные результаты демонстрируют эффективность нашей структуры, достигая общих показателей обнаружения, превышающих 96% по всем изученным состязательным методам и наборам данных. Стоит отметить, что наш метод повышает показатели обнаружения атак FGSM и BIM, достигая средних показателей обнаружения 95,65% по сравнению с 62,63% при сжатии признаков в трех наборах данных. - Image Segmentation Framework for Detecting Adversarial Attacks for Autonomous Driving Cars

P.S. См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Медицинские кибер-физические системы

Отечественный стандарт на медициские CPS