LLM Red teaming

Быстрый рост больших языковых моделей (LLM) представляет значительные проблемы конфиденциальности, безопасности и этики. Хотя многие исследования предлагали методы защиты систем LLM от неправомерного использования злоумышленниками, исследователи недавно дополнили эти усилия наступательным подходом, который включает red teaming, т. е. упреждающую атаку на LLM с целью выявления их уязвимостей. В этой статье представлен краткий и практический обзор литературы по red teaming LLM, структурированный таким образом, чтобы описать многокомпонентную систему от начала до конца. Чтобы мотивировать red teaming, мы изучаем первоначальные потребности в безопасности некоторых высокопоставленных LLM, а затем углубляемся в различные компоненты системы red teaming, а также программные пакеты для их реализации. Мы рассматриваем различные методы атак, стратегии для оценки успешности атак, метрики для оценки результатов эксперимента, а также множество других соображений. Наш опрос будет полезен любому читателю, который хочет быстро получить представление об основных концепциях Red Teaming для собственного использования в практических приложениях. - Building Safe GenAI Applications: An End-to-End Overview of Red Teaming for Large Language Models

См. также другие публикации по теме AI Red Team

Публикации по теме Искусственный интеллект в кибербезопасности

Вопросы безопасности систем ИИ рассматриваются в двух магистерских программах факультета ВМК МГУ имени М.В. Ломоносова: Искусственный интеллект в кибербезопасности и Кибербезопасность (совместно со Сбербанк). Ниже приведен список публикаций, подготовленных в процессе реализации этих программ по состоянию на 10.03.2025

Ильюшин Е. А., Намиот Д. Е. An approach to the automatic enhancement of the robustness of ml models to external influences on the example of the problem of biometric speaker identification by voice // International Journal of Open Information Technologies. — 2021. — Vol. 9, no. 6. — P. 11–19.

Намиот Д. Е., Ильюшин Е. А., Чижов И. В. Текущие академические и индустриальные проекты, посвященные устойчивому машинному обучению // International Journal of Open Information Technologies. — 2021. — Т. 9, № 10. — С. 35–46.

Намиот Д. Е., Ильюшин Е. А., Чижов И. В. Основания для работ по устойчивому машинному обучению // International Journal of Open Information Technologies. — 2021. — Т. 9, № 11. — С. 68–74.

Намиот Д. Е., Ильшин Е. А., Чижов И. В. Военные применения машинного обучения // International Journal of Open Information Technologies. — 2022. — Т. 10, № 1. — С. 69–76.

Ильюшин Е. А., Намиот Д. Е., Чижов И. В. Атаки на системы машинного обучения – общие проблемы и методы // International Journal of Open Information Technologies. — 2022. — Т. 10, № 3. — С. 17–22.

Namiot D., Ilyushin E. On monitoring of machine learning models // Distributed Computer and Communication Networks: Control, Computation, Communications (DCCN-2022) : материалы XXV международной научной конференции: Москва, 26–30 сентября 2022 года / под общ. ред. В. М. Вишневского и К. Е. Самуйлова. — РУДН Москва: 2022. — P. 150–157.

Namiot D., Ilyushin E., Chizhov I. On a formal verification of machine learning systems // International Journal of Open Information Technologies. — 2022. — Vol. 10, no. 5. — P. 30–34.

Huayu L., Namiot D. A survey of adversarial attacks and defenses for image data on deep learning // International Journal of Open Information Technologies. — 2022. — Vol. 10, no. 5. — P. 9–16.

Намиот Д., Ильюшин Е., Пилипенко О. Доверенные платформы искусственного интеллекта // International Journal of Open Information Technologies. — 2022. — Т. 10, № 7. — С. 119–127.

Намиот Д., Ильюшин Е. Порождающие модели в машинном обучении // International Journal of Open Information Technologies. — 2022. — Т. 10, № 7. — С. 101–118.

Биджиев Т. М., Намиот Д. Е. Исследование существующих подходов к встраиванию вредоносного программного обеспечения в искусственные нейронные сети // International Journal of Open Information Technologies. — 2022. — Т. 10, № 9. — С. 21–31.

Намиот Д. Е., Ильюшин Е. А. Об устойчивости и безопасности систем искусственного интеллекта // International Journal of Open Information Technologies. — 2022. — Т. 10, № 9. — С. 126–134.

Намиот Д. Е., Ильюшин Е. А., Чижов И. В. Искусственный интеллект и кибербезопасность // International Journal of Open Information Technologies. — 2022. — Т. 10, № 9. — С. 135–147.

Stroeva E., Tonkikh A. Methods for formal verification of artificial neural networks: A review of existing approaches // International Journal of Open Information Technologies. — 2022. — Vol. 10, no. 10. — P. 3.

Намиот Д., Ильюшин Е. Мониторинг сдвига данных в моделях машинного обучения // International Journal of Open Information Technologies. — 2022. — Т. 10, № 12. — С. 84–93.

Костюмов, Василий Владимирович. "Обзор и систематизация атак уклонением на модели компьютерного зрения." International Journal of Open Information Technologies 10.10 (2022): 11-20.

Намиот Д. Е., Ильюшин Е. А. О причинах неудач проектов машинного обучения // International Journal of Open Information Technologies. — 2023. — Т. 11, № 1. — С. 60–69.

Намиот Д. Е. Введение в атаки отравлением на модели машинного обучения // International Journal of Open Information Technologies. — 2023. — Т. 11, № 3. — С. 58–68.

Namiot D. E., Ilyushin E., Chizhov I. On the practical generation of counterfactual examples // Труды Института системного анализа Российской академии наук. — 2023. — Vol. 73, no. 1. — P. 73–81.

Junzhe S., Namiot D. E. A survey of model inversion attacks and countermeasures // Труды Института системного анализа Российской академии наук. — 2023. — Vol. 73, no. 1. — P. 82–93.

Junzhe S., Namiot D. A survey of the implementations of model inversion attacks // Communications in Computer and Information Science. — 2023. — Vol. 1748. — P. 3–16.

Намиот Д. Е. Схемы атак на модели машинного обучения // International Journal of Open Information Technologies. — 2023. — Т. 11, № 5. — С. 68–86.

On the evasion attack detector / L. Huayui, V. Kostyumov, O. Pilipenko, D. Namiot // DCCN 2023. Материалы конференции. — ИПУ РАН Москва: 2023. — P. 183–188.

Junzhe S., Namiot D. On the machine learning models inversion attack detector // DCCN 2023. Материалы конференции. — ИПУ РАН Москва: 2023. — P. 194.

Lozinskii I., Kostyumov V., Stroeva E. Extraction of trigger and mask from poisoned data using modified activation clustering and neural cleanse methods // International Journal of Open Information Technologies. — 2023. — Vol. 11, no. 7. — P. 1

Чехонина, Екатерина Андреевна, and Василий Владимирович Костюмов. "ОБЗОР СОСТЯЗАТЕЛЬНЫХ АТАК И МЕТОДОВ ЗАЩИТЫ ДЛЯ ДЕТЕКТОРОВ ОБЪЕКТОВ." International Journal of Open Information Technologies 11.7 (2023): 11-20.

Пришлецов Д. Е., Пришлецов С. Е., Намиот Д. Е. Камуфляж как состязательные атаки на модели машинного обучения // International Journal of Open Information Technologies. — 2023. — Т. 11, № 9. — С. 41–49.

Намиот Д. Е., Зубарева Е. В. О работе ai red team // International Journal of Open Information Technologies. — 2023. — Т. 11, № 10. — С. 130–139.

Намиот Д. Е., Ильюшин Е. А. Доверенные платформы искусственного интеллекта: сертификация и аудит // International Journal of Open Information Technologies. — 2024. — Т. 12, № 1. — С. 43–60.

Киржинов Д. А., Ильюшин Е. А. Сравнительный анализ алгоритмов атак и защиты на графовые архитектуры ИНС // International Journal of Open Information Technologies. — 2024. — Т. 12, № 2.

Намиот Д. Е., Романов В. Ю. Об улучшении робастности моделей машинного обучения // International Journal of Open Information Technologies. — 2024. — Т. 12, № 3. — С. 88–98.

Junzhe S., Namiot D. On real-time model inversion attacks detection // Lecture Notes in Computer Science. — 2024. — Vol. 14123. — P. 56–67.

Мударова Р. М., Намиот Д. Е. Противодействие атакам типа инъекция подсказок на большие языковые модели // International Journal of Open Information Technologies. — 2024. — Т. 12, № 5. — С. 39–48.

Намиот Д. Е., Ильюшин Е. А. Искусственный интеллект в кибербезопасности: поиск вредоносного программного обеспечения // International Journal of Open Information Technologies. — 2024. — Т. 12, № 6. — С. 143–149.

Селевенко Р. М., Строева Е. Н. Исследование и разработка алгоритма формальной верификации и метрики оценки качества на основе методов понижения размерности ИНС // INJOIT. — 2024. — Т. 12, № 6. — С. 2.

Биджиев Т. М., Намиот Д. Е. Атаки на модели машинного обучения, основанные на фреймворке pytorch // Автоматика и телемеханика. — 2024. — № 3. — С. 38–50.

Намиот Д. Е., Ильюшин Е. А. О сертификации систем искусственного интеллекта // Физика элементарных частиц и атомного ядра. — 2024. — Т. 55, № 3. — С. 530–536.

Намиот Д. Е., Куприяновский В. П., Пичугов А. А. Состязательные атаки для автономных транспортных средств // International Journal of Open Information Technologies. — 2024. — Т. 12, № 7. — С. 139–149.

Намиот Д. Е. О кибератаках с помощью систем Искусственного интеллекта // International Journal of Open Information Technologies. — 2024. — Т. 12, № 9. — С. 132–141.

Воробьев, Егор Александрович. "Анализ состязательных атак на системы сегментации изображений." International Journal of Open Information Technologies 12.10 (2024): 1-25.

Намиот Д. Е., Ильюшин Е. А. О киберрисках генеративного Искусственного Интеллекта // International Journal of Open Information Technologies. — 2024. — Т. 12, № 10. — С. 109–119.

Порывай, Максим Викторович. "Сравнительное исследование методов естественной аугментации изображений." International Journal of Open Information Technologies 12.10 (2024): 26-33.

Герасименко, Денис Валерьевич, and Дмитрий Евгеньевич Намиот. "Извлечение тренировочных данных: Риски и решения в контексте безопасности LLM." International Journal of Open Information Technologies 12.11 (2024): 9-19.

Костиков, Егор Вячеславович. "Методы анализа логов Sysmon для обнаружения киберугроз." International Journal of Open Information Technologies 12.11 (2024): 25-34.

Намиот Д. Е., Ильюшин Е. А. Архитектура LLM агентов //International Journal of Open Information Technologies. – 2025. – Т. 13. – №. 1. – С. 67-74.

Намиот, Д. Е., and Е. А. Ильюшин. "Об оценке доверия к системам Искусственного интеллекта." International Journal of Open Information Technologies 13.3 (2025): 75-90.

Пешеходы-невидимки

"Камеры событий, известные своей низкой задержкой и высоким динамическим диапазоном, демонстрируют большой потенциал в приложениях обнаружения пешеходов. Однако, хотя недавние исследования были в основном сосредоточены на повышении точности обнаружения, устойчивость визуальных моделей на основе событий к физическим состязательным атакам получила ограниченное внимание. Например, состязательные физические объекты, такие как определенные модели одежды или аксессуары, могут использовать присущие этим системам уязвимости, что приводит к ошибочным обнаружениям или ошибочной классификации. Это исследование является первым, изучающим физические состязательные атаки на детекторы пешеходов, управляемые событиями, в частности, исследуя, могут ли определенные модели одежды, которые носят пешеходы, привести к сбою этих детекторов, фактически делая их неспособными обнаружить человека. Чтобы решить эту проблему, мы разработали сквозную состязательную структуру в цифровой области, обрамляя дизайн текстур состязательной одежды как задачу оптимизации двумерной текстуры. Создавая эффективную функцию состязательных потерь, фреймворк итеративно генерирует оптимальные текстуры посредством обратного распространения. Наши результаты показывают, что текстуры, идентифицированные в цифровой области, обладают сильными состязательными свойствами. Кроме того, мы перевели эти цифровые оптимизированные текстуры в физическую одежду и протестировали их в реальных сценариях, успешно продемонстрировав, что разработанные текстуры значительно ухудшают производительность основанных на событиях моделей обнаружения пешеходов. Эта работа подчеркивает уязвимость таких моделей к физическим состязательным атакам." - Adversarial Attacks on Event-Based Pedestrian Detectors: A Physical Approach

См. также другие публикации по теме физические атаки

Устройство LLM

Хорошая лекция о принципах работы LLM от Andrej Karpathy

См. также другие публикации, посвященные LLM

Диффузионные модели в порождении текста

"Несмотря на свою новаторскую производительность для многих задач генеративного моделирования, модели диффузии не справляются с дискретными областями данных, такими как естественный язык. Что особенно важно, стандартные модели диффузии опираются на устоявшуюся теорию сопоставления оценок, но попытки обобщить ее на дискретные структуры не дали тех же эмпирических результатов. В этой работе мы устраняем этот разрыв, предлагая энтропию оценок, новую потерю, которая естественным образом расширяет сопоставление оценок до дискретных пространств, легко интегрируется для построения дискретных моделей диффузии и значительно повышает производительность." Одна из немногих статей на эту тему Discrete Diffusion Modeling by Estimating the Ratios of the Data Distribution

Идея в том, что диффузионные модели могут генерить тексты быстрее, чем авторегрессия в LLM. Вот эта компания показывает генерацию кода в 10 раз быстрее, чем это делают LLM.

Источники бесперебойного питания (ИБП) для ЦОД

Выбор источника бесперебойного питания (ИБП) для центра обработки данных (ЦОД) — это важный этап в обеспечении надежности и непрерывности работы IT-инфраструктуры. Основные критерии выбора ИБП для ЦОД включают:

1. Тип ИБП
Для ЦОД чаще всего используют ИБП типа *on-line* (двойное преобразование), которые обеспечивают постоянное питание нагрузки стабилизированным напряжением без задержки переключения. Это гарантирует максимальную защиту оборудования от любых аномалий сети.

2. Мощность
Мощность ИБП определяется исходя из суммарной мощности всех подключённых устройств плюс запас на случай расширения инфраструктуры. Рекомендуется выбирать ИБП с мощностью минимум на 20% больше, чем пиковая нагрузка серверов и другого оборудования.

Как рассчитать мощность ИБП, зная коэффициент мощности нагрузки? Чтобы вычислить мощность необходимо перемножить номинальную мощность ИБП на коэффициент мощности. В результате операции получается число, которое показывает максимальную активную мощность, которую сможет обслуживать источник бесперебойного питания. Например, мощность ИБП составляет 100 кВА, а коэффициент мощности нагрузки равен 0,9. В таком случае активная мощность нагрузки составит 90 кВт. Суммарная мощность нагрузки должна быть меньше 90 кВт.

3. Время автономной работы
Время автономной работы зависит от емкости батарей ИБП. Для ЦОД важно иметь достаточное количество времени для безопасного завершения работы критически важных приложений или перевода нагрузки на резервные источники энергии (например, генераторы). Оптимальное время автономной работы варьируется от 10 минут до нескольких часов, в зависимости от требований конкретной инфраструктуры.

4. Масштабируемость
Важно учитывать возможность увеличения мощности ИБП путем добавления модулей или замены батарей. Масштабируемые ИБП особенно полезны для крупных центров обработки данных, где инфраструктура постоянно расширяется.

5. Эффективность
Высокий КПД (коэффициент полезного действия) важен для снижения эксплуатационных расходов. Современные ИБП могут достигать КПД до 95%, что снижает потери электроэнергии и тепловыделение.

6. Интеллектуальная система управления
Наличие встроенной системы мониторинга и управления позволяет удалённо контролировать состояние ИБП, получать уведомления о сбоях и автоматически управлять нагрузкой. Поддержка интеграции с системами мониторинга и управления инфраструктурой (DCIM) также важна.

7. Поддержка параллельной работы
Возможность подключения нескольких ИБП параллельно увеличивает общую мощность и повышает надежность системы. В случае выхода из строя одного устройства остальные продолжают обеспечивать электропитание.

8. Уровень защиты
Необходимо убедиться, что ИБП защищает оборудование не только от скачков напряжения, но и от импульсных перенапряжений, электромагнитных помех и гармоник. Для этого важны фильтры и дополнительные защитные схемы.

9. Условия эксплуатации
Учитываются требования к окружающей среде: температура, влажность, пыле- и влагозащита. ИБП для ЦОД должны выдерживать высокие температуры и работать в условиях повышенной нагрузки.

10. Цена и гарантия
Выбор ИБП также зависит от стоимости и гарантийных обязательств производителя. Лучше выбирать проверенные бренды с хорошей репутацией и длительным сроком гарантии.

При выборе ИБП для ЦОД нужно ориентироваться на конкретные потребности инфраструктуры, учитывая как технические параметры, так и возможные сценарии развития предприятия.

Подбор источника бесперебойного питания (ИБП) для ЦОД

LLM и дроны

Низковысотная мобильность, примером которой являются беспилотные летательные аппараты (БПЛА), внесла преобразующие достижения в различные области, такие как транспорт, логистика и сельское хозяйство. Используя гибкие перспективы и быструю маневренность, БПЛА расширяют возможности восприятия и действия традиционных систем, привлекая широкое внимание со стороны академических кругов и промышленности. Однако текущие операции БПЛА в первую очередь зависят от человеческого контроля, с ограниченной автономностью только в простых сценариях и не имеют интеллекта и адаптивности, необходимых для более сложных сред и задач. Появление больших языковых моделей (LLM) демонстрирует замечательные возможности решения проблем и обобщения, предлагая многообещающий путь для развития интеллекта БПЛА. В этой статье рассматривается интеграция LLM и БПЛА, начиная с обзора основных компонентов и функций систем БПЛА, за которым следует обзор новейших технологий LLM. Затем систематически освещаются мультимодальные ресурсы данных, доступные для БПЛА, которые обеспечивают критически важную поддержку для обучения и оценки. Кроме того, он классифицирует и анализирует ключевые задачи и сценарии применения, в которых сходятся БПЛА и LLM. Наконец, предлагается справочная дорожная карта к агентным БПЛА, направленная на то, чтобы позволить БПЛА достичь агентного интеллекта посредством автономного восприятия, памяти, рассуждения и использования инструментов. Сопутствующие ресурсы доступны по адресу https://github.com/Hub-Tian/UAVs - UAVs Meet LLMs: Overviews and Perspectives Toward Agentic Low-Altitude Mobility

Интересная работа по использованию мультимодальных моделей в БПЛА. Например, использование Vision Foundation Models для сегментации изображений.

NVIDIA AI Red Team

Состязательное тестирование LLM по версии NVIDIA

См. также другие публикации по теме AI Red Team

Доверенные системы Искусственного Интеллекта

Вопросы доверия к системам Искусственного интеллекта (ИИ) включают в себя много аспектов. Доверие к системам ИИ – это доверие к их результатам. Результаты работы используемых моделей принципиально носят недетерминированный характер. Доверие (гарантирование) результатов – это устойчивость модели, способность к обобщению, отсутствие бэкдоров и множество других показателей. Отсюда появляются риски систем ИИ. К сожалению, подходы к оценкам для большинства из них (практически всех) не имеют объемлющих (окончательных) решений. Одним из возможных решений в такой ситуации является оценка самого факта использования (принятия во внимание) разработчиками системы ИИ решений по парированию определенных рисков. Мы не можем оценить результаты этих решений, но, по крайней мере, мы можем зафиксировать попытки решения. Что это дает? Во-первых, мы можем оценить наличие этих попыток в баллах, что даст возможность сравнивать между собой разные реализации. Во-вторых, парирование таких рисков и есть лучшие практики по разработке систем ИИ, соответственно, отсутствие конкретных решений указывает разработчикам пути для улучшения свои продуктов. Это и есть аудит для систем ИИ. В работе рассматривается европейский проект опросного листа для оценки доверия к системам ИИ, для которого был создан адаптированный локализованный вариант, предлагаемый авторами как основа для систем аудита моделей ИИ. - Об оценке доверия к системам Искусственного интеллекта

См. также другие публикации по теме аудит

INJOIT том 13, номер 3

Вышел третий номер журнала INJOIT в 2025 году. И тринадцатый год издания журнала.

Темы статей:

• Исследование асимптотик решений дифференциальных уравнений 2-го порядка с мероморфными коэффициентами
• Опыт прогнозирования интенсивности морского трафика на основе компьютерного анализа online-морских карт Панамского канала
• Improvement the Accuracy of Attitude Estimation of UAV using the Extended Kalman Filter based on Particle Swarm Optimization
• Разработка и исследование программного обеспечения для моделирования певческого голоса на основе применения технологии SoftVC VITS
• Exact solution of the three-state generalized double-chain Potts model
• Метод кратковременного использования простаивающих компьютеров корпоративной сети для решения ресурсоемкой задачи
• Система аннотирования биомедицинских изображений на основе интернет-технологий в онкогематологии
• Виртуальный Музей Киберинцидентов: Реальность Цифровых Артефактов
• Методическое и программно-аппартное обеспечение выявления индивидуального киберукачивания в виртуальной реальности
• Об оценке доверия к системам Искусственного интеллекта

/via Лаборатория ОИТ

Архив журнала находится здесь.

Безопасность электрозарядок

Зарядки для электротранспорта - новые поверхности атак. NIST: Cybersecurity Framework Profile for Electric Vehicle Extreme Fast Charging Infrastructure

Ответственный ИИ

"Anthropic получила сертификат ISO 42001 для ответственного ИИ

Мы рады сообщить, что Anthropic получила аккредитованную сертификацию в соответствии с новым стандартом ISO/IEC 42001:2023 для нашей системы управления ИИ. ISO 42001 — первый международный стандарт, определяющий требования к управлению ИИ, и помогает гарантировать, что системы ИИ разрабатываются и используются ответственно.

Получение этой сертификации подчеркивает нашу приверженность безопасности ИИ и ответственному развитию. Она обеспечивает независимую проверку того, что мы внедрили комплексную структуру для выявления, оценки и снижения потенциальных рисков, связанных с нашими системами ИИ. Ключевые элементы включают:

Политики и процессы, гарантирующие, что системы ИИ проектируются, разрабатываются и развертываются этичным, безопасным и ответственным образом; Строгое тестирование и мониторинг для проверки того, что системы ведут себя так, как задумано, а потенциальные негативные воздействия устраняются проактивно; Меры прозрачности для предоставления соответствующей информации пользователям и заинтересованным сторонам; Установленные роли, обязанности и надзор для поддержания ответственных практик." - отсюда

/via Radar Trends

Дизельная электростанция (ДЭС)

Дизельная электростанция (ДЭС) представляет собой генерирующее электроэнергию устройство, состоящее из дизельного двигателя и генератора переменного тока, сочлененных между собой и установленных на прочную металлическую раму. Внутри рамы ДЭС обычно располагается топливный бак на 6-8 часов работы дизельной электростанции. Электростанция обеспечивается локальной системой контроля и управления – панелью управления. Дизельная электростанция может быть одно- или многоагрегатной. Одноагрегатные дизельные электростанции часто называют дизель-генераторными установками (ДГУ) или дизель-генераторами (ДГ) - Дизельная электростанция (ДЭС) от Ведущего эксперта в области гарантированного и бесперебойного электроснабжения

Новый фишинг

Фишинговые сайты - как контекстная реклама в Google

Как LLM рассуждают?

Интересная статья Understanding Reasoning LLMs

См. также другие публикации, посвященные LLM

Постоянные угрозы

"Продвинутые постоянные угрозы (Advanced persistent threats - APT) — это сложные кибератаки, которые могут оставаться незамеченными в течение длительного времени, что делает их устранение особенно сложным. Учитывая их постоянство, требуются значительные усилия для их обнаружения и эффективного реагирования. Существующие методы обнаружения атак на основе происхождения часто не обладают интерпретируемостью и страдают от высоких показателей ложных срабатываний, в то время как подходы к расследованию либо контролируются, либо ограничиваются известными атаками. Для решения этих проблем мы представляем SHIELD, новый подход, который сочетает статистическое обнаружение аномалий и анализ на основе графов с возможностями контекстного анализа больших языковых моделей (LLM). SHIELD использует неявные знания LLM для выявления скрытых шаблонов атак в данных о происхождении, одновременно сокращая количество ложных срабатываний и предоставляя четкие, интерпретируемые описания атак. Это снижает утомляемость аналитиков и облегчает им понимание ландшафта угроз. Наша обширная оценка демонстрирует эффективность SHIELD и вычислительную эффективность в реальных сценариях. SHIELD показал, что превосходит самые современные методы, достигая более высокой точности и полноты. Интеграция SHIELD обнаружения аномалий, контекстного анализа на основе LLM и расширенной графической корреляции устанавливает новый эталон для обнаружения APT." - SHIELD: APT Detection and Intelligent Explanation Using LLM

Интересная идея использования LLM в кибербезопасности.

Архитектура программных систем

ИБП для медицинского оборудования

ИБП (Источник бесперебойного питания) играет важную роль в защите критически важных медицинских устройств, включая МРТ-аппараты. Основная задача ИБП — обеспечить стабильное питание оборудования даже при сбоях в электросети. Рассмотрим подробнее, каким образом ИБП защищают МРТ-аппараты и какие факторы важны при выборе источника бесперебойного питания для медицинского учреждения.

Как ИБП защищает МРТ-аппараты?

1. Защита от сбоев напряжения В условиях работы медицинской техники любые колебания в сети могут привести к значительным проблемам, вплоть до выхода оборудования из строя. ИБП компенсирует скачки напряжения, обеспечивая постоянное и качественное электропитание МРТ-аппаратов. Это особенно важно, поскольку такие устройства чувствительны к качеству поступающей электроэнергии.

2. Обеспечение непрерывной работы МРТ требует постоянного питания без перерывов. Даже кратковременный сбой в электроснабжении может нарушить работу аппарата и сделать результаты исследования непригодными. ИБП предотвращает эти проблемы, поддерживая подачу энергии через аккумуляторы в случае отключения основного питания.

3. Фильтрация помех Источники бесперебойного питания также фильтруют электромагнитные помехи и высокочастотные шумы, которые могут возникать в электрических сетях. Эти помехи способны ухудшить качество изображений МРТ, делая их менее информативными для диагностики. Качественный ИБП минимизирует влияние таких факторов.

4. Автоматическое переключение на резервное питание Если основное напряжение пропадает, ИБП мгновенно активируется, переключая нагрузку на батарею. Благодаря этому МРТ продолжает функционировать без перебоев, пока электросеть не восстановится или персонал не примет меры по замене батареи.

5. Продление срока службы оборудования Из-за постоянных колебаний напряжения МРТ-оборудование подвергается повышенному износу. Использование ИБП помогает стабилизировать условия эксплуатации, что продлевает срок службы дорогостоящей аппаратуры.

Составлено по материалам раздела ИБП для медицинского оборудования

Какие параметры важны при выборе ИБП для медицинского учреждения?

1. Тип ИБП Существует несколько типов источников бесперебойного питания, каждый из которых имеет свои особенности:

- Резервные ИБП: Используются только при отключениях основной сети. Они дешевы, но имеют задержки при переключении на аккумуляторную батарею.
- Интерактивные ИБП: Помимо защиты от отключений, они корректируют напряжение в режиме реального времени, снижая риски повреждений оборудования.
- Онлайновые ИБП: Наиболее надежный вариант для медицинских учреждений. Они обеспечивают полное дублирование сети, преобразуя входящее переменное напряжение в постоянное, а затем обратно в переменное. Это позволяет исключить любую задержку при переходе на аккумулятор и поддерживать идеальные параметры электропитания.

Для МРТ лучше всего подходят онлайновые ИБП благодаря их способности обеспечивать максимальную защиту и стабильность.

2. Мощность ИБП Мощность ИБП должна соответствовать потребляемой мощности МРТ-аппарата плюс небольшой запас (обычно около 20%). Важно учитывать не только активную мощность (в ваттах), но и полную мощность (в вольт-амперах). Полная мощность рассчитывается с учетом коэффициента мощности, который часто указывается производителями МРТ.

3. Время автономной работы Время автономии определяет, сколько ИБП сможет поддерживать оборудование после отключения основного питания. Для МРТ это особенно важно, чтобы завершить исследование пациента, даже если произошло длительное отключение электричества. Обычно ИБП комплектуется несколькими сменными батареями, которые позволяют увеличить время автономной работы.

4. Совместимость с медицинскими стандартами Медицинские учреждения обязаны соблюдать строгие стандарты безопасности. Поэтому выбираемый ИБП должен иметь соответствующие сертификаты, подтверждающие его соответствие требованиям электробезопасности и электромагнитной совместимости.

Источник: Справочник по решениям для бесперебойного и гарантированного электропитания

AI кодо-генератор

Генерация веб-приложений, мобильных приложений Android & IoS агентом LLM

Одноплатники для IoT

Одноплатные компьютеры для Интернета Вещей

Искусственный интеллект: вызовы и возможности

Искусственный интеллект: вызовы и возможности. Опыт использования AI/ML в различных отраслях, вопросы доверия и информационной безопасности. Материалы конференции ТБ Форум 2025.

Математические основы ИИ

Доклады семинара "Математические основы искусственного интеллекта", который проводит Математический институт им. В.А. Стеклова.

DeepSeek в иллюстрациях

The Illustrated DeepSeek-R1

См. также другие публикации, посвященные LLM

Парадокс Симпсона

Парадокс Симпсона — это когда тенденция, присутствующая в различных группах данных, кажется, исчезает или даже обращается вспять, когда эти группы объединяются. Примеры этого часто можно увидеть в таких вещах, как медицинские испытания, и это явление обычно обусловлено одной или несколькими немоделированными смешивающими переменными или, возможно, различными причинными предположениями. - отсюда

Вопросы по тексту

Если с помощью LLM можно суммировать содержание текста, то почему бы не попробовать составить вопросы по этому тексту? И проверять ответы. Интересная идея: AI Quiz Generator Русский язык поддерживают.

Шифрованные атаки

Шифрование трафика широко применяется для защиты конфиденциальности и целостности интернет-трафика. Однако злоумышленники также могут злоупотреблять таким механизмом для доставки вредоносного трафика. В частности, существующие методы обнаружения зашифрованного вредоносного трафика не являются надежными против атак уклонения, которые манипулируют трафиком для сокрытия характеристик трафика. Надежное обнаружение атак уклонения остается открытой проблемой. В конце концов, мы разрабатываем Wedjat, который использует причинно-следственную сеть для моделирования доброкачественных взаимодействий пакетов между соответствующими потоками, таким образом, что он распознает аномальную причинно-следственную связь, которая представляет собой вредоносный трафик и нарушенную причинно-следственную связь, вызванную атаками уклонения. - Wedjat: Detecting Sophisticated Evasion Attacks via Real-time Causal Analysis

P.S. См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Атаки в тексте

Хороший и компактный обзор - состязательные атаки в NLP и защита от них

P.S. См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Машинное обучение в проде

Курс CMU, который охватывает, как создавать, развертывать, обеспечивать и поддерживать программные продукты с моделями машинного обучения. Включает весь жизненный цикл от прототипа модели ML до целой системы, развернутой в производстве. Охватывает также ответственный ИИ (включая безопасность, защищенность, справедливость, объяснимость) и MLOps. - Machine Learning in Production (17-445/17-645/17-745) / AI Engineering (11-695)

Автономные и доверенные

Автономные транспортные средства полагаются на машинное обучение для решения сложных задач восприятия и планирования движения. Однако стандарты безопасности автомобильного программного обеспечения не полностью развились для решения проблем безопасности машинного обучения, таких как интерпретируемость, проверка и ограничения производительности. В этой статье мы рассматриваем и организуем практические методы безопасности машинного обучения, которые могут дополнять инженерную безопасность для программного обеспечения на основе машинного обучения в автономных транспортных средствах. Наша организация сопоставляет стратегии безопасности с современными методами машинного обучения, чтобы повысить надежность и безопасность алгоритмов машинного обучения. Мы также обсуждаем ограничения безопасности и аспекты пользовательского опыта компонентов машинного обучения в автономных транспортных средствах. - Practical Solutions for Machine Learning Safety in Autonomous Vehicles

И один из авторов этой работы Sina Mohseni

Генеративный ИИ на ракетах

Материалы экспертной сессии от Softline и Фонда «Сколково» «Проблемы и вызовы применения ИИ в ракетно-космической отрасли», которая состоялась 30 января 2025 года. Цель - обсудить актуальные вопросы внедрения искусственного интеллекта в разработку и проектирование продукции космического назначения. В ходе мероприятия обсудили широкий спектр тем, от технологий ИИ в аэрокосмическом приборостроении и генеративного проектирования до текстовой аналитики и управления проектами НИОКР. Ведущие эксперты представили передовые решения с акцентом на предиктивной аналитике, формировании высокотехнологических холдингов и перспективах генеративных моделей.

Презентации

LLM и будущее

Современное общество сталкивается с беспрецедентными вызовами — от быстрой технологической эволюции до изменения климата и демографической напряженности — заставляющими организации предвидеть будущее для принятия обоснованных решений. Целью этого тематического исследования было разработать цифровую систему для конечных пользователей под названием Time Machine, которая позволяет системе генеративного искусственного интеллекта (GenAI) автоматически создавать перспективные будущие сценарии на основе входной информации, предлагая гипотезы и расставляя приоритеты тенденций для упрощения и повышения доступности формулирования будущих сценариев. Проектирование, разработка и тестирование системы проходили через три версии подсказок для OpenAI GPT-4 LLM, с шестью испытаниями, проведенными с участием 222 человек. Этот итеративный подход позволил постепенно корректировать инструкции, даваемые машине, и поощрял уточнения. Результаты шести испытаний показали, что Time Machine является эффективным инструментом для создания будущих сценариев, которые способствуют дебатам и стимулируют новые идеи в многопрофильных командах. Наши испытания доказали, что сценарии, созданные GenAI, могут стимулировать обсуждения по +70% созданных сценариев с соответствующими подсказками, и более половины из них включали новые идеи. В заключение, большие языковые модели (LLM) GenAI с подходящей оперативной инженерией и архитектурой имеют потенциал для создания полезных будущих сценариев для организаций, преобразуя будущий интеллект в более доступный и оперативный ресурс. Однако критическое использование этих сценариев имеет важное значение. - The Time Machine: Future Scenario Generation Through Generative AI Tools

См. также другие публикации, посвященные LLM

Состязательные тренировки для LLM

Большие языковые модели (LLM) уязвимы для универсальных стратегий, побуждающих к джейлбрейкам, которые систематически обходят защитные механизмы моделей и позволяют пользователям выполнять вредоносные процессы, требующие множества взаимодействий с моделями, например, производство незаконных веществ в больших масштабах. Для защиты от этих атак мы вводим конституционные классификаторы: защитные механизмы, обученные на синтетических данных, созданных путем подсказки LLM с помощью правил естественного языка (т. е. конституции), определяющих разрешенный и ограниченный контент. За более чем 3000 предполагаемых часов работы red teaming ни один red teaming не нашел универсального джейлбрейка, который мог бы извлекать информацию из раннего защищенного классификатором LLM на том же уровне детализации, что и незащищенная модель, по большинству целевых запросов. При автоматизированных оценках улучшенные классификаторы продемонстрировали надежную защиту от удерживаемых доменно-специфичных джейлбрейков. Эти классификаторы также поддерживают жизнеспособность развертывания с абсолютным увеличением отказов производственного трафика на 0,38% и накладными расходами на вывод на 23,7%. Наша работа показывает, что защита от универсальных джейлбрейков при сохранении практической жизнеспособности развертывания является управляемой. - Constitutional Classifiers: Defending against Universal Jailbreaks across Thousands of Hours of Red Teaming

Anthropic описал состязательные тренировки для LLM. Вот здесь есть описание подхода

См. также другие публикации, посвященные LLM

Как описывать езду?

Стандарт BSI: BSI Flex 1891 Таксономия поведения для приложений автоматизированных систем вождения. Требования к автоматизированной системе вождения (ADS), другим участникам дорожного движения и компетенциям в областях эксплуатационного проектирования.

Фиксация состязательных модификаций изображений

Широкое распространение глубоких нейронных сетей (DNN) в критических приложениях реального времени стимулировало значительные исследования их безопасности и надежности. Ключевой выявленной уязвимостью является то, что решения DNN могут быть злонамеренно изменены путем введения тщательно созданного шума во входные данные, что приводит к ошибочным прогнозам. Это известно как состязательная атака. В этой статье мы предлагаем новую структуру обнаружения, использующую маски сегментации и методы сегментации изображений для выявления состязательных атак на DNN, особенно в контексте автономных систем вождения. Наша техника защиты рассматривает два уровня состязательного обнаружения. Первый уровень в основном обнаруживает состязательные входные данные с большими возмущениями, используя модель U-net и одноклассовую машину опорных векторов (SVM). Второй уровень защиты предлагает динамический алгоритм сегментации, основанный на алгоритме k-средних и модели верификатора, которая управляет окончательным прогнозом входного изображения. Чтобы оценить наш подход, мы всесторонне сравниваем наш метод с современным методом сжатия признаков в атаке белого ящика, используя одиннадцать различных состязательных атак в трех эталонных и гетерогенных наборах данных. Экспериментальные результаты демонстрируют эффективность нашей структуры, достигая общих показателей обнаружения, превышающих 96% по всем изученным состязательным методам и наборам данных. Стоит отметить, что наш метод повышает показатели обнаружения атак FGSM и BIM, достигая средних показателей обнаружения 95,65% по сравнению с 62,63% при сжатии признаков в трех наборах данных. - Image Segmentation Framework for Detecting Adversarial Attacks for Autonomous Driving Cars

P.S. См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Медицинские кибер-физические системы

Отечественный стандарт на медициские CPS

Большие атаки

"Давняя проблема в состязательной устойчивости заключается в защите от атак за пределами стандартных моделей угроз ℓp. Однако пространство возможных не-ℓp атак огромно, и существующая работа разработала лишь небольшое количество атак из-за ручных усилий, необходимых для проектирования и реализации каждой отдельной атаки. Основываясь на недавнем прогрессе в дифференцируемом рендеринге материалов, мы предлагаем RenderAttack, масштабируемую структуру для разработки большого количества структурно разнообразных, не-ℓp состязательных атак. RenderAttack использует обширные существующие репозитории вручную разработанных возмущений изображений в форме процедурных графов генерации текстур, преобразуя их в дифференцируемые преобразования, поддающиеся оптимизации на основе градиента. В этой работе мы отбираем 160 новых атак и представляем бенчмарк ImageNet-RA. В ходе экспериментов мы обнаруживаем, что ImageNet-RA представляет вызов для существующих надежных моделей и раскрывает новые области пространства атак. Сравнивая современные модели и средства защиты, мы определяем перспективные направления для будущей работы по обеспечению устойчивости к широкому спектру противников во время тестирования." - RenderAttack: Hundreds of Adversarial Attacks Through Differentiable Texture Generation

Исторически, состязательные атаки рассматривались как малые ("незаметные") возмущения входных данных, которые меняют работу модели. Но ведь модель могут обманывать произвольные модификации. И если в контуре принятия решений нет человека, то "незаметность" вообще ни на что не влияет. Вот одна из немногих работ, где рассматриваются "неограниченные" модификации. Глобальная атака уклонения.

P.S. См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Российские ИИ продукты

В продолжение темы открытого ИИ стека - Подборка решений: инструменты Open Source для разработчиков ИИ

Состязательные атаки по-умному

Поскольку внимание к безопасности искусственного интеллекта (ИИ) становится первостепенным, исследования по созданию и вставке оптимальных состязательных возмущений становятся все более важными. В области вредоносных программ эта генерация состязательных образцов в значительной степени зависит от точности и размещения созданных возмущений с целью уклонения от обученного классификатора. Эта работа сосредоточена на применении методов объяснимости для улучшения атаки состязательного уклонения на детекторе вредоносных программ Windows PE на основе машинного обучения. Объясняемый инструмент определяет области файлов вредоносных программ PE, которые оказывают наиболее значительное влияние на процесс принятия решений данным детектором вредоносных программ, и следовательно, те же области могут быть использованы для внедрения состязательных возмущений для максимальной эффективности. Профилирование всех регионов файлов вредоносных программ PE на основе их влияния на решение детектора вредоносных программ позволяет вывести эффективную стратегию для определения оптимального места для внедрения возмущений. Стратегия должна включать значимость региона в влиянии на решение детектора вредоносных программ и чувствительность целостности файла вредоносного ПО PE к изменению этого региона. Чтобы оценить полезность объяснимого ИИ при создании состязательного образца вредоносного ПО Windows PE, мы используем модуль DeepExplainer SHAP (SHapley Additive exPlanations) для определения вклада каждого региона вредоносного ПО PE в его обнаружение детектором вредоносных программ на основе CNN, MalConv. Анализ включает как локальные, так и глобальные объяснения для данных образцов вредоносных программ. Мы выполнили сохраняющую функциональность внедрение состязательного возмущения в различных регионах вредоносного ПО PE, где это возможно, выполняя операции, не сохраняющие функциональность, в нескольких оставшихся регионах. Этот подход позволяет нам изучить взаимосвязь между значениями SHAP и скоростью уклонения от состязательной атаки. Кроме того, мы проанализировали значимость значений SHAP на более детальном уровне, разделив каждый раздел Windows PE на небольшие подразделы. Затем мы выполнили атаку состязательного уклонения на подразделы на основе соответствующих значений SHAP последовательностей байтов. Наша экспериментальная оценка показывает значительное улучшение успешности и эффективности атак состязательного уклонения при внедрении возмущения в местоположения вредоносного ПО PE на основе значений SHAP по сравнению со случайными местоположениями PE. - Explainability Guided Adversarial Evasion Attacks on Malware Detectors

С помощью объяснения работы модели строим состязательные атаки.

P.S. См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Родовые проблемы

The Price of Intelligence - проблемы LLM, которые не имеют решения

См. также другие публикации, посвященные LLM

Физические атаки на модели распознавания человека

В недавних исследованиях состязательные атаки на детекторы людей с использованием заплат или статических модификации текстур на основе 3D-моделей боролись с низкими показателями успеха из-за гибкой природы человеческого движения. Моделирование 3D-деформаций, вызванных различными действиями, было серьезной проблемой. К счастью, достижения в области Neural Radiance Fields (NeRF) для динамического моделирования человека открывают новые возможности. В этой статье мы представляем UV-Attack, новаторский подход, который достигает высоких показателей успеха даже при обширных и невидимых действиях человека. Мы решаем вышеуказанную проблему, используя динамическое UV-картирование на основе NeRF. UV-Attack может генерировать изображения человека при различных действиях и точках обзора и даже создавать новые действия путем выборки из пространства параметров SMPL. В то время как динамические модели NeRF способны моделировать человеческие тела, изменение текстур одежды является сложной задачей, поскольку они встроены в параметры нейронной сети. Чтобы решить эту проблему, UV-Attack генерирует UV-карты вместо RGB-изображений и изменяет текстурные стеки. Этот подход позволяет редактировать текстуры в реальном времени и делает атаку более практичной. Мы также предлагаем новую потерю Expectation over Pose Transformation (EoPT) для повышения успешности уклонения от невидимых поз и видов. Наши эксперименты показывают, что UV-Attack достигает 92,75% успешности атаки против модели FastRCNN в различных позах в динамических настройках видео, значительно превосходя современную атаку AdvCamou, которая имела только 28,50% ASR. Более того, мы достигаем 49,5% ASR на новейшем детекторе YOLOv8 в настройках черного ящика. Эта работа подчеркивает потенциал динамического UV-картирования на основе NeRF для создания более эффективных состязательных атак на детекторы людей, решая ключевые проблемы в моделировании движения человека и модификации текстуры. - UV-Attack: Physical-World Adversarial Attacks for Person Detection via Dynamic-NeRF-based UV Mapping

См. также другие публикации по теме физические атаки

Open Source ИИ стек

Ключевые компоненты возможного стека ИИ с открытым исходным кодом следующие:

Фронтенд
Для создания красивых пользовательских интерфейсов ИИ чрезвычайно полезны такие фреймворки, как NextJS и Streamlit. Кроме того, Vercel может помочь с развертыванием.

Встраивание и библиотеки RAG
Встраивание моделей и библиотек RAG, таких как Nomic, JinaAI, Cognito и LLMAware, помогает разработчикам создавать точные функции поиска и RAG.

Бэкенд и доступ к моделям
Для разработки бэкенда разработчики могут полагаться на такие фреймворки, как FastAPI, Langchain и Netflix Metaflow. Для доступа к моделям доступны такие продукты, как Ollama и Huggingface.

Данные и извлечение
Для хранения и извлечения данных доступны несколько опций, таких как Postgres, Milvus, Weaviate, PGVector и FAISS.

LLM
Основанные на тестах производительности, модели с открытым исходным кодом, такие как Llama, Mistral, Qwen, Phi и Gemma, являются отличными альтернативами проприетарным моделям LLM, таким как GPT и Claude.

/via bytebytego.com

Advanced Natural Language Processing

Курс по обработке естественного языка от CMU. 2025 год, презентации, код

См. также другие публикации, посвященные NLP

Все хуже, чем мы думали

Нейронные сети восприимчивы к небольшим возмущениям в виде двумерных вращений и сдвигов, обрезки изображений и даже изменениям цветов объектов. Прошлые работы связывают эти ошибки со смещением набора данных, утверждая, что модели терпят неудачу на этих возмущенных образцах, поскольку они не принадлежат распределению обучающих данных. Здесь мы оспариваем это утверждение и представляем доказательства широко распространенного существования возмущенных изображений в распределении обучающих данных, которые сети не могут классифицировать. Мы обучаем модели на данных, выбранных из параметрических распределений, а затем ищем внутри этого распределения данных, чтобы найти такие состязательные примеры внутри распределения. Это делается с помощью нашего подхода, основанного на стратегиях эволюции без градиента (ES), который мы называем CMA-Search. Несмотря на обучение с использованием крупномасштабного (⇠ 0,5 миллиона изображений), несмещенного набора данных с изменениями камеры и освещения, CMA-Search может обнаружить сбой внутри распределения данных в более чем 71% случаев, возмущением положения камеры. При изменении освещения CMASearch обнаруживает неправильную классификацию в 42% случаев. Эти результаты также распространяются на естественные изображения из наборов данных ImageNet и Co3D. Этот феномен изображений в распределении представляет собой крайне тревожную проблему для искусственного интеллекта — они обходят необходимость для вредоносного агента добавлять искусственный шум, чтобы вызвать состязательную атаку. Весь код, наборы данных и демонстрации доступны по адресу https://github.com/in-dist-adversarials/in_distribution_adversarial_examples - In-distribution adversarial attacks on object recognition models using gradient-free search

То есть, для состязательных примеров не нужно двигать распределение данных. Примеры существуют на данных с тем же самым распределением, что и тренировочный набор

P.S. См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Косинусная близость

Возможности, проблемы, подводные камни - Don't use cosine similarity carelessly

Новый подход к очистке данных

Технология глубокого обучения (DL) показала выдающуюся производительность в различных областях, таких как распознавание и классификация объектов, распознавание речи и обработка естественного языка. Однако хорошо известно, что модели DL уязвимы для атак с отравлением данных, когда злоумышленники изменяют или злонамеренно вводят образцы данных на этапе обучения, что приводит к снижению точности классификации или неправильной классификации. Поскольку атаки с отравлением данных продолжают развиваться, чтобы избежать существующих методов защиты, исследователи безопасности тщательно изучают модели атак с отравлением данных и соответственно разрабатывают более надежные и эффективные методы обнаружения. В частности, атаки с отравлением данных могут быть реалистичными в состязательной ситуации, когда мы переобучаем модель DL с новым набором данных, полученным из внешнего источника во время трансферного обучения. Исходя из этой мотивации, мы предлагаем новый метод защиты, который разделяет и проверяет новый набор данных, а затем удаляет вредоносные поднаборы данных. В частности, наш предлагаемый метод сначала делит новый набор данных на n поднаборов данных либо равномерно, либо случайным образом, проверяет их, используя чистую модель DL в качестве детектора отравленных наборов данных, и, наконец, удаляет вредоносные поднаборы данных, классифицированные детектором. Для разделения и проверки мы разрабатываем два динамических защитных алгоритма: алгоритм последовательного разделения и проверки (SPIA) и алгоритм рандомизированного разделения и проверки (RPIA). При таком подходе полученный очищенный набор данных можно надежно использовать для повторного обучения модели DL. Кроме того, мы провели два эксперимента в среде Python и DL, чтобы показать, что наши предлагаемые методы эффективно защищают от двух моделей атак отравления данных (концентрированные атаки отравления и случайные атаки отравления) с точки зрения различных метрик оценки, таких как скорость удаленного отравления (RPR), скорость успешной атаки (ASR) и точность классификации (ACC). В частности, SPIA полностью удалил все отравленные данные при концентрированных атаках отравления как в среде Python, так и в среде DL. Кроме того, RPIA удалил до 91,1% и 99,1% зараженных данных при случайных атаках отравления в средах Python и DL соответственно. - A Novel Data Sanitization Method Based on Dynamic Dataset Partition and Inspection Against Data Poisoning Attacks

P.S. См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

ИИ-агенты

Учебный курс от HuggingFace по LLM-агентам

ЦОД 2024

Обзор рынка ЦОД в России

Безопасность цифровых двойников

"В Промышленности 4.0 цифровой двойник является одной из новых технологий, предлагая возможности моделирования для прогнозирования, уточнения и интерпретации условий и операций, где крайне важно подчеркнуть повышенную концентрацию на связанных с ними рисках безопасности и конфиденциальности. Если говорить точнее, то внедрение цифровых двойников в обрабатывающей промышленности опирается на интеграцию таких технологий, как киберфизические системы, промышленный Интернет вещей, виртуализация и передовое производство. Взаимодействие этих технологий приводит к многочисленным уязвимостям безопасности и конфиденциальности, которые остаются недостаточно изученными. С этой целью в данной статье анализируются угрозы кибербезопасности цифровых двойников для передового производства в контексте сбора данных, обмена данными, машинного обучения и глубокого обучения, а также безопасности и конфиденциальности на уровне системы. Мы также предлагаем несколько решений для угроз в этих четырех категориях, которые могут помочь повысить доверие к цифровым двойникам." - Security and Privacy of Digital Twins for Advanced Manufacturing: A Survey

См. также другие публикации, посвященные digital twins

Новый подход к физическим атакам

Изучение физических состязательных патчей имеет решающее значение для выявления уязвимостей в системах распознавания на основе ИИ и разработки более надежных моделей глубокого обучения. Хотя недавние исследования были сосредоточены на улучшении скрытности патчей для большей практической применимости, достижение эффективного баланса между скрытностью и эффективностью атаки остается значительной проблемой. Для решения этой проблемы мы предлагаем новый метод физической состязательной атаки, который использует дистилляцию знаний. В частности, мы сначала определяем скрытое цветовое пространство, адаптированное к целевой среде, чтобы обеспечить плавное смешивание. Затем мы оптимизируем состязательный патч в неограниченном цветовом пространстве, которое служит патчем «учителя». Наконец, мы используем модуль дистилляции состязательных знаний для передачи знаний патча учителя патчу «ученика», направляя оптимизацию скрытого патча. Экспериментальные результаты показывают, что наш подход улучшает эффективность атаки на 20%, сохраняя при этом скрытность, подчеркивая его практическую ценность - Distillation-Enhanced Physical Adversarial Attacks

См. также другие публикации по теме физические атаки

Еще об оценке LLM

Обзор подходов к тестированию LLM. См. также здесь и здесь

См. также другие публикации, посвященные тестированию LLM

Практика построения ИИ-агентов

Building Autonomous Multi-Tool Agents with Gemini 2.0 and LangGraph. Детальный разбор с примерами кода

Агенты: белая книга

Это сочетание рассуждений, логики и доступа к внешней информации, которые все связаны с моделью генеративного ИИ, вызывает концепцию агента. - Google об ИИ-агентах P.S. см. также нашу статью об архитектуре LLM-агентов

LLM в анализе сетевого трафика

Интеграция технологии Интернета вещей (IoT) в различные области привела к эксплуатационным усовершенствованиям, но также создала новые уязвимости для угроз кибербезопасности, о чем свидетельствуют недавние широко распространенные кибератаки на устройства IoT. Системы обнаружения вторжений часто являются реактивными, запускаемыми определенными шаблонами или аномалиями, наблюдаемыми в сети. Для решения этой проблемы в этой работе предлагается проактивный подход к предвидению и упреждающему смягчению вредоносных действий, направленный на предотвращение потенциального ущерба до его возникновения. В этой статье предлагается инновационная структура прогнозирования вторжений, усиленная предварительно обученными большими языковыми моделями (LLM). Структура включает две LLM: тонко настроенную модель двунаправленных и авторегрессивных преобразователей (BART) для прогнозирования сетевого трафика и тонко настроенную модель двунаправленных представлений кодировщика из преобразователей (BERT) для оценки прогнозируемого трафика. Используя двунаправленные возможности BART, фреймворк затем идентифицирует вредоносные пакеты среди этих прогнозов. Оцененный с использованием набора данных атак IoT CICIoT2023, наш фреймворк демонстрирует заметное улучшение в производительности прогнозирования, достигая впечатляющей общей точности 98%, предоставляя мощный ответ на проблемы кибербезопасности, с которыми сталкиваются сети IoT. - BARTPredict: Empowering IoT Security with LLM-Driven Cyber Threat Prediction

См. также другие публикации, посвященные LLM

Атаки черного ящика

Хотя состязательная устойчивость широко изучалась в условиях белого ящика, последние достижения в атаках черного ящика (включая подходы на основе передачи и запросов) в первую очередь сопоставляются со слабыми защитами, оставляя значительный разрыв в оценке их эффективности по сравнению с более новыми и умеренно надежными моделями (например, представленными в таблице лидеров Robustbench). В этой статье мы ставим под сомнение это отсутствие внимания со стороны атак черного ящика к надежным моделям. Мы устанавливаем структуру для оценки эффективности последних атак черного ящика как против самых эффективных, так и против стандартных механизмов защиты на наборе данных ImageNet. Наша эмпирическая оценка показывает следующие основные выводы:

(1) наиболее продвинутые атаки черного ящика с трудом достигают успеха даже против простых обученных состязательным образом моделей;
(2) надежные модели, оптимизированные для противостояния сильным атакам белого ящика, таким как AutoAttack, также демонстрируют повышенную устойчивость к атакам черного ящика;
(3) надежность соответствия между суррогатными моделями и целевой моделью играет ключевую роль в успехе атак на основе передачи.

Отсюда

Атаки черного ящика, конечно, являются самым реалистичным случаем. Интересная работа, которая исследует - насколько же они эффективны

P.S. См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Бортовые компьютеры

За последние три десятилетия принятие более высоких порогов риска в космической отрасли способствовало широкой интеграции коммерческих готовых (COTS) компонентов в авионику и полезную нагрузку, что привело к заметной трансформации в проектировании космических миссий. Эта трансформация привела к появлению Новой космической экономики и широкому принятию экономичных или малых спутников в целом, особенно CubeSats. CubeSats в настоящее время широко используются в коммерческих, научных и исследовательских приложениях благодаря своей универсальности, доступности, простоте разработки и ускоренным срокам разработки. Бортовые вычисления играют решающую роль в проектировании миссий CubeSat, поскольку для решения задач будущих миссий требуются все более высокопроизводительные вычислительные требования. В этой статье систематически рассматривается современное состояние подсистемы управления и обработки данных CubeSat (C&DH), охватывающее как аппаратные компоненты, так и фреймворки разработки полетного программного обеспечения (FSW). В нем представлен анализ основных характеристик и последних разработок бортовых компьютеров (OBC) в коммерческих и академических институциональных проектах, финансируемых правительствами, агентствами и государственными учреждениями. В нем далее рассматривается влияние космической радиации на компоненты авионики и обсуждаются основные методы отказоустойчивости, используемые в платформах CubeSat. Наконец, в этой статье освещаются тенденции и опасности для будущей авионики CubeSat, а также определяются потенциальные направления будущих разработок в области высокопроизводительных бортовых вычислений. Объединяя современные исследования и отраслевые идеи, эта статья направлена ​​на то, чтобы пролить свет на конструкцию OBC CubeSat, предоставив обзор существующего технологического ландшафта и проблем, которые необходимо решить для потребностей миссий следующего поколения. - фундаментальный обзор On-Board Computer for CubeSats: State-of-the-Art and Future Trends

Poisson vs Binomial

Хорошее объяснение: Распределение Пуассона и биномиальное распределение

Чтобы определить, какое распределение использовать: пуассоновское или биномиальное, спросите себя:

Присутствует ли фиксированное количество испытаний?

Да → биномиальное.
Нет → пуассоновское.

Вероятность успеха мала при большом количестве испытаний?

Да → рассмотрите пуассоновское как приближение.

Распознавание дорожных знаков

Состязательные атаки на модели классификации дорожных знаков были одними из первых, успешно опробованных в реальном мире. С тех пор исследования в этой области в основном ограничивались повторением базовых моделей, таких как LISA-CNN или GTSRB-CNN, и аналогичными экспериментальными настройками, включая белые и черные пятна на дорожных знаках. В этой работе мы отделяем архитектуры моделей от наборов данных и оцениваем на дополнительных общих моделях, чтобы сделать справедливое сравнение. Кроме того, мы сравниваем две настройки атаки, незаметную и видимую, которые обычно рассматриваются без прямого сравнения. Наши результаты показывают, что стандартные базовые модели, такие как LISA-CNN или GTSRB-CNN, значительно более уязвимы, чем общие. Поэтому мы предлагаем оценивать новые атаки на более широком спектре базовых моделей в будущем. Наш код доступен по адресу https://github. com/KASTEL-MobilityLab/attacks-on-traffic-sign-recognition/ - Evaluating Adversarial Attacks on Traffic Sign Classifiers beyond Standard Baselines

См. также другие публикации по теме физические атаки

Аномалии временных рядов

Недавние достижения в технологии сбора данных, сопровождаемые постоянно растущим объемом и скоростью потоковой передачи данных, подчеркивают насущную необходимость в аналитике временных рядов. В этой связи обнаружение аномалий временных рядов стало важной деятельностью, влекущей за собой различные приложения в таких областях, как кибербезопасность, финансовые рынки, правоохранительные органы и здравоохранение. В то время как традиционная литература по обнаружению аномалий сосредоточена на статистических мерах, растущее число алгоритмов машинного обучения в последние годы требует структурированной общей характеристики методов исследования для обнаружения аномалий временных рядов. Этот обзор группирует и суммирует существующие решения по обнаружению аномалий в рамках таксономии, ориентированной на процесс, в контексте временных рядов. Помимо предоставления оригинальной категоризации методов обнаружения аномалий, мы также проводим метаанализ литературы и излагаем общие тенденции в исследованиях обнаружения аномалий временных рядов. - Dive into Time-Series Anomaly Detection: A Decade Review

Образование в эпоху LLM

Учебник по линейной алгебре, написанный с участием LLM

ACM RecSys 2024

Интересный обзор конференции по рекомендательным системам

См. также другие публикации, посвященные рекомендательным системам

Устройство ИИ-агентов

В работе рассматриваются архитектуры агентов для систем Искусственного интеллекта. Слово “агент” стало темой 2024 года для такого рода систем. Агентный Искусственный интеллект рассматривается как следующий шаг в развитии генеративных моделей. Соответственно, агенты для больших языковых моделей (базовых моделей) представляют собой одно из наиболее бурно развивающихся направлений исследований. Агент искусственного интеллекта представляет собой программу (программное обеспечение), которое умеет собирать данные и на их основе самостоятельно и выполнять задачи, позволяющие добиться заранее определенных целей. Для выполнения задач агенты задействуют одну или несколько языковых моделей. Агенты можно рассматривать как логичный шаг в помощи разработчикам создавать рабочие процессы (реализовывать бизнес-модели) с помощью больших языковых (базовых) моделей. С точки зрения сбора (анализа) информации агенты можно сравнить с давно известными мэшапами (веб-мэшапами, например), с точки зрения выполнения каких-либо действий – с программными роботами. Большие языковые модели сегодня могут содержать встроенную поддержку некоторых рабочих процессов. Альтернатива – разного рода фреймворки, которые призваны упростить процесс создания агентов. - Архитектура LLM-агентов

LLM 2024

Очень интересный обзор - развитие LLM в 2024 году

Интересно мнения автора по поводу агентов: "Что бы ни значил этот термин, у агентов все еще есть это постоянное ощущение «скоро». Оставив в стороне терминологию, я остаюсь скептически настроенным относительно их полезности, основанной, опять же, на проблеме доверчивости. LLM верят всему, что вы им говорите. Любая система, которая пытается принимать осмысленные решения от вашего имени, столкнется с тем же препятствием: насколько хорош турагент, или цифровой помощник, или даже исследовательский инструмент, если он не может отличить правду от вымысла?"

Вот пример такой доверчивости - галлюцинации LLM, которым в запросе указали вымышленную информацию (про административную границу, про морские курорты в Белоруссии)

См. также другие публикации, посвященные LLM

Лабораторные работы по IoT

Детально разработанные практические занятия по IoT. На базе Cisco Packet Tracer

Физический бэкдор

"Атаки бэкдора внедряют скрытые связи между триггерами и целями в глубокие нейронные сети (DNN), заставляя их предсказывать цель при наличии триггера, сохраняя при этом нормальное поведение в противном случае. Физические атаки бэкдора, которые используют физические объекты в качестве триггеров, возможны, но им не хватает дистанционного управления, временной скрытности, гибкости и мобильности. Чтобы преодолеть эти ограничения, в этой работе мы предлагаем новый тип триггеров бэкдора, использующих лазеры, которые обладают свойствами передачи на большие расстояния и мгновенной визуализации. Основываясь на триггерах бэкдора на основе лазера, мы представляем физическую атаку бэкдора, называемую LaserGuider, которая обладает возможностью дистанционного управления и достигает высокой временной скрытности, гибкости и мобильности. Мы также представляем систематический подход к оптимизации параметров лазера для повышения эффективности атаки. Наша оценка распознавания дорожных знаков DNN, критически важных для автономных транспортных средств, показывает, что LaserGuider с тремя различными триггерами на основе лазера достигает более 90% успеха атаки с незначительным влиянием на обычные входные данные. Кроме того, мы выпускаем LaserMark, первый набор данных реальных дорожных знаков, проштампованных физическими лазерными точками, для поддержки дальнейших исследований в области атак через бэкдор и защиты." - LaserGuider: A Laser Based Physical Backdoor Attack against Deep Neural Networks

P.S. См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

LLM и поиск уязвимостей в коде

"Обнаружение уязвимостей имеет решающее значение для поддержания безопасности программного обеспечения, и недавние исследования изучали использование языковых моделей (LM) для этой задачи. Хотя LM показали многообещающие результаты, их производительность была непоследовательной в разных наборах данных, особенно при обобщении на невидимый код. Более того, большинство исследований были сосредоточены на языке программирования C/C++, с ограниченным вниманием к другим популярным языкам. В этой статье этот пробел устраняется путем исследования эффективности LM для обнаружения уязвимостей в JavaScript, Java, Python, PHP и Go, в дополнение к C/C++ для сравнения. Мы используем набор данных CVEFixes для создания разнообразной коллекции уязвимостей, специфичных для языка, и предварительной обработки данных для обеспечения качества и целостности. Мы тонко настраиваем и оцениваем современные LM для выбранных языков и обнаруживаем, что производительность обнаружения уязвимостей значительно различается. JavaScript демонстрирует наилучшую производительность, со значительно лучшими и более практичными возможностями обнаружения по сравнению с C/C++. Мы также изучаем взаимосвязь между сложностью кода и эффективностью обнаружения на шести языках и обнаруживаем лишь слабую корреляцию между показателями сложности кода и оценками моделей F1." - Vulnerability Detection in Popular Programming Languages with Language Models

"Несмотря на свой замечательный успех, большие языковые модели (LLM) продемонстрировали ограниченные возможности в прикладных задачах, таких как обнаружение уязвимостей. Мы исследуем различные стратегии подсказок для обнаружения уязвимостей и в рамках этого исследования предлагаем стратегию подсказок, которая объединяет описания уязвимостей на естественном языке с подходом к контрастной цепочке рассуждений, дополненным контрастными образцами из синтетического набора данных. Наше исследование подчеркивает потенциал LLM для обнаружения уязвимостей путем интеграции описаний на естественном языке, контрастных рассуждений и синтетических примеров в комплексную структуру подсказок. Наши результаты показывают, что этот подход может улучшить понимание LLM уязвимостей. На высококачественном наборе данных для обнаружения уязвимостей, таком как SVEN, наши стратегии подсказок могут улучшить точность, F1-баллы и парные точности на 23%, 11% и 14% соответственно"- Can LLM Prompting Serve as a Proxy for Static Analysis in Vulnerability Detection

См. также другие публикации, посвященные LLM

Значимые статьи по LLM

Значимые работы по AI (LLM) 2024 года

Переносимость физических состязательных атак

"Физические состязательные атаки сталкиваются со значительными трудностями в достижении переносимости между различными моделями обнаружения объектов, особенно в условиях реального мира. Это в первую очередь связано с различиями в архитектурах моделей, обучающих данных и стратегиях обнаружения, которые могут сделать состязательные примеры весьма специфичными для модели. В этом исследовании представлен подход к состязательному обучению с несколькими моделями для улучшения переносимости состязательных текстур между различными моделями обнаружения, включая одноступенчатые, двухступенчатые и основанные на трансформаторах архитектуры. Используя фреймворк Truck Adversarial Camouflage Optimization (TACO) и новую комбинацию моделей YOLOv8n, YOLOv5m и YOLOv3 для оптимизации, наш подход достигает показателя обнаружения AP@0.5, равного 0,0972 — более чем на 50% ниже, чем текстуры, обученные только на отдельных моделях. Этот результат подчеркивает важность многомодельного обучения для повышения эффективности атак между детекторами объектов, способствуя повышению эффективности состязания." - Improving Transferability of Physical Adversarial Attacks on Object Detectors Through Multi-Model Optimization

P.S. См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Состязательные атаки на NIDS

"Системы обнаружения сетевых вторжений (NIDS) жизненно важны для защиты сетей Интернета вещей (IoT) от вредоносных атак. Современные NIDS используют методы машинного обучения (ML) для борьбы с развивающимися угрозами. В этом исследовании систематически изучались состязательные атаки, исходящие из области изображений, против NIDS на основе ML, при этом включался разнообразный выбор моделей ML. В частности, мы оценили атаки как «белого ящика», так и «черного ящика» на девяти часто используемых моделях NIDS на основе ML. Мы проанализировали атаку Projected Gradient Descent (PGD), которая использует градиентный спуск на входных признаках, атаки переноса, атаку оптимизации нулевого порядка (ZOO) на основе оценок и две атаки на основе решений: Boundary и HopSkipJump. Используя набор данных NSL-KDD, мы оценили точность атакуемых моделей ML и процент успешных состязательных атак. Наши результаты показали, что атаки на основе принятия решений черного ящика были высокоэффективны против большинства моделей машинного обучения, достигнув показателя успешности атак, превышающего 86% по восьми моделям. Кроме того, в то время как модели логистической регрессии и многослойного персептрона были весьма восприимчивы ко всем изученным атакам, модели машинного обучения на основе экземпляров, такие как KNN и распространение меток, продемонстрировали устойчивость к этим атакам. Эти идеи будут способствовать разработке более надежных NIDS против состязательных атак в средах IoT." - A Systematic Study of Adversarial Attacks Against Network Intrusion Detection Systems

P.S. См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Спуфинг атака на CPS

"Разработка атак с подменой датчиков для киберфизических систем (CPS) получила значительное внимание в литературе, поскольку она может выявить основные уязвимости CPS. Мы представляем динамический подход обратной связи для разработки скрытых атак с подменой датчиков против CPS. В отличие от существующих работ, мы рассматриваем случай, когда злоумышленник имеет ограниченные знания о динамической модели жертвы CPS, характеризующейся политопической неопределенностью. Показано, что, несмотря на ограниченные знания злоумышленника, предлагаемый метод атаки с подменой датчиков может доказуемо избежать обнаружения встроенным механизмом обнаружения, даже при наличии неопределенностей модели, шумов измерений и помех. Кроме того, мы показываем, что полученная схема атаки рекурсивно осуществима, т. е. разработанная атака на текущем временном шаге обеспечивает постоянное удовлетворение ограничений обнаружения на протяжении всей атаки. Наконец, мы демонстрируем эффективность нашего подхода посредством иллюстративного численного моделирования атаки с использованием подмены датчиков на квадрокоптере." - Adversarial Sensor Attacks Against Uncertain Cyber-Physical Systems: A Dynamic Output Feedback Approach

CPS и безопасность

Хороший ресурс по безопасности кибер-физических систем