Мониторинг ML-моделей

A Comprehensive Guide on How to Monitor Your Models in Production

См. также другие публикации по теме мониторинг

ИТ-рынок России 2024

Интересный обзор рынка

Подобие траекторий

"Поиск сходства в траекториях движущихся объектов является фундаментальной задачей в пространственно-временном анализе данных. В отличие от обычных задач сопоставления траекторий, поиск траекторий на основе формы (STS) направлен на поиск всех траекторий, которые по форме похожи на траекторию запроса, которые могут быть оценены как несхожие на основе их координат. STS может быть полезен в различных приложениях реального мира, таких как географическое открытие, миграция животных, прогнозирование погоды, автономное вождение и т. д. Однако большинство существующих функций расстояния траектории предназначены для сравнения траекторий на основе местоположения, и лишь немногие из них могут быть напрямую применены к задачам STS. Чтобы сопоставить траектории на основе формы, мы сначала преобразуем их в инвариантную к вращению и трансляции форму. Затем мы предлагаем функцию расстояния, называемую расстоянием на основе формы (shape based distance - SBD), для расчета точного расстояния между двумя траекториями, которая следует парадигме на основе выравнивания. Затем, для ускорения STS, мы предлагаем структуру представления траектории, основанную на символическом представлении, для поддержки эффективного грубого соответствия. Наконец, обширные эксперименты на двух реальных наборах данных демонстрируют эффективность и действенность нашей структуры." - Searching Similar Trajectories Based on Shape

Уменьшение размера нейронных сетей

"В последние годы нейронные сети (NN) достигли большой зрелости и эффективности, и их приложения распространились на различные области, включая некоторые модули систем, критически важных для безопасности. С другой стороны, недавние исследования продемонстрировали, что NN уязвимы для состязательных атак, поэтому модель нейронной сети должна быть проверена и сертифицирована перед ее развертыванием. Несмотря на количество существующих формальных методов проверки нейронных сетей, проверка большой сети остается серьезной проблемой для этих методов. Это в основном связано с ограничениями масштабируемости этих подходов и нелинейностью, вносимой функциями активации в NN. Чтобы помочь решить эту проблему, мы предлагаем новый метод абстракции, который позволяет уменьшить размер NN, сохраняя ее поведенческие особенности. Основная идея подхода заключается в уменьшении размера исходной нейронной сети путем объединения нейронов, принадлежащих одному слою, и определения новых весов как интервалов и сумм абсолютных значений весов объединенных нейронов. Подход позволяет создать абстрактную (т. е. сокращенную) модель, которая меньше и проще для проверки, гарантируя при этом, что эта абстрактная модель является более точным приближением исходной. Наши ранние эксперименты показывают, что подход повышает масштабируемость при выполнении операций проверки, таких как вычисление выходного диапазона, на абстрактной модели." - Interval Weight-Based Abstraction for Neural Network Verification.

Интересная идея для верификации нейронных сетей

Утечки данных в CPS

"С появлением киберфизических систем (CPS) в коммунальных системах, таких как сети электроснабжения, водоснабжения и газоснабжения, сбор данных стал более распространенным. Хотя сбор данных в этих системах имеет многочисленные преимущества, он также вызывает опасения по поводу конфиденциальности, поскольку может потенциально раскрыть конфиденциальную информацию о пользователях. Чтобы решить эту проблему, мы предлагаем байесовский подход для управления состязательным выводом и смягчения проблемы конфиденциальности на физическом уровне в CPS. В частности, мы разрабатываем стратегию управления для наихудшего сценария, когда у противника есть идеальное знание стратегии управления пользователя. Для задач с конечным пространством состояний мы выводим уравнение Беллмана с фиксированной точкой для оптимальной стационарной стратегии и обсуждаем несколько практических подходов к ее решению с использованием проектирования управления на основе оптимизации. Решая проблему вычислительной сложности, мы предлагаем подход обучения с подкреплением, основанный на архитектуре Актер-Критик. Чтобы также поддержать исследования конфиденциальности интеллектуальных счетчиков, мы представляем общедоступный набор данных «Co-LivEn» с комплексными электрическими измерениями приборов в совместном домашнем хозяйстве. Используя этот набор данных, мы сопоставляем предлагаемый подход к обучению с подкреплением. Результаты демонстрируют его эффективность в снижении утечки конфиденциальности. Наша работа дает ценные идеи и практические решения для управления состязательным выводом в киберфизических системах, уделяя особое внимание повышению конфиденциальности в приложениях интеллектуальных счетчиков." - Adversarial Inference Control in Cyber-Physical Systems: A Bayesian Approach With Application to Smart Meters

Индекс Искусственного интеллекта в России

Альманах "Искусственный интеллект" - это регулярный сборник аналитических материалов по отрасли искусственного интеллекта в России и мире.

Юбилейный 5-летний выпуск Альманаха содержит ежегодный отчет, подводящий итоги прошлого года и публикующий показатели отрасли Искусственного интеллекта в России

Техники убеждения

"Этот проект о том, как систематически убеждать LLM сделать джейлбрейк. Известный пример «Grandma Exploit» также использует эмоциональный призыв, технику убеждения, для джейлбрейка!

Что мы представили? Таксономию с 40 техниками убеждения, которые помогут вам быть более убедительными!

Что мы обнаружили? Итеративно применяя различные техники убеждения в нашей таксономии, мы успешно сделали джейлбрейк продвинутых выровненных LLM, включая Llama 2-7b Chat, GPT-3.5 и GPT-4, достигнув поразительного показателя успешности атаки в 92%, в частности, без какой-либо указанной оптимизации." - отсюда

См. также другие публикации, посвященные LLM

Рекомендации в реальном времени

Создание масштабируемой и работающей в режиме реального времени системы рекомендаций жизненно важно для многих предприятий, движимых отзывами клиентов, чувствительными ко времени, например, рейтинг коротких видеороликов или онлайн-реклама. Несмотря на повсеместное принятие фреймворков глубокого обучения в масштабах производства, таких как TensorFlow или PyTorch, эти универсальные фреймворки не соответствуют требованиям бизнеса в сценариях рекомендаций по разным причинам: с одной стороны, настройка систем на основе статических параметров и плотных вычислений для рекомендаций с динамическими и разреженными признаками пагубна для качества модели; с другой стороны, такие фреймворки разработаны с полностью разделенными этапами пакетного обучения и обслуживания, что не позволяет модели взаимодействовать с отзывами клиентов в режиме реального времени. Эти проблемы заставили нас пересмотреть традиционные подходы и изучить радикально иные варианты дизайна. В этой статье мы представляем Monolith, систему, специально предназначенную для онлайн-обучения. Наш дизайн был обусловлен наблюдениями за нашими рабочими нагрузками приложений и производственной средой, что отражает заметный отход от других систем рекомендаций. Наш вклад многообразен: во-первых, мы создали таблицу встраивания без столкновений с оптимизациями, такими как встраивание с истекающим сроком действия и фильтрация частот для уменьшения объема памяти; во-вторых, мы предоставляем готовую к производству архитектуру онлайн-обучения с высокой отказоустойчивостью; наконец, мы доказали, что надежность системы может быть принесена в жертву обучению в реальном времени. - Monolith: Real Time Recommendation System With Collisionless Embedding Table

Исходный код системы (TikTok) - открыт

Аудит моделей ML

В этой статье рассматриваются аудиты алгоритмов машинного обучения (ML) высшими органами аудита (SAI). Целью статьи является помощь SAI и отдельным аудиторам в проведении аудитов алгоритмов машинного обучения, которые применяются государственными учреждениями. Она предназначена для аудиторов с некоторыми знаниями количественных методов. Знание моделей машинного обучения на уровне эксперта не предполагается.

Мы включаем каталог аудита — набор руководств, включающий предлагаемые темы аудита на основе рисков, а также методологию проведения аудиторских тестов. Статья сопровождается вспомогательным инструментом Excel, который суммирует и проводит по различным частям аудита. - Auditing machine learning algorithms

См. также другие публикации по теме аудит

Генеративные модели и разделение доступа

Статья «Преодоление проблем безопасности при защите общих сред генеративного ИИ» рассматривает критическую необходимость в надежных мерах безопасности в многопользовательских приложениях генеративного ИИ. В ней описываются проблемы, с которыми сталкиваются организации при внедрении этих систем, включая проблемы интеграции данных, ограничения устаревших систем и необходимость надежной изоляции данных без ущерба для производительности или продуктивности разработчиков. В тексте подчеркивается необходимый баланс между безопасностью, продуктивностью разработчиков и гибкостью для удовлетворения различных потребностей арендаторов. В ней предлагаются три практических решения для многопользовательских архитектур: разделенные коллекции, управление коллекцией контента на основе ролей и использование службы разрешений Credal AI, каждое из которых имеет свои преимущества и примеры реализации. Кроме того, в ней представлен OpenFGA как вариант с открытым исходным кодом для детального контроля доступа. В заключение статьи подчеркивается важность определения соответствующего уровня многопользовательской среды для обеспечения безопасного обмена информацией и адаптивности в общих средах ИИ. - Overcoming Security Challenges in Protecting Shared Generative AI Environments

Доклады AI Journey

Записи докладов конференции AI Journey

Бесплатный сервер

Как получить бесплатный сервер в облаке Oracle

Обучение на основе подсказок под ударом

Обучение на основе подсказок оказалось эффективным способом в предварительно обученных языковых моделях (PLM), особенно в сценариях с низкими требованиями к ресурсам, таких как настройки с небольшим количеством попыток. Однако надежность PLM имеет первостепенное значение, и в шаблонах на основе подсказок были показаны потенциальные уязвимости, которые могут ввести в заблуждение прогнозы языковых моделей, вызывая серьезные проблемы безопасности. В этой статье мы прольем свет на некоторые уязвимости PLM, предложив состязательную атаку на основе подсказок на ручные шаблоны в сценариях черного ящика. Прежде всего, мы разрабатываем эвристические подходы на уровне символов и на уровне слов для взлома ручных шаблонов по отдельности. Затем мы представляем жадный алгоритм для атаки на основе вышеуказанных эвристических деструктивных подходов и дополнительно объединяем его с отрицательными словами. Наконец, мы оцениваем наш подход с задачами классификации на трех вариантах моделей серий BERT и восьми наборах данных. И всесторонние экспериментальные результаты подтверждают эффективность нашего подхода с точки зрения показателя успешности атаки и скорости атаки. В среднем он достигает показателя успешности атаки около 90% и времени запроса около 3000, что значительно лучше, чем сравниваемые базовые методы. Дальнейшие экспериментальные исследования показывают, что наш предложенный метод также демонстрирует хорошие возможности в сценариях с различным количеством попыток, длиной шаблонов и количеством запросов, демонстрируя хорошую обобщаемость. - Exploring the vulnerability of black-box adversarial attack on prompt-based learning in language models

См. также другие публикации, посвященные LLM

EDA в одну строчку

5 Python One-Liners to Kick Off Your Data Exploration

См. также другие публикации по теме EDA

LLM против мошенников

Можем ли мы доверять Большим языковым моделям (LLM) для точного прогнозирования мошенничества? В этой статье исследуются уязвимости LLM при столкновении с враждебными мошенническими сообщениями для задачи обнаружения мошенничества. Мы решили эту проблему, создав комплексный набор данных с малозаметными метками мошеннических сообщений, включая как исходные, так и враждебные мошеннические сообщения. Набор данных расширил традиционные бинарные классы для задачи обнаружения мошенничества в более тонкие типы мошенничества. Наш анализ показал, как состязательные примеры примеры использовали уязвимости LLM, что привело к высокому уровню ошибочной классификации. Мы оценили производительность LLM на этих враждебных мошеннических сообщениях и предложили стратегии для повышения их надежности. - Exposing LLM Vulnerabilities: Adversarial Scam Detection and Performance

См. также другие публикации, посвященные LLM

Байесовцы против частотников

В частотном подходе общее рассуждение начинается с предположения о некотором фиксированном известном параметре (например, что групповое различие на уровне популяции равно нулю). Затем мы думаем о том, чего мы ожидаем от повторных случайных выборок данных (например, ожидаемое распределение наблюдаемых групповых различий в выборках определенного размера, если различие в популяции на самом деле равно нулю). И затем мы используем это для вывода выводов — например, если наблюдаемое групповое различие в выборке настолько велико, что оно вряд ли возникнет, если групповое различие на уровне популяции равно нулю, мы отбрасываем гипотезу о том, что групповое различие на уровне популяции равно нулю. На всех этапах процесса вероятности относятся к относительным частотам наблюдаемых данных.

Напротив, в байесовской статистике мы наблюдаем некоторые данные, а затем пытаемся сделать вывод о том, какой параметр, скорее всего, привел бы к этим данным. Таким образом, мы в конечном итоге получаем вероятности для параметров (которые количественно определяют нашу степень веры, а не относительные частоты). - хорошее сравнение

Технологии 2025

The Top Technology Trends for 2025 are:

Agentic AI

Post-quantum Cryptography

Spatial Computing

AI Governance Platforms

Ambient Invisible Intelligence

Polyfunctional Robots

Disinformation Security

Energy-Efficient Computing

Neurological Enhancement

Hybrid Computing

/via Gartner

Публикации по теме Искусственный интеллект в кибербезопасности

Вопросы безопасности систем ИИ рассматриваются в двух магистерских программах факультета ВМК МГУ имени М.В. Ломоносова: Искусственный интеллект в кибербезопасности и Кибербезопасность (совместно со Сбербанк). Ниже приведен список публикаций, подготовленных в процессе реализации этих программ по состоянию на 09.12.2024

Ильюшин Е. А., Намиот Д. Е. An approach to the automatic enhancement of the robustness of ml models to external influences on the example of the problem of biometric speaker identification by voice // International Journal of Open Information Technologies. — 2021. — Vol. 9, no. 6. — P. 11–19.

Намиот Д. Е., Ильюшин Е. А., Чижов И. В. Текущие академические и индустриальные проекты, посвященные устойчивому машинному обучению // International Journal of Open Information Technologies. — 2021. — Т. 9, № 10. — С. 35–46.

Намиот Д. Е., Ильюшин Е. А., Чижов И. В. Основания для работ по устойчивому машинному обучению // International Journal of Open Information Technologies. — 2021. — Т. 9, № 11. — С. 68–74.

Намиот Д. Е., Ильшин Е. А., Чижов И. В. Военные применения машинного обучения // International Journal of Open Information Technologies. — 2022. — Т. 10, № 1. — С. 69–76.

Ильюшин Е. А., Намиот Д. Е., Чижов И. В. Атаки на системы машинного обучения – общие проблемы и методы // International Journal of Open Information Technologies. — 2022. — Т. 10, № 3. — С. 17–22.

Namiot D., Ilyushin E. On monitoring of machine learning models // Distributed Computer and Communication Networks: Control, Computation, Communications (DCCN-2022) : материалы XXV международной научной конференции: Москва, 26–30 сентября 2022 года / под общ. ред. В. М. Вишневского и К. Е. Самуйлова. — РУДН Москва: 2022. — P. 150–157.

Namiot D., Ilyushin E., Chizhov I. On a formal verification of machine learning systems // International Journal of Open Information Technologies. — 2022. — Vol. 10, no. 5. — P. 30–34.

Huayu L., Namiot D. A survey of adversarial attacks and defenses for image data on deep learning // International Journal of Open Information Technologies. — 2022. — Vol. 10, no. 5. — P. 9–16.

Намиот Д., Ильюшин Е., Пилипенко О. Доверенные платформы искусственного интеллекта // International Journal of Open Information Technologies. — 2022. — Т. 10, № 7. — С. 119–127.

Намиот Д., Ильюшин Е. Порождающие модели в машинном обучении // International Journal of Open Information Technologies. — 2022. — Т. 10, № 7. — С. 101–118.

Биджиев Т. М., Намиот Д. Е. Исследование существующих подходов к встраиванию вредоносного программного обеспечения в искусственные нейронные сети // International Journal of Open Information Technologies. — 2022. — Т. 10, № 9. — С. 21–31.

Намиот Д. Е., Ильюшин Е. А. Об устойчивости и безопасности систем искусственного интеллекта // International Journal of Open Information Technologies. — 2022. — Т. 10, № 9. — С. 126–134.

Намиот Д. Е., Ильюшин Е. А., Чижов И. В. Искусственный интеллект и кибербезопасность // International Journal of Open Information Technologies. — 2022. — Т. 10, № 9. — С. 135–147.

Stroeva E., Tonkikh A. Methods for formal verification of artificial neural networks: A review of existing approaches // International Journal of Open Information Technologies. — 2022. — Vol. 10, no. 10. — P. 3.

Намиот Д., Ильюшин Е. Мониторинг сдвига данных в моделях машинного обучения // International Journal of Open Information Technologies. — 2022. — Т. 10, № 12. — С. 84–93.

Костюмов, Василий Владимирович. "Обзор и систематизация атак уклонением на модели компьютерного зрения." International Journal of Open Information Technologies 10.10 (2022): 11-20.

Намиот Д. Е., Ильюшин Е. А. О причинах неудач проектов машинного обучения // International Journal of Open Information Technologies. — 2023. — Т. 11, № 1. — С. 60–69.

Намиот Д. Е. Введение в атаки отравлением на модели машинного обучения // International Journal of Open Information Technologies. — 2023. — Т. 11, № 3. — С. 58–68.

Namiot D. E., Ilyushin E., Chizhov I. On the practical generation of counterfactual examples // Труды Института системного анализа Российской академии наук. — 2023. — Vol. 73, no. 1. — P. 73–81.

Junzhe S., Namiot D. E. A survey of model inversion attacks and countermeasures // Труды Института системного анализа Российской академии наук. — 2023. — Vol. 73, no. 1. — P. 82–93.

Junzhe S., Namiot D. A survey of the implementations of model inversion attacks // Communications in Computer and Information Science. — 2023. — Vol. 1748. — P. 3–16.

Намиот Д. Е. Схемы атак на модели машинного обучения // International Journal of Open Information Technologies. — 2023. — Т. 11, № 5. — С. 68–86.

On the evasion attack detector / L. Huayui, V. Kostyumov, O. Pilipenko, D. Namiot // DCCN 2023. Материалы конференции. — ИПУ РАН Москва: 2023. — P. 183–188.

Junzhe S., Namiot D. On the machine learning models inversion attack detector // DCCN 2023. Материалы конференции. — ИПУ РАН Москва: 2023. — P. 194.

Lozinskii I., Kostyumov V., Stroeva E. Extraction of trigger and mask from poisoned data using modified activation clustering and neural cleanse methods // International Journal of Open Information Technologies. — 2023. — Vol. 11, no. 7. — P. 1

Чехонина, Екатерина Андреевна, and Василий Владимирович Костюмов. "ОБЗОР СОСТЯЗАТЕЛЬНЫХ АТАК И МЕТОДОВ ЗАЩИТЫ ДЛЯ ДЕТЕКТОРОВ ОБЪЕКТОВ." International Journal of Open Information Technologies 11.7 (2023): 11-20.

Пришлецов Д. Е., Пришлецов С. Е., Намиот Д. Е. Камуфляж как состязательные атаки на модели машинного обучения // International Journal of Open Information Technologies. — 2023. — Т. 11, № 9. — С. 41–49.

Намиот Д. Е., Зубарева Е. В. О работе ai red team // International Journal of Open Information Technologies. — 2023. — Т. 11, № 10. — С. 130–139.

Намиот Д. Е., Ильюшин Е. А. Доверенные платформы искусственного интеллекта: сертификация и аудит // International Journal of Open Information Technologies. — 2024. — Т. 12, № 1. — С. 43–60.

Киржинов Д. А., Ильюшин Е. А. Сравнительный анализ алгоритмов атак и защиты на графовые архитектуры ИНС // International Journal of Open Information Technologies. — 2024. — Т. 12, № 2.

Намиот Д. Е., Романов В. Ю. Об улучшении робастности моделей машинного обучения // International Journal of Open Information Technologies. — 2024. — Т. 12, № 3. — С. 88–98.

Junzhe S., Namiot D. On real-time model inversion attacks detection // Lecture Notes in Computer Science. — 2024. — Vol. 14123. — P. 56–67.

Мударова Р. М., Намиот Д. Е. Противодействие атакам типа инъекция подсказок на большие языковые модели // International Journal of Open Information Technologies. — 2024. — Т. 12, № 5. — С. 39–48.

Намиот Д. Е., Ильюшин Е. А. Искусственный интеллект в кибербезопасности: поиск вредоносного программного обеспечения // International Journal of Open Information Technologies. — 2024. — Т. 12, № 6. — С. 143–149.

Селевенко Р. М., Строева Е. Н. Исследование и разработка алгоритма формальной верификации и метрики оценки качества на основе методов понижения размерности ИНС // INJOIT. — 2024. — Т. 12, № 6. — С. 2.

Биджиев Т. М., Намиот Д. Е. Атаки на модели машинного обучения, основанные на фреймворке pytorch // Автоматика и телемеханика. — 2024. — № 3. — С. 38–50.

Намиот Д. Е., Ильюшин Е. А. О сертификации систем искусственного интеллекта // Физика элементарных частиц и атомного ядра. — 2024. — Т. 55, № 3. — С. 530–536.

Намиот Д. Е., Куприяновский В. П., Пичугов А. А. Состязательные атаки для автономных транспортных средств // International Journal of Open Information Technologies. — 2024. — Т. 12, № 7. — С. 139–149.

Намиот Д. Е. О кибератаках с помощью систем Искусственного интеллекта // International Journal of Open Information Technologies. — 2024. — Т. 12, № 9. — С. 132–141.

Воробьев, Егор Александрович. "Анализ состязательных атак на системы сегментации изображений." International Journal of Open Information Technologies 12.10 (2024): 1-25.

Намиот Д. Е., Ильюшин Е. А. О киберрисках генеративного Искусственного Интеллекта // International Journal of Open Information Technologies. — 2024. — Т. 12, № 10. — С. 109–119.

Порывай, Максим Викторович. "Сравнительное исследование методов естественной аугментации изображений." International Journal of Open Information Technologies 12.10 (2024): 26-33.

Герасименко, Денис Валерьевич, and Дмитрий Евгеньевич Намиот. "Извлечение тренировочных данных: Риски и решения в контексте безопасности LLM." International Journal of Open Information Technologies 12.11 (2024): 9-19.

Костиков, Егор Вячеславович. "Методы анализа логов Sysmon для обнаружения киберугроз." International Journal of Open Information Technologies 12.11 (2024): 25-34.

Защита периметра

В последние годы проблемы безопасности высокоскоростных железных дорог оставались серьезными. Вторжение персонала или препятствий в периметр часто происходило в прошлом, что приводило к сходу с рельсов или стоянке, особенно в случае плохой погоды, такой как туман, дымка, дождь и т. д. Согласно предыдущим исследованиям, одному датчику трудно удовлетворить потребности приложений всех сценариев, всех погодных условий и всех временных интервалов. Благодаря дополнительным преимуществам данных с нескольких датчиков, таких как изображения и облака точек, технология обнаружения слияния нескольких датчиков для вторжения в периметр высокоскоростных железных дорог становится горячей точкой исследований. Насколько нам известно, не было обзора исследований технологии обнаружения слияния нескольких датчиков для вторжения в периметр высокоскоростных железных дорог. Чтобы восполнить этот недостаток и стимулировать будущие исследования, в этой статье сначала анализируется ситуация с мерами технической защиты высокоскоростных железных дорог и обобщается статус исследований обнаружения с одним датчиком. Во-вторых, на основе анализа типичных сценариев вторжений на высокоскоростных железных дорогах мы представляем исследовательский статус алгоритмов обнаружения слияния многосенсорных данных и данных. Затем мы обсуждаем оценку риска безопасности на железной дороге. Наконец, обсуждаются тенденции и проблемы алгоритмов обнаружения слияния многосенсорных данных в железнодорожной сфере. Это обеспечивает эффективную теоретическую поддержку и техническое руководство для мониторинга вторжений на периметр высокоскоростных железных дорог. - A Survey on Multi-Sensor Fusion Perimeter Intrusion Detection in High-Speed Railways

Влияние генеративного ИИ на безопасность

Несомненно, эволюция моделей генеративного ИИ (GenAI) стала кульминацией цифровой трансформации в 2022 году. Поскольку различные модели GenAI, такие как ChatGPT и Google Bard, продолжают развивать свою сложность и возможности, крайне важно понимать ее последствия с точки зрения кибербезопасности. Недавно несколько примеров продемонстрировали использование инструментов GenAI как в оборонительной, так и в наступательной части кибербезопасности, и сосредоточились на социальных, этических и конфиденциальных последствиях, которые эта технология имеет. В этой исследовательской работе подчеркиваются ограничения, проблемы, потенциальные риски и возможности GenAI в области кибербезопасности и конфиденциальности. В работе представлены уязвимости ChatGPT, которые могут быть использованы злоумышленниками для извлечения вредоносной информации в обход этических ограничений модели. В этой статье показаны успешные примеры атак, таких как джейлбрейки, обратная психология и атаки с подсказками на ChatGPT. В статье также исследуется, как киберпреступники могут использовать инструменты GenAI для разработки кибератак, а также изучаются сценарии, в которых ChatGPT может использоваться злоумышленниками для создания атак социальной инженерии, фишинговых атак, автоматизированного взлома, генерации полезной нагрузки атаки, создания вредоносного ПО и полиморфного вредоносного ПО. Затем в статье рассматриваются методы защиты и используются инструменты GenAI для улучшения мер безопасности, включая автоматизацию киберзащиты, отчетность, разведку угроз, генерацию и обнаружение безопасного кода, идентификацию атак, разработку этических принципов, планов реагирования на инциденты и обнаружение вредоносного ПО. Мы также обсудим социальные, правовые и этические последствия ChatGPT. В заключение в статье освещаются открытые проблемы и будущие направления, чтобы сделать этот GenAI безопасным, надежным, заслуживающим доверия и этичным, поскольку сообщество понимает его воздействие на кибербезопасность. - ChatGPT to ThreatGPT: Impact of Generative AI in Cybersecurity and Privacy

Атаки на локализацию объектов

Состязательная атака постепенно стала важной отраслью в области безопасности искусственного интеллекта, где потенциальная угроза, создаваемая состязательной атакой на примере, больше не должна игнорироваться. В этой статье предлагается новый режим атаки для задачи обнаружения объектов. Мы обнаружили, что, атакуя задачу локализации при обнаружении объектов, можно реализовать своего рода состязательную атаку на целевые ограничивающие рамки. Мы обнаружили, что для определенной цели на входном изображении области, затронутые классификацией и локализацией модели обнаружения объектов, определены, но различны. Поэтому мы предлагаем метод состязательной атаки на основе локальных возмущений для локализации обнаружения объектов, который определяет ключевые области, влияющие на локализацию цели, и добавляет состязательные возмущения в эти области для достижения атак на ограничивающие рамки на локализацию целевого ограничивающего рамки, обеспечивая при этом высокую скрытность. Экспериментальные результаты на наборе данных MS COCO и самостоятельно созданном наборе данных показывают, что наш метод генерирует состязательные примеры, которые могут заставить детектор объектов располагаться ненормально. Что еще важнее, изучение атак с использованием состязательных примеров полезно для понимания глубоких сетей и разработки надежных моделей. - Adversarial Attacks to Manipulate Target Localization of Object Detector

P.S. См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

LLM в деле

База с описанием внедрений LLM

См. также другие публикации, посвященные LLM

Российские экосистемы

ICT.Moscow представляет обзор текущих особенностей в подходах к развитию и применению искусственного интеллекта российскими цифровыми экосистемами — компаниями «Яндекс», «Сбер», VK, МТС и Т-Банк. - здесь

Ослепляющий камуфляж

Маскировка такого рода называется деформирующей или ослепляющей (dazzle). Окраска призвана затруднить оценку формы корабля, его курса и скорости за счет использования угловатых форм, углов и контрастных цветов, которые, по задумке, должны помешать противнику идентифицировать судно, а затем не позволить своевременно рассчитать скорость и направление цели.

Первым такой камуфляж использовало Адмиралтейство Великобритании в период Первой мировой войны в связи с тяжелыми потерями, понесенными британскими торговыми судами из-за угроз со стороны немецких подводных лодок. Камуфляж разработал художник Норман Уилкинсон в 1917 году. Суда в такой окраске называют «корабли-зебры» или «корабли-кубики». - отсюда

См. в этой связи нашу статью Camouflage as adversarial attacks on machine learning models

Deep Learning c примерами

Материалы нового курса и книга от автора курса

AI в кибербезопасности

Темы конференции 8th Cyber Security in Networking Conference