Риски генеративных моделей ИИ и их тестирование

"Настоящая статья посвящена обзору рисков генеративных моделей Искусственного Интеллекта. Бурное развитие больших языковых моделей серьезно повысило внимание к безопасности моделей Искусственного интеллекта. С практической точки зрения, в данном случае, речь идет о безопасности моделей глубокого обучения. Большие языковые модели подвержены атакам отравления, атакам уклонения, атакам, направленным на извлечение тренировочных данных и т.д. Но, вместе с этим, появляются и новые атаки, связанные именно с создаваемым контентом. Причем последние составляют очевидное большинство. Поэтому в последнее время появилось много работ, которые пытаются систематизировать все риски генеративных моделей. Этим занимаются, например, OWASP и NIST. Полная таксономия рисков генеративного ИИ должна послужить основой для построения систем тестирования генеративных моделей. В работе приводится обзор спецификаций рисков генеративного ИИ, изложенных OWASP, профилем NIST и репозиторием рисков от MIT. Цель подобных спецификаций – создать базу для тестирования генеративных моделей и инструментов, предназначенных для AI Red Team." - статья О киберрисках генеративного Искусственного Интеллекта

Стороннее тестирование как ключевой элемент политики в области ИИ - пишет Antropic, возможно, основной конкурент Open AI. И в этой связи собирает предложения в рамках своей инициативы по разработке сторонних оценок моделей ИИ

Требования к тестам для LLM

Метрики для оценки LLM приложений

Библиотека промптов

Библиотека промптов для LLM. Довольно большой список задач

См. также другие публикации, посвященные LLM

См. также другие материалы, посвященные подсказкам

INJOIT том 12, номер 10

Вышел десятый номер журнала INJOIT в 2024 году. И двенадцатый год издания журнала.

Темы статей:

• Анализ состязательных атак на системы сегментации изображений
• Сравнительное исследование методов естественной аугментации изображений
• Алгоритм защиты от состязательных атак в языковых моделях
• Development of a web application for applying the analytic hierarchy process
• Математическая модель фильтрации с учетом капиллярных сил в мультипоровой среде
• Оценивание с помощью метода наименьших модулей регрессионных моделей с целочисленными функциями пол и потолок
• Methodology for Analyzing Thematic Co-Authorship Networks
• Статистическая модель поиска целевых объектов в социальной сети
• Система мониторинга для балансировки нагрузки узлов распределенной вычислительной системы на основе смартфонов
• О роли и месте институционального репозитория в цифровой экосистеме научной организации
• Оценка функциональной (параметрической) полноты информационных рисков
• О киберрисках генеративного Искусственного Интеллекта
• Использование автоматизированных информационных систем для улучшения процесса управления доставками: перспективы и вызовы
• Экономика данных
• Концепция стохастического метамоделирования интеллектуальных цифровых экосистем
• Exploring Fine-grained Task Parallelism on Simultaneous Multithreading Cores

/via Лаборатория ОИТ

Архив журнала находится здесь.

Тестирование LLM

Пример фреймворка для тестирования LLM

См. также другие публикации, посвященные LLM

Как кэшировать базы данных

Схема, которую использует UBER в своей высоконагруженной системе:

Uber построил CacheFront — интегрированное решение для кэширования с Redis, Docstore и MySQL. Чтение и запись файлов с использованием CDC (Change Data Capture). Реализация состоит из 3 основных частей:

1. Чтение и запись с CDC
Вместо микросервиса, механизм запросов Docstore взаимодействует с Redis для запросов на чтение. При попадании в кэш механизм запросов извлекает данные из Redis. При промахах кэша запрос отправляется в механизм хранения и базу данных. В случае записи служба CDC Docstore (Flux) делает записи в Redis недействительными. Она отслеживает события binlog MySQL, чтобы инициировать аннулирование.

2. Разогрев кэша в нескольких регионах с помощью потоковой передачи Redis
Отказ региона может привести к промахам кэша и перегрузке базы данных. Чтобы справиться с этим, инженерная группа Uber использует репликацию Redis между регионами. Это делается путем отслеживания потока записи Redis для репликации ключей в удаленный регион. В удаленном регионе потребитель потока отправляет запросы на чтение в механизм запросов, который считывает базу данных и обновляет кэш.

3. Redis и шардинг Docstore
Все команды в Uber используют Docstore, при этом некоторые генерируют огромное количество запросов. Экземпляры Redis и Docstore шардированы или разделены для обработки нагрузки. Но один кластер Redis, выходящий из строя, может создать горячий шард БД. Чтобы предотвратить это, инженеры разделили кластер Redis, используя схему, отличную от шардинга БД. Это гарантирует равномерное распределение нагрузки.

/via bytebytego.com и Uber

Оцени LLM

Как оценивать LLM? Один из вариантов - оценка с помощью другой LLM

"Оценка больших языковых моделей (LLM) представляет собой уникальные проблемы. Хотя автоматическая параллельная оценка, также известная как LLM-как-судья, стала многообещающим решением, разработчики и исследователи моделей сталкиваются с трудностями масштабируемости и интерпретируемости при анализе результатов оценки. Для решения этих проблем мы представляем LLM Comparator, новый визуальный аналитический инструмент, разработанный для параллельной оценки LLM. Этот инструмент предоставляет аналитические рабочие процессы, которые помогают пользователям понять, когда и почему одна LLM превосходит или уступает другой, и как отличаются их ответы. Благодаря тесному сотрудничеству с практиками, разрабатывающими LLM в Google, мы итеративно проектировали, разрабатывали и совершенствовали инструмент. Качественные отзывы этих пользователей подчеркивают, что инструмент облегчает углубленный анализ отдельных примеров, одновременно позволяя пользователям визуально просматривать и гибко разрезать данные. Это позволяет пользователям выявлять нежелательные закономерности, формулировать гипотезы о поведении модели и получать информацию для ее улучшения. LLM Comparator интегрирован в платформы оценки LLM от Google и имеет открытый исходный код."

См. также другие публикации, посвященные LLM

5G RedCap

5G RedCap и его преимущества для IoT. В первую очередь, в автомобильном секторе

Угрозы ИИ

отсюда

Фишинговые фичи

Интересный подход к определению фишинговых URL

см. также другие публикации по теме фишинг

Есть ли приватность у LLM?

С быстрым развитием искусственного интеллекта большие языковые модели (LLM) достигли значительных прогрессов в обработке естественного языка. Эти модели обучаются на обширных наборах данных, чтобы демонстрировать мощные возможности понимания и генерации языка в различных приложениях, включая машинный перевод, чатботов и агентов. Однако LLM выявили множество проблем конфиденциальности и безопасности на протяжении всего своего жизненного цикла, привлекая значительное академическое и промышленное внимание. Более того, риски, с которыми сталкиваются LLM, значительно отличаются от тех, с которыми сталкиваются традиционные языковые модели. Учитывая, что в текущих исследованиях отсутствует четкая таксономия уникальных моделей угроз в различных сценариях, мы подчеркиваем уникальные угрозы конфиденциальности и безопасности, связанные с пятью конкретными сценариями: предварительное обучение, тонкая настройка, системы генерации дополненного поиска, развертывание и агенты на основе LLM. Рассматривая характеристики каждого риска, этот опрос описывает потенциальные угрозы и контрмеры. Исследования ситуаций нападения и защиты могут предложить возможные направления исследований, позволяющие большему количеству областей извлечь выгоду из LLM. - отсюда

См. также другие публикации, посвященные LLM

Архитектурные шаблоны для ПО

LLM Red Teaming

Создание безопасных и устойчивых приложений с большими языковыми моделями (LLM) требует предвидения, адаптации и противодействия непредвиденным угрозам. Red-teaming стал критически важным методом выявления уязвимостей в реальных реализациях LLM. В этой статье представлена подробная модель угроз и дана систематизация знаний (SoK) атак redteaming на LLM. Мы разрабатываем таксономию атак на основе этапов процесса разработки и развертывания LLM и извлекаем различные идеи из предыдущих исследований. Кроме того, мы компилируем методы защиты и практические стратегии red-teaming для практиков. Выделяя основные мотивы атак и проливая свет на различные точки входа, эта статья предоставляет основу для улучшения безопасности и надежности систем на основе LLM. - отсюда

См. также другие публикации, посвященные LLM

LLM в дезинформации

Исследование, проведенное в сотрудничестве с Jigsaw и Google.org, проанализировало около 200 сообщений в СМИ с начала 2023 по начало 2024 года, выявив распространенные тактики злоупотребления. Результаты включают увеличение случаев подражания и мошенничества с использованием ИИ, при этом некоторые тактики злоупотребления напоминают традиционные методы манипуляции, но с новой силой. Исследование подчеркивает необходимость улучшения мер безопасности, повышения осведомленности общественности и обновления политики для устранения этих новых угроз и поощрения этичного использования ИИ. Отсюда

Отсюда, кстати, следует необходимость улучшения процессов тестирования (AI Red Teaming) с точки зрения социальных (социо-технических) аспектов

См. также другие публикации, посвященные LLM

Open Source LLM инструменты

1000+ Open Source tools for LLM.

См. также другие публикации, посвященные LLM

Куда они ездят?

Статистический анализ поездок в городе

"Основные выводы: Сравнивая традиционные подходы, основанные на гравитации, и подходы, ориентированные на оптимизацию, используемые для моделирования распределения поездок, мы определили пространственные условия, при которых эти две математические структуры могут давать расходящиеся оценки предоставления, которые могут привести к различным решениям в области городского планирования и политики. Чтобы поддержать выбор подходящего подхода к моделированию при отсутствии фактических данных о взаимодействии населения и объектов, мы выявили сильные стороны и ограничения каждой модели в различных городских контекстах. Исследуя сценарии, в которых данные об использовании объектов доступны для части города, мы протестировали контролируемые модели машинного обучения, которые интегрируют имеющиеся данные для захвата распространенных моделей поведения человека, тем самым улучшая прогнозирование распределения поездок и связанных с ними оценок предоставления. После тщательного изучения существующих контрольных показателей мы предложили новую модификацию модели распределения поездок с глубоким обучением, которая включает физические ограничения, связанные с фиксированными условиями спроса и предложения, достигая превосходной производительности на синтетических наборах данных по сравнению с установленными базовыми показателями."

Масштабирование уровня данных

Шаблон разделения ответственности запроса команды (CQRS - command query responsibility segregation) отделяет мутацию данных или командную часть системы от части запроса. Вы можете использовать шаблон CQRS для разделения обновлений и запросов, если у них разные требования к пропускной способности, задержке или согласованности.

Сети двойников

"В последние годы произошли огромные изменения в области искусственного интеллекта (ИИ) и распространения широкополосных и повсеместных технологий связи. Это привело к разработке и коммерциализации технологии цифровых двойников (DT). Широкое внедрение DT привело к появлению новой сетевой парадигмы, называемой сетями цифровых двойников (DTN), которые организуют через сети повсеместных DT и их соответствующие физические активы. DTN создают виртуальных двойников физических объектов с помощью технологии DT и реализуют совместную эволюцию между физическими и виртуальными пространствами посредством обработки данных, вычислений и моделирования DT. Большой объем пользовательских данных и повсеместные системы связи в DTN имеют свой собственный набор проблем. Самая серьезная проблема здесь связана с конфиденциальностью и безопасностью пользовательских данных, поскольку пользователи большинства приложений не знают о данных, которыми они делятся с этими платформами, и наивны в понимании последствий утечек данных. Кроме того, в настоящее время недостаточно литературы, которая фокусируется на вопросах конфиденциальности и безопасности в приложениях DTN. В этом обзоре мы сначала даем четкое представление о компонентах DTN и общих показателях, используемых в литературе для оценки их производительности. Затем мы предлагаем стандартную сетевую модель, которая применяется к большинству приложений DTN, чтобы обеспечить лучшее понимание сложных и чередующихся коммуникаций DTN и соответствующих компонентов. Затем мы проливаем свет на общие приложения, где DTN были в значительной степени адаптированы, и проблемы конфиденциальности и безопасности, возникающие из DTN. Мы также предоставляем различные контрмеры конфиденциальности и безопасности для решения ранее упомянутых проблем в DTN и перечисляем некоторые современные инструменты для смягчения проблем. Наконец, мы предоставляем некоторые открытые вопросы исследований и проблемы в области конфиденциальности и безопасности DTN." - отсюда

Редкие события

"Обнаружение редких событий (RED) включает в себя идентификацию и обнаружение событий, характеризующихся низкой частотой возникновения, но имеющих большое значение или влияние. В этой статье представлен систематический обзор (SR) обнаружения редких событий в различных модальностях с использованием методов машинного обучения (ML) и глубокого обучения (DL). В этом обзоре подробно излагаются методы и приемы, наиболее подходящие для обнаружения редких событий в различных модальностях, а также освещаются перспективы будущих исследований. Насколько нам известно, эта статья является новаторской SR, посвященной изучению этой конкретной области исследований. В этой SR определяются используемые методы и приемы, используемые наборы данных и эффективность этих методов при обнаружении редких событий. В этой SR рассматриваются четыре модальности, касающиеся RED: видео, звук, изображение и временные ряды. Соответствующие характеристики различных методов ML и DL для RED обсуждаются всесторонне, а также выделяются связанные с RED проблемы и ограничения, а также направления будущих исследований. Целью данного отчета является предоставление всестороннего обзора существующих методов в RED, который послужит ценным ресурсом для исследователей и практиков, работающих в соответствующей области." - отсюда

больше статей по теме

О киберобмане

Растущий интерес к кибербезопасности значительно увеличил количество статей, разрабатывающих и реализующих различные механизмы киберобмана (Cyber Deception - CYDEC). Эта тенденция отражает срочную потребность в новых стратегиях для эффективного противодействия киберугрозам. С момента своего появления CYDEC зарекомендовал себя как инновационная защита от злоумышленников благодаря своим проактивным и реактивным возможностям, находящим применение в многочисленных реальных сценариях. Несмотря на значительную работу, посвященную CYDEC, литература по-прежнему представляет собой значительные пробелы. В частности, не было (i) всестороннего анализа основных компонентов, характеризующих CYDEC, (ii) общей классификации, охватывающей все типы решений, ни (iii) обзора текущего состояния литературы в различных контекстах. Целью данной статьи является заполнение этих пробелов путем подробного обзора основных функций, составляющих CYDEC, и разработки всеобъемлющей таксономии классификации. Кроме кроме того, рассматриваются различные фреймворки, используемые для создания CYDEC, представляя более всеобъемлющую. Изучаются и сравниваются существующие решения в литературе, использующие CYDEC, как без искусственного интеллекта (ИИ), так и с ИИ. Наконец, обсуждаются наиболее существенные тенденции текущего состояния дел, предлагая список нерешенных задач для будущих исследований - отсюда

Еще о фишинге

Интересная работа по определению признаков фишинговых URL

"Наша модель использует извлеченные из веб-страниц признаки, используя 89 признаков для точной классификации фишинговых URL-адресов. На основе алгоритмов выбора признаков, таких как прямой выбор (forward selection) и регуляризация Lasso, мы выбрали 27 лучших признаков."

см. также другие публикации по теме фишинг

Глубокие трояны

Хороший обзор: A Survey of Trojan Attacks and Defenses to Deep Neural Networks

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Измерение галлюцинаций

Galileo, предлагающая платформу для оценки моделей ИИ, протестировала 22 модели, чтобы увидеть, галлюцинируют ли они после извлечения информации из документов разной длины. Claude 3.5 Sonnet стал абсолютным победителем, и большинство моделей показали лучшие результаты при извлечении информации из документов средней длины.

Как это работает: исследователи протестировали 10 закрытых и 12 открытых моделей на основе их размеров и популярности. Они запустили каждую модель 20 раз, используя короткие, средние и длинные длины контекста (всего 60 тестов) с использованием GPT-4o, чтобы оценить, насколько близко выходной текст соответствует контексту.

Исследователи выбрали текст из четырех общедоступных и двух частных наборов данных для тестов с коротким контекстом (менее 5000 токенов каждый). Они выбрали более длинные документы от частных компаний для тестов со средним и длинным контекстом. Они разделили эти документы на отрывки по 5000, 10000, 15000, 20000 и 25000 токенов для тестов со средним контекстом и 40000, 60000, 80000 и 100000 токенов для тестов с длинным контекстом.

Для каждого теста они предоставили модели подсказку и связанный с ней документ. Подсказка просила модель извлечь определенную информацию из документа. Они предоставили подсказку и ответ инструменту обнаружения галлюцинаций ChainPoll от Galileo. ChainPoll запрашивает модель (в данном случае GPT-4o) несколько раз, используя цепочку мыслей, чтобы вернуть оценку 1 (ответ напрямую поддерживается документом контекста) или 0 (ответ не поддерживается документом контекста). Они подсчитали средние баллы каждой модели для каждой длины контекста и усреднили их, чтобы получить окончательный балл. Результаты: Claude 3.5 Sonnet от Anthropic заняла первое место в общем рейтинге, достигнув 0,97 в коротких длинах контекста и 1,0 в средних и длинных длинах контекста.

Среди моделей с открытыми весами Qwen2-72b Instruct набрала самые высокие баллы для коротких (0,95) и средних (1,0) длин контекста. Исследователи выделили Gemini 1.5 Flash за высокую производительность (0,94, 1,0 и 0,92 для коротких, средних и длинных длин контекста соответственно) при низких затратах. Большинство моделей показали наилучшие результаты в контекстах средней длины, которые в отчете называются «оптимальным вариантом для большинства LLM».

Galileo провела аналогичные тесты в прошлом году, когда сравнила производительность в условиях RAG и без RAG (без дифференциации по длине контекста). GPT-4 и GPT-3.5 заняли первые три места в обеих условиях, несмотря на высокие результаты Llama 2 и Zephyr 7B. Однако наивысшие баллы были ниже (от 0,70 до 0,77).

Почему это важно: Создатели моделей уменьшили количество галлюцинаций, но разница между редкими ложными сообщениями и их отсутствием может быть критической в некоторых приложениях.

Любопытно, что контексты RAG средней длины обычно вызывали меньше галлюцинаций, чем короткие или длинные. Может быть, нам следует давать моделям больше контекста, чем, как мы думаем, им нужно.

/via deeplearning.ai

См. также другие публикации по теме галлюцинации

Олимпиада по ИИ

О международной олимпиаде по ИИ

Базы данных в CMU

Открытый курс по базам данных от Carnegie Mellon

AI Red Team

Пример AI Red Team фреймворка: Walter, Mathew J., Aaron Barrett, and Kimberly Tam. "A Red Teaming Framework for Securing AI in Maritime Autonomous Systems." Applied Artificial Intelligence 38.1 (2024): 2395750.

См. также публикацию в журнале INJOIT: Namiot, Dmitry, and Elena Zubareva. "About AI Red Team." International Journal of Open Information Technologies 11.10 (2023): 130-139.

Агенты ее величества

1. Архитектура и инструментарий для LLM-агентов

2. Создание ИИ агентов на Python

См. также другие публикации, посвященные LLM

Наивный Байес

Да или нет - хорошее изложение с примерами кода: Bernoulli Naive Bayes, Explained: A Visual Guide with Code Examples for Beginners

P.S. см. также другие публикации по теме Байес

ИИ в киберзащите

1. Учебный курс из Texas A&M University - Machine Learning-Based CyberDefenses

2. White paper от Лаборатории Касперского: Machine Learning for Malware Detection

Открытая наука: INJOIT том 12, номер 9

Очередной номер журнала INJOIT появился на сайте Киберленинка.

Это том 12, номер 9 за 2024 год.

/via Лаборатория ОИТ

ИИ в кибербезопасности

Конференция CSNet 2024 в этом году объявила своей темой Artificial Intelligence (AI) for Cybersecurity. Вот заявленные темы в CFP. По сути - это области применения ИИ в кибербезопасности

Advanced AI for Cybersecurity
AI-based Cybersecurity for Next-Generation Technologies
Challenges and Opportunities in AI-driven Security
Emerging AI Threats and Countermeasures
Privacy Preservation in AI-driven Security
Privacy-preserving AI for Surveillance and Monitoring
Cognitive Security and Adaptive Defense Mechanisms
Advanced Deep Learning Techniques for Cyber Defense
Blockchain
Cloud Security
Cognitive Cyber Security
Cyber-attacks & defense
Cyber-Physical System (CPS) Security
Cybersecurity and Human Rights
Data Center Network Control, Security, and Optimization
Decentralized Security
Resilient Networks and Systems
Secure Protocol Design and Key Management
Secure Architecture Design
Secure Network Design
Security Policies Design
Security for the Internet of Things
Security in Fog/edge Computing
AI-driven Intrusion Detection and Prevention Systems
AI-driven Security Monitoring and Anomaly Detection
Cyber Threat Intelligence and Information Sharing
AI-based Cybersecurity for IoT and Fog/edge Computing
Adversarial Machine Learning and AI Security
AI for Cyber Resilience and Incident Response Strategies
AI for Biometric Security
AI for Secure Software Development and DevSecOps
AI-enabled Threat Hunting and Cyber Forensics
AI-enabled Ethical Hacking
AI for Blockchain Technology
AI-based Secure Cloud Computing and Data Protection
AI-based Cybersecurity in Smart Cities/Grids and Urban Environments
AI for Secure Authentication and Access Control Mechanisms
AI-powered Threat Modeling and Risk Assessment
AI-driven Security Automation and Orchestration
Secure AI Model Training and Adversarial Mitigation
AI-driven Security Operations Center (SOC)
Secure Federated Learning
Federated Learning cybersecurity solutions
LLM-based Anomaly Detection
LLM-based Malware Detection and Classification
Secure Deployment of LLM-based Security Solutions
AI for Hardware-Based Attacks
AI-based Vulnerability Assessment and Patch Prioritization
Zero-Day Attack Detection Using AI-based Techniques
Ethical and Regulatory Considerations in AI-based Security
Reinforcement Learning-based Cybersecurity Solutions

Разработка приложений на базе LLM

Безопасные шаблоны и методы проектирования для команд, разрабатывающих приложения на базе LLM

Этот ресурс предоставляет безопасные шаблоны проектирования и практики для команд, разрабатывающих приложения на базе LLM. Каждый раздел посвящен определенному типу приложения. Для каждого типа приложения мы описываем наиболее существенные риски и предлагаем стратегии их смягчения

См. также другие публикации, посвященные LLM

Искусственный интеллект в атаке

О кибератаках с помощью систем Искусственного интеллекта

В настоящей статье рассматривается один из аспектов использования Искусственного интеллекта в кибербезопасности. Речь идет о кибератаках, которые могут совершаться с использованием систем Искусственного интеллекта (ИИ). Кибератаки с использованием ИИ можно определить как любую хакерскую операцию, которая опирается на использование механизмов ИИ. Другой используемый термин – наступательный ИИ. Кибератаки, основанные на ИИ, несомненно, меняют ландшафт кибербезопасности. В первую очередь, здесь необходимо говорить о скорости реализации атак и их масштабировании. Кибератаки, основанные на ИИ, включают использование передовых алгоритмов машинного обучения для выявления уязвимостей, прогнозирования закономерностей и использования слабых мест. Эффективность и быстрый анализ данных расширяют возможности хакеров по получению тактического преимущества, что приводит к быстрым вторжениям или уничтожению данных. Традиционных методов кибербезопасности больше недостаточно для борьбы со сложными атаками, поскольку кибератаки с использованием ИИ адаптируются и развиваются в режиме реального времени. Кроме того, внедрение систем ИИ в киберзащите порождает новые риски. Системы ИИ сами становятся объектами состязательных атак. В статье рассмотрены общие вопросы организации кибератак с использованием ИИ, приведены таксномия и примеры таких атак.

Отсюда

SQL вопросы

Вопросы для интервью по SQL

Атака или сдвиг концепций?

Как отличить состязательные атаки от сдвига концепций

"Модели машинного обучения (МО) все чаще применяются для разработки систем обнаружения вторжений (IDS). Такие модели обычно обучаются на больших, разнообразных наборах данных. В результате они демонстрируют отличную производительность на ранее невиданных образцах, при условии, что они, как правило, находятся в пределах распределения обучающих данных. Однако, поскольку операционные среды и ландшафт угроз со временем меняются (например, установка новых приложений, обнаружение нового вредоносного ПО), базовые распределения смоделированного поведения также меняются, что приводит к ухудшению производительности IDS на основе МО с течением времени. Такой сдвиг в распределении называется дрейфом концепций. Модели периодически переобучаются с использованием новых собранных данных для учета дрейфа концепций.

Данные, отобранные для переобучения, также могут содержать состязательные образцы, т. е. образцы, которые злоумышленник изменил, чтобы обойти IDS на основе МО. Такие состязательные образцы, если их включить для переобучения, отравят модель и впоследствии ухудшат ее производительность. Концептуальный дрейф и состязательные образцы считаются образцами вне распределения, которые не могут быть легко дифференцированы обученной моделью. Таким образом, необходим интеллектуальный мониторинг входных данных модели, чтобы различать эти два класса образцов вне распределения. В статье мы рассматриваем наихудшую обстановку для защитника, в которой исходная система обнаружения вторжений на основе машинного обучения отравлена ​​через механизм вне диапазона. Мы предлагаем подход, который возмущает входной образец при различных величинах шума и наблюдает за изменением выходных данных отравленной модели, чтобы определить, является ли входной образец состязательным. Мы оцениваем этот подход в двух условиях: сетевая IDS и система обнаружения вредоносных программ Android. Затем мы сравниваем его с существующими методами, которые обнаруживают либо концептуальный дрейф, либо состязательные образцы. Предварительные результаты показывают, что предлагаемый подход обеспечивает сильные сигналы для дифференциации между состязательными и концептуальными дрейфовыми образцами. Кроме того, мы показываем, что методы, которые обнаруживают только дрейф концепций или только состязательные образцы, недостаточны для обнаружения другого класса образцов, находящихся вне распределения."

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Анти-фишинг LLM

Использование LLM для определения фишинговых страниц

"В этой работе мы предпринимаем шаги для изучения эффективности больших языковых моделей (LLM), в частности, мультимодальных LLM, при обнаружении фишинговых веб-страниц. Учитывая, что LLM предварительно обучены на большом массиве данных, мы стремимся использовать их понимание различных аспектов веб-страницы (логотип, тема, иконка и т. д.) для идентификации бренда данной веб-страницы и сравнения идентифицированного бренда с доменным именем в URL-адресе для обнаружения фишинговой атаки. Мы предлагаем двухфазную систему, использующую LLM на обоих этапах: первый этап фокусируется на идентификации бренда, а второй проверяет домен. Мы проводим комплексные оценки на недавно собранном наборе данных. Наши эксперименты показывают, что система на основе LLM достигает высокого уровня обнаружения при высокой точности; что важно, она также предоставляет интерпретируемые доказательства для решений. Наша система также работает значительно лучше, чем современная система обнаружения фишинга на основе бренда, демонстрируя при этом устойчивость к двум известным состязательным атакам."

см. также другие публикации по теме фишинг

Атаки вывода: таксономия, обзор и перспективные направления

Inference Attacks: A Taxonomy, Survey, and Promising Directions

"Процветание машинного обучения также вызвало у людей беспокойство по поводу конфиденциальности данных. Среди них атаки вывода могут реализовывать нарушения конфиденциальности в различных сценариях MLaaS и фазах обучения/прогнозирования модели. В частности, атаки вывода могут выполнять вывод конфиденциальности на нераскрытых целевых обучающих наборах на основе выходных данных целевой модели, включая, помимо прочего, статистику, членство, семантику, представление данных и т. д. Кроме того, быстрое развитие сообщества машинного обучения в последние годы, особенно всплеск типов моделей и сценариев применения, еще больше стимулировало исследования атак вывода. Таким образом, изучение атак вывода и их глубокий анализ являются неотложными и значительными. Однако все еще существует пробел в систематическом обсуждении атак вывода с точки зрения таксономии, глобальной перспективы, атак и защиты. Также мы анализируем плюсы и минусы каждого типа атаки вывода, их рабочий процесс, контрмеры и то, как они взаимодействуют с другими атаками. В конце мы указываем несколько перспективных направлений для исследователей с более всеобъемлющей и новой точки зрения"

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Атаки на табличные данные

Исследование незаметности состязательных модификаций для табличных данных

Состязательные атаки представляют потенциальную угрозу для моделей машинного обучения, вызывая неверные прогнозы посредством незаметных возмущений входных данных. Хотя эти атаки были тщательно изучены в неструктурированных данных, таких как изображения, применение их к структурированным данным, таким как табличные данные, представляет новые проблемы. Эти проблемы возникают из-за присущей неоднородности и сложных взаимозависимостей признаков в табличных данных, которые отличаются от характеристик данных изображений. Чтобы учесть это различие, необходимо установить индивидуальные критерии незаметности, специфичные для табличных данных. Однако в настоящее время отсутствует стандартизированная метрика для оценки незаметности состязательных атак на табличные данные. Чтобы устранить этот пробел, мы предлагаем набор ключевых свойств и соответствующих метрик, предназначенных для всесторонней характеристики незаметных состязательных атак на табличные данные. К ним относятся: близость к исходным входным данным, разреженность измененных признаков, отклонение от исходного распределения данных, чувствительность к возмущенным признакам с узким распределением, неизменность определенных признаков, которые должны оставаться неизменными, осуществимость определенных значений признаков, которые не должны выходить за пределы допустимых практических диапазонов, и взаимозависимости признаков, фиксирующие сложные отношения между атрибутами данных. Мы оцениваем незаметность пяти состязательных атак, включая как ограниченные, так и неограниченные атаки, на табличных данных, используя предлагаемые метрики незаметности. Результаты показывают компромисс между незаметностью и эффективностью этих атак. Исследование также выявляет ограничения в текущих алгоритмах атак, предлагая идеи, которые могут направлять будущие исследования в этой области. Результаты, полученные в результате этого эмпирического анализа, дают ценное направление для улучшения разработки алгоритмов состязательных атак, тем самым продвигая состязательное машинное обучение на табличных данных."

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Фейк или нет?

Интересный обзор: состязательные атаки на детекцию генерации изображений

"Недавние достижения в области синтеза изображений, особенно с появлением моделей GAN и Diffusion, усилили общественную обеспокоенность относительно распространения дезинформации. Для решения таких проблем были предложены многочисленные детекторы изображений, сгенерированных ИИ (AIGI), которые достигли многообещающих результатов в идентификации поддельных изображений. Однако до сих пор отсутствует систематическое понимание устойчивости детекторов AIGI к состязательным атакам. В этой статье мы рассматриваем уязвимость современных детекторов AIGI к соперничающим атакам в условиях белого и черного ящика, которая до сих пор редко исследовалась. Для задачи обнаружения AIGI мы предлагаем новую атаку, содержащую две основные части. Во-первых, вдохновленные очевидной разницей между реальными изображениями и поддельными изображениями в частотной области, мы добавляем возмущения в частотной области, чтобы отодвинуть изображение от его исходного распределения частот. Во-вторых, мы исследуем полное апостериорное распределение суррогатной модели, чтобы еще больше сократить этот разрыв между разнородными моделями, например, перенося состязательные примеры через CNN и ViT. Это достигается путем введения новой пост-обученной байесовской стратегии, которая превращает один суррогат в байесовскую, способную моделировать различные модели жертв с использованием одного предварительно обученного суррогата, без необходимости повторного обучения. Мы называем наш метод частотной пост-обученной байесовской атакой, или FPBA. С помощью FPBA мы показываем, что состязательная атака действительно представляет реальную угрозу для детекторов AIGI, поскольку FPBA может проводить успешные атаки черного ящика по моделям, генераторам, методам защиты и даже обходить обнаружение перекрестного генератора, что является критически важным сценарием обнаружения в реальном мире. Код будет предоставлен после принятия"

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Фишинговый генератор

Создание фишинговых страниц для тестирования детекторов

"Фишинговые атаки пытаются обмануть пользователей, что представляет собой значительную угрозу кибербезопасности. Достижения в области машинного обучения (ML) и глубокого обучения (DL) привели к разработке многочисленных решений по обнаружению фишинговых веб-страниц, но эти модели остаются уязвимыми для состязательных атак. Оценка их устойчивости к состязательным фишинговым веб-страницам имеет важное значение. Существующие инструменты содержат наборы данных предварительно разработанных фишинговых веб-страниц для ограниченного числа брендов и не имеют разнообразия в фишинговых функциях.

Для решения этих проблем мы разрабатываем PhishOracle, инструмент, который генерирует состязательные фишинговые веб-страницы путем внедрения различных фишинговых функций в легитимные веб-страницы. Мы оцениваем надежность двух существующих моделей, Stack model и Phishpedia, при классификации созданных PhishOracle состязательных фишинговых веб-страниц. Кроме того, мы изучаем коммерческую большую языковую модель Gemini Pro Vision в контексте состязательных атак. Мы проводим исследование пользователей, чтобы определить, обманывают ли пользователей вредоносные фишинговые веб-страницы, созданные PhishOracle. Наши результаты показывают, что многие фишинговые веб-страницы, созданные PhishOracle, обходят текущие модели обнаружения фишинговых веб-страниц и обманывают пользователей, но Gemini Pro Vision устойчив к атакам. Мы также разрабатываем веб-приложение PhishOracle, позволяющее пользователям вводить законный URL, выбирать соответствующие фишинговые функции и создавать соответствующую фишинговую веб-страницу. Все ресурсы общедоступны на GitHub"

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Биометрические риски

Биометрия и состязательные атаки - оценка рисков. Есть хорошие сводные материалы по противодействию состязательным атакам

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Бэкдор и физические атаки

Интересная работа: On the Credibility of Backdoor Attacks Against Object Detectors in the Physical World

"мы провели обширное эмпирическое исследование, нацеленное на несколько архитектур детекторов и две сложные задачи обнаружения в реальных условиях: дорожные знаки и транспортные средства. Используя разнообразные, методично собранные видео, снятые с вождения автомобилей и летающих дронов, включая развертывание триггеров физических объектов в аутентичных сценах, мы исследовали жизнеспособность атак бэкдоров, запускаемых физическими объектами, в настройках приложений. Наши результаты выявили 8 ключевых идей. Важно отметить, что распространенный метод отравления «цифровых» данных для внедрения бэкдоров в модели не приводит к эффективным атакам на детекторы в реальном мире, хотя и доказал свою эффективность в задачах классификации. Мы создаем новый, экономически эффективный метод атаки, названный Morphing, включающий уникальную природу задач обнаружения; наш метод удивительно успешен во внедрении бэкдоров, запускаемых физическими объектами, даже способен отравлять триггеры с чистыми аннотациями или невидимыми триггерами, не уменьшая успешность бэкдоров, запускаемых физическими объектами. Мы обнаружили, что подобранные средства защиты плохо оснащены для защиты детекторов от таких атак. Чтобы подчеркнуть серьезность угрозы и способствовать дальнейшему исследованию, мы впервые публикуем обширный набор видеотестов реальных атак через бэкдор. Наше исследование не только подтверждает достоверность и серьезность этой угрозы, но и служит громким призывом к исследовательскому сообществу развивать защиту через бэкдор в контексте обнаружения объектов."

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Физические атаки в автовождении

Stealthy and Effective Physical Adversarial Attacks in Autonomous Driving

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Атака замены слов

Word-level Adversarial Attacks with Large Language Models. Как их правильно делать :)

См. также другие публикации, посвященные LLM

Обманчивая диффузия

Deceptive diffusion - генерация состязательных примеров

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Правила зависимости

Causal Inference: Семь основных правил причинно-следственной связи

см. также другие публикации, посвященные каузальности

Фишинговая почта

Хороший обзор и новые метод определения фишинговых писем

см. также другие публикации по теме фишинг

Поиск патчей

Интересная идея по поиску состязательных патчей на изображениях: cостязательные патчи должны содержать статистически большее количество информации, с точки зрения теории информации, по сравнению с любой случайной окрестностью из естественного распределения изображений. Поэтому можно использовать энтропию Шеннона в качестве индикатора кандидатов на состязательные патчи. Отсюда: Tarchoun, Bilel, et al. "An information-theoretic perspective of physical adversarial patches." Neural Networks (2024): 106590.

Вот репозиторий.

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Атаки на мультимодальную биометрию

Разспознаем человека по лицу и походке - и строим состязательные атаки на такое распознавание

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Инверсия для LLM

Интересная задача: если мы знаем вывод LLM, то каков был вход?

См. также другие публикации, посвященные LLM

Отравление кластеров

Атаки отравления на алгоритмы кластеризации

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Безопасный ИИ

sAIfer Lab. Интересные проекты

ELSA AI

Европейский проект ELSA – European Lighthouse on Secure and Safe AI

Отравление логов

Отравление журналов — это кибератака, при которой злоумышленники манипулируют файлами журналов систем, чтобы скрыть свою деятельность или выполнить вредоносные коды. В этой статье представлено тщательное исследование атак отравления журналов с упором на демонстрацию методологий, применяемых к распространенным платформам Интернета вещей (IoT), таким как Raspberry Pi. - отсюда

О микросервисах

Отчет по шифровальщикам

Ransomware and Data Extortion

Шире шаг !

Интересная илея - пьезоэлектрическая пластина в подошвах солдатских ботинок. Вырабатывает энергию для носимых гаджетов. Ходьба в течение 1 часа со скоростью 40 шагов в минуту приводит к получению 2,1 Дж энергии, чего достаточно для питания устройства с напряжением 3,3 В, потребляющего 10 мА в течение примерно минуты.

Как искать в больших данных

Дифференциальный поисковый индекс (DSI) извлечения текста

Replay атаки

Практическая работа: Replay Attack Detection for Cyber-Physical Control Systems: A Dynamical Delay Estimation Method

Семантический поиск

Практическая статья по реализации семантического поиска на открытых инструментах:

Как использовать LLM для создания семантически насыщенных описаний эмодзи
Как использовать Hugging Face Transformers для многоязычных вложений
Как интегрировать векторную базу данных Qdrant для выполнения эффективного семантического поиска

YOLO8 в военных целях

Использование YOLO8 для распознавания военных целей

Art-атаки

Атаки на LLM с помощью ASCII кодов

См. также другие публикации, посвященные LLM

Патчи в динамике

Атаки патчами - известная история в распознавании изображений с помощью нейронных сетей. А вот здесь расчитывают эти патчи с учетом реального угла обзора, что увеличивает успешность атак.

Атаки на модели машинного обучения

This research delves into the cybersecurity implications of neural network training in cloud-based services. Despite their recognition for solving IT problems, the resource-intensive nature of neural network training poses challenges, leading to increased reliance on cloud services. However, this dependence introduces new cybersecurity risks. The study focuses on a novel attack method exploiting neural network weights to discreetly distribute hidden malware. It explores seven embedding methods and four trigger types for malware activation. Additionally, the paper introduces an open-source framework automating code injection into neural network weight parameters, allowing researchers to investigate and counteract this emerging attack vector. - from this paper

Полный текст доступен по этой ссылке: https://rdcu.be/dQbLH

Атака по побочным каналам

Восстановление сигнала по прослушке HDMI

Атаки на авто-программистов

Атака отравления на модели завершения кода (code completion). И выполняется эта атака с помощью LLM.

См. также другие публикации, посвященные LLM

Атака на классификатор

Атака черного ящика на классификатор вредоносного ПО

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Не очень умные

Критический анализ смарт-контрактов в блокчейн. Кто-то должен был сказать, что это сущий ужас, с точки зрения кибербезопасности.

DevOps для дата сайентистов

Книга в открытом доступе: DevOps for Data Science

Большая языковая ложь

Сомнительные практики при тестировании LLM: "Оценка современных моделей МО — сложная задача. Сильный стимул для исследователей и компаний сообщать о передовых результатах по некоторым показателям часто приводит к сомнительным исследовательским практикам (QRP): плохим практикам, которые не дотягивают до откровенного мошенничества в исследованиях. Мы описываем 43 таких практики, которые могут подорвать представленные результаты, приводя примеры, где это возможно. В нашем списке особое внимание уделяется оценке больших языковых моделей (LLM) по публичным эталонам. Мы также обсуждаем «невоспроизводимые исследовательские практики», т. е. решения, которые затрудняют или делают невозможным для других исследователей воспроизведение, развитие или проверку предыдущих исследований."

См. также другие публикации, посвященные LLM

Обманчивая диффузия

Генерация синтетических состязательных примеров

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Про фишинг

Сравнительный анализ алгоритмов определения фишинговых сайтов

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Невиданные атаки

Подборка статей - робастность по отношению к неизвестным атакам. Атаки по Lp норме могут не очень реалистичны. Атакующий не обязан связывать себя ограничениями

со страницы Jacob Steinhardt

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

AI агенты для LLM

Архитектурная модель для агентов, которые улучшают ответы LLM. Смысл - в уточнении ответов LLM

См. также другие публикации, посвященные LLM

Доменные атаки LLM

Состязательные атаки на LLM в медицине. Цель - заставить систему выдавать неверные рекомендации. Авторы показали успешное проведение атак как через состязательные промпты, так и через тонкую настройку (атакующий дообучает LLM, которую будут использовать пользователи)

См. также другие публикации, посвященные LLM

Под атакой

Состязательный детектор HOLMES (Hierarchically Organized Light-weight Multiple dEtector System). Состязательные примеры обрабатываются не так, как обычные. На этой идее основан детектор - обучен на логитах контролируемой сети и может предупреждать, что на вход был подан состязательный образец. Авторы заметили, что состязательные примеры, сгенерированные различными алгоритмами, можно идентифицировать на основе выходных данных DNN (логитов). Logit может служить внешним элементом для обучения детекторов.

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

ЖД безопасность

Кибербезопасность на железных дорогах - хороший обзор

Анализ код

Анализ кода с помощью LLM

Проверь себя

Простые (и не очень) задачи для программирования на Python из области ML

См. также другие публикации, посвященные Python

Большая болтовня

Алгоритмический подход к определению присутствия конфабуляции (реальных и ложных фактов) в ответах LLM

См. также другие публикации, посвященные LLM

Объяснимость, интерпретируемость и наблюдаемость

Объяснимость, интерпретируемость и наблюдаемость в машинном обучении

Три ключевых термина — объяснимость, интерпретируемость и наблюдаемость — широко признаны как составляющие прозрачности модели машинного обучения.

Объяснимость не имеет стандартного определения, а скорее общепринято относится к «движению, инициативам и усилиям, предпринимаемым в ответ на проблемы прозрачности и доверия ИИ». Объяснимая модель должна быть способна «(i) [предоставлять] основные функции, используемые для принятия решения, (ii) [предоставлять] все обработанные функции, ( iii) [предоставить] исчерпывающее объяснение решения и (iv) [обеспечить] понятное представление всей модели». Они определили объяснительность как предоставление «значимой информации о том, как принимается конкретное решение», что требует «хода мыслей, который может сделать решение значимым для пользователя (т. е. чтобы решение имело для него смысл)». Таким образом, объяснимость относится к пониманию внутренней логики и механики модели, лежащей в основе решения.

Интерпретируемость часто считается аналогом объяснимости и обычно используется как синоним. Однако широко распространено мнение, что интерпретируемость означает способность понять общее решение на основе входных данных, не требуя полного понимания того, как модель произвела выходные данные. Таким образом, интерпретируемость считается более широким термином, чем объяснимость. Интерпретируемость - «способность объяснять или представлять человеку в понятных терминах». Другое популярное определение интерпретируемости — это «степень, в которой человек может понять причину решения»
На практике интерпретируемая модель может быть такой, которая способна предсказать, что изображения домашних питомцев являются животными на основании идентифицируемых закономерностей и особенностей (например, наличия меха). Однако этой модели не хватает человеческого понимания внутренней логики или процессов, которые сделали бы модель объяснимой.
Хотя многие исследователи используют понятность и объяснимость в одном и том же контексте, объяснимость обычно относится к более глубокому пониманию внутренней работы модели.

Наблюдаемость машинного обучения — это понимание того, насколько хорошо модель машинного обучения работает в производстве. Наблюдаемость - «средство измерения и понимания состояния системы посредством выходных данных системы», это «необходимая практика для эксплуатации системы и инфраструктуры, от которых будет зависеть надежность». Наблюдение направлено на решение основной проблемы, заключающейся в том, что модель, которая отлично работает в исследованиях и разработках, может быть не такой точной при развертывании. Это несоответствие часто связано с такими факторами, как различия между реальными данными, с которыми сталкивается модель, и историческими данными, на которых она изначально обучалась. Поэтому крайне важно поддерживать непрерывный мониторинг вводимых данных и производительности модели. В отраслях, где решаются важные вопросы, гарантия того, что модель будет работать так, как ожидается, является важнейшим условием ее внедрения.
Наблюдаемость — ключевой аспект поддержания производительности модели в реальных условиях.
Наблюдаемость состоит из двух основных методов: мониторинга и объяснимости.

Бэкдоры в LLM - 2

Еще один подробный обзор по бэкдорам в LLM

См. также другие публикации, посвященные LLM

Масштабирование баз данных

Отсюда

MLL

Хороший обзор: Multi-Label learning. Вполне реальная ситуация, когда, например, медицинский классификатор может диагностировать несколько заболеваний сразу. Несколько классов (меток). MLL - это как раз об этом.

Кибербезопасность в Умном городе

Хороший и подробный обзор Smart Cities’ Cybersecurity and IoT: Challenges and Future Research Directions

Security Engineering

Книга Ross Anderson Security Engineering: A Guide to Building Dependable Distributed Systems

Чужое лицо

Состязательные атаки на системы распознавания лиц, которые проходят системы защиты (Face Anti-spoofing)

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Бэкдоры в LLM

Интересный обзор - трояны в LLM

См. также другие публикации, посвященные LLM

Бэкдоры с чистой меткой

Бэкдор атаки с чистой меткой в языковых моделях

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Мультимодальный ML

Как работает мультимодальное машинной обучение

Оранжевая книга ML

Оранжевая книга машинного обучения. Основы прогнозирования с использованием контролируемой регрессии и классификации табличных данных.

AI агенты

Что такое ИИ агенты и как они работают. На самом деле - как будут (должны) работать

Надежность ML моделей

Реально ли это оценить? Большинство существующих работ рассматривает надежность моделей ML как процесс. Иными словами - описывают, что делать, чтобы модель была надежной (более надежной). А вот как получить какие-либо метрики? В данной статье рассматривается идея таких метрик для табличных данных The quest for the reliability of machine learning models in binary classification on tabular data

INJOIT в Ленинке

Сайт Киберленинки ожил и выложил три номера журнала INJOIT: май, июнь, июль. Кому удобнее - читайте там.

Качество данных

Хороший и подробный обзор On the data quality and imbalance in machine learning-based design and manufacturing—A systematic review

LLM в кибербезопасности

Хороший (и свежий) обзор по использованию LLM в кибербезопасности Large Language Models in Cybersecurity: State-of-the-Art

См. также другие публикации, посвященные LLM

INJOIT том 12, номер 7

Вышел седьмой номер журнала INJOIT в 2024 году. И двенадцатый год издания журнала.

Темы статей:

• Гибридные модели предиктивной аналитики в креативной индустрии
• Semantic Data Fragmentation for Identification of Covariant Conceptual Drift in Machine Learning Models
• Prod2Query: решение проблемы холодного старта продаж для электронной коммерции с помощью генеративного языкового моделирования
• Hybrid Naive Bayes TF-IDF Algorithm and Lexicon Approach for Sentiment Analysis of Reviews
• On the optimal scheme of the possible three predictors in discrete optimization problems using decision-making algorithms
• Метод Построения Модели Пространства Автономных Транспортных Средств
• Анализ LSTM и GRU моделей для построения прогнозов временных рядов
• О болезни Паркинсона и ее математических моделях
• Применение нейронных сетей для обнаружения аномального трафика в сетях Интернета вещей
• On the possibility of increasing the noise immunity of OFDM telecommunication systems using fractional Fourier transforms
• Оптимальное распределение вычислительных ресурсов для реализации сервисов цифровых валют центральных банков
• A Framework for Cloud Migration in Academic Institutions
• Метод полной интуиционистской нечеткой кластеризации C-средних
• Данные телеметрии как фактор минимизации экологических последствий лесозаготовок
• Biometric Based Recognition Systems - An Overview
• Анализ тенденций развития цифровых двойников нового поколения
• Toward Eradication of Phishing Attacks in E-government Systems
• Состязательные атаки для автономных транспортных средств

/via Лаборатория ОИТ

Архив журнала находится здесь.

Состязательные атаки на беспилотный транспорт

В данной статье рассматриваются состязательные атаки, направленные на модели машинного (глубокого) обучения, используемых в автономных транспортных средствах. Системы Искусственного интеллекта (машинного обучения) играют определяющую роль в функционировании беспилотных автомобилей. В то же самое время, все системы машинного обучения подвержены так называемым состязательным атакам, когда атакующий сознательно модифицирует данные так, чтобы обмануть алгоритмы работы таких систем, затруднить их работу (понизить качество работы) или добиться желаемого атакующим поведения. Состязательные атаки представляют собой большую проблему для систем машинного обучения, особенно при использовании последних в критических областях, таких как автоматическое вождение. Состязательные атаки представляют собой проблему для функционального тестирования – есть данные, на которых система работает неверно (вообще не работает, работает с низким качеством). Для систем автономного транспорта такие атаки могут осуществляться в физической форме, когда модифицируются реальные объекты, захватываемые сенсорами транспортного средства, создаются фиктивные объекты и т.д. В настоящей статье приводится обзор состязательных атак на беспилотные транспортные средства, где основное внимание уделено именно физическим атакам. - отсюда

Паттерны движения

Интересная работа по определению шаблонов движения в городе. Использование транспорта - это метрика, которая отражает социально-экономические процессы в городе.

Атака для защиты

Интересная но спорная идея. Авторы хотят определеять отравлена модель или нет, атаковав ее в режиме черного ящика. Предполагается, что отравленные модели более чувствительны к атакам.

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Автоматизация атак вывода

Хороший обзор - атаки вывода (inference) как сервис

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению