Атаки на табличные данные

Исследование незаметности состязательных модификаций для табличных данных

Состязательные атаки представляют потенциальную угрозу для моделей машинного обучения, вызывая неверные прогнозы посредством незаметных возмущений входных данных. Хотя эти атаки были тщательно изучены в неструктурированных данных, таких как изображения, применение их к структурированным данным, таким как табличные данные, представляет новые проблемы. Эти проблемы возникают из-за присущей неоднородности и сложных взаимозависимостей признаков в табличных данных, которые отличаются от характеристик данных изображений. Чтобы учесть это различие, необходимо установить индивидуальные критерии незаметности, специфичные для табличных данных. Однако в настоящее время отсутствует стандартизированная метрика для оценки незаметности состязательных атак на табличные данные. Чтобы устранить этот пробел, мы предлагаем набор ключевых свойств и соответствующих метрик, предназначенных для всесторонней характеристики незаметных состязательных атак на табличные данные. К ним относятся: близость к исходным входным данным, разреженность измененных признаков, отклонение от исходного распределения данных, чувствительность к возмущенным признакам с узким распределением, неизменность определенных признаков, которые должны оставаться неизменными, осуществимость определенных значений признаков, которые не должны выходить за пределы допустимых практических диапазонов, и взаимозависимости признаков, фиксирующие сложные отношения между атрибутами данных. Мы оцениваем незаметность пяти состязательных атак, включая как ограниченные, так и неограниченные атаки, на табличных данных, используя предлагаемые метрики незаметности. Результаты показывают компромисс между незаметностью и эффективностью этих атак. Исследование также выявляет ограничения в текущих алгоритмах атак, предлагая идеи, которые могут направлять будущие исследования в этой области. Результаты, полученные в результате этого эмпирического анализа, дают ценное направление для улучшения разработки алгоритмов состязательных атак, тем самым продвигая состязательное машинное обучение на табличных данных."

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Фейк или нет?

Интересный обзор: состязательные атаки на детекцию генерации изображений

"Недавние достижения в области синтеза изображений, особенно с появлением моделей GAN и Diffusion, усилили общественную обеспокоенность относительно распространения дезинформации. Для решения таких проблем были предложены многочисленные детекторы изображений, сгенерированных ИИ (AIGI), которые достигли многообещающих результатов в идентификации поддельных изображений. Однако до сих пор отсутствует систематическое понимание устойчивости детекторов AIGI к состязательным атакам. В этой статье мы рассматриваем уязвимость современных детекторов AIGI к соперничающим атакам в условиях белого и черного ящика, которая до сих пор редко исследовалась. Для задачи обнаружения AIGI мы предлагаем новую атаку, содержащую две основные части. Во-первых, вдохновленные очевидной разницей между реальными изображениями и поддельными изображениями в частотной области, мы добавляем возмущения в частотной области, чтобы отодвинуть изображение от его исходного распределения частот. Во-вторых, мы исследуем полное апостериорное распределение суррогатной модели, чтобы еще больше сократить этот разрыв между разнородными моделями, например, перенося состязательные примеры через CNN и ViT. Это достигается путем введения новой пост-обученной байесовской стратегии, которая превращает один суррогат в байесовскую, способную моделировать различные модели жертв с использованием одного предварительно обученного суррогата, без необходимости повторного обучения. Мы называем наш метод частотной пост-обученной байесовской атакой, или FPBA. С помощью FPBA мы показываем, что состязательная атака действительно представляет реальную угрозу для детекторов AIGI, поскольку FPBA может проводить успешные атаки черного ящика по моделям, генераторам, методам защиты и даже обходить обнаружение перекрестного генератора, что является критически важным сценарием обнаружения в реальном мире. Код будет предоставлен после принятия"

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Фишинговый генератор

Создание фишинговых страниц для тестирования детекторов

"Фишинговые атаки пытаются обмануть пользователей, что представляет собой значительную угрозу кибербезопасности. Достижения в области машинного обучения (ML) и глубокого обучения (DL) привели к разработке многочисленных решений по обнаружению фишинговых веб-страниц, но эти модели остаются уязвимыми для состязательных атак. Оценка их устойчивости к состязательным фишинговым веб-страницам имеет важное значение. Существующие инструменты содержат наборы данных предварительно разработанных фишинговых веб-страниц для ограниченного числа брендов и не имеют разнообразия в фишинговых функциях.

Для решения этих проблем мы разрабатываем PhishOracle, инструмент, который генерирует состязательные фишинговые веб-страницы путем внедрения различных фишинговых функций в легитимные веб-страницы. Мы оцениваем надежность двух существующих моделей, Stack model и Phishpedia, при классификации созданных PhishOracle состязательных фишинговых веб-страниц. Кроме того, мы изучаем коммерческую большую языковую модель Gemini Pro Vision в контексте состязательных атак. Мы проводим исследование пользователей, чтобы определить, обманывают ли пользователей вредоносные фишинговые веб-страницы, созданные PhishOracle. Наши результаты показывают, что многие фишинговые веб-страницы, созданные PhishOracle, обходят текущие модели обнаружения фишинговых веб-страниц и обманывают пользователей, но Gemini Pro Vision устойчив к атакам. Мы также разрабатываем веб-приложение PhishOracle, позволяющее пользователям вводить законный URL, выбирать соответствующие фишинговые функции и создавать соответствующую фишинговую веб-страницу. Все ресурсы общедоступны на GitHub"

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Биометрические риски

Биометрия и состязательные атаки - оценка рисков. Есть хорошие сводные материалы по противодействию состязательным атакам

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Бэкдор и физические атаки

Интересная работа: On the Credibility of Backdoor Attacks Against Object Detectors in the Physical World

"мы провели обширное эмпирическое исследование, нацеленное на несколько архитектур детекторов и две сложные задачи обнаружения в реальных условиях: дорожные знаки и транспортные средства. Используя разнообразные, методично собранные видео, снятые с вождения автомобилей и летающих дронов, включая развертывание триггеров физических объектов в аутентичных сценах, мы исследовали жизнеспособность атак бэкдоров, запускаемых физическими объектами, в настройках приложений. Наши результаты выявили 8 ключевых идей. Важно отметить, что распространенный метод отравления «цифровых» данных для внедрения бэкдоров в модели не приводит к эффективным атакам на детекторы в реальном мире, хотя и доказал свою эффективность в задачах классификации. Мы создаем новый, экономически эффективный метод атаки, названный Morphing, включающий уникальную природу задач обнаружения; наш метод удивительно успешен во внедрении бэкдоров, запускаемых физическими объектами, даже способен отравлять триггеры с чистыми аннотациями или невидимыми триггерами, не уменьшая успешность бэкдоров, запускаемых физическими объектами. Мы обнаружили, что подобранные средства защиты плохо оснащены для защиты детекторов от таких атак. Чтобы подчеркнуть серьезность угрозы и способствовать дальнейшему исследованию, мы впервые публикуем обширный набор видеотестов реальных атак через бэкдор. Наше исследование не только подтверждает достоверность и серьезность этой угрозы, но и служит громким призывом к исследовательскому сообществу развивать защиту через бэкдор в контексте обнаружения объектов."

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Физические атаки в автовождении

Stealthy and Effective Physical Adversarial Attacks in Autonomous Driving

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Атака замены слов

Word-level Adversarial Attacks with Large Language Models. Как их правильно делать :)

См. также другие публикации, посвященные LLM

Обманчивая диффузия

Deceptive diffusion - генерация состязательных примеров

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Правила зависимости

Causal Inference: Семь основных правил причинно-следственной связи

см. также другие публикации, посвященные каузальности

Фишинговая почта

Хороший обзор и новые метод определения фишинговых писем

см. также другие публикации по теме фишинг

Поиск патчей

Интересная идея по поиску состязательных патчей на изображениях: cостязательные патчи должны содержать статистически большее количество информации, с точки зрения теории информации, по сравнению с любой случайной окрестностью из естественного распределения изображений. Поэтому можно использовать энтропию Шеннона в качестве индикатора кандидатов на состязательные патчи. Отсюда: Tarchoun, Bilel, et al. "An information-theoretic perspective of physical adversarial patches." Neural Networks (2024): 106590.

Вот репозиторий.

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Атаки на мультимодальную биометрию

Разспознаем человека по лицу и походке - и строим состязательные атаки на такое распознавание

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Инверсия для LLM

Интересная задача: если мы знаем вывод LLM, то каков был вход?

См. также другие публикации, посвященные LLM

Отравление кластеров

Атаки отравления на алгоритмы кластеризации

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Безопасный ИИ

sAIfer Lab. Интересные проекты

ELSA AI

Европейский проект ELSA – European Lighthouse on Secure and Safe AI

Отравление логов

Отравление журналов — это кибератака, при которой злоумышленники манипулируют файлами журналов систем, чтобы скрыть свою деятельность или выполнить вредоносные коды. В этой статье представлено тщательное исследование атак отравления журналов с упором на демонстрацию методологий, применяемых к распространенным платформам Интернета вещей (IoT), таким как Raspberry Pi. - отсюда

О микросервисах

Отчет по шифровальщикам

Ransomware and Data Extortion

Шире шаг !

Интересная илея - пьезоэлектрическая пластина в подошвах солдатских ботинок. Вырабатывает энергию для носимых гаджетов. Ходьба в течение 1 часа со скоростью 40 шагов в минуту приводит к получению 2,1 Дж энергии, чего достаточно для питания устройства с напряжением 3,3 В, потребляющего 10 мА в течение примерно минуты.

Как искать в больших данных

Дифференциальный поисковый индекс (DSI) извлечения текста

Replay атаки

Практическая работа: Replay Attack Detection for Cyber-Physical Control Systems: A Dynamical Delay Estimation Method

Семантический поиск

Практическая статья по реализации семантического поиска на открытых инструментах:

Как использовать LLM для создания семантически насыщенных описаний эмодзи
Как использовать Hugging Face Transformers для многоязычных вложений
Как интегрировать векторную базу данных Qdrant для выполнения эффективного семантического поиска

YOLO8 в военных целях

Использование YOLO8 для распознавания военных целей

Art-атаки

Атаки на LLM с помощью ASCII кодов

См. также другие публикации, посвященные LLM

Патчи в динамике

Атаки патчами - известная история в распознавании изображений с помощью нейронных сетей. А вот здесь расчитывают эти патчи с учетом реального угла обзора, что увеличивает успешность атак.

Атаки на модели машинного обучения

This research delves into the cybersecurity implications of neural network training in cloud-based services. Despite their recognition for solving IT problems, the resource-intensive nature of neural network training poses challenges, leading to increased reliance on cloud services. However, this dependence introduces new cybersecurity risks. The study focuses on a novel attack method exploiting neural network weights to discreetly distribute hidden malware. It explores seven embedding methods and four trigger types for malware activation. Additionally, the paper introduces an open-source framework automating code injection into neural network weight parameters, allowing researchers to investigate and counteract this emerging attack vector. - from this paper

Полный текст доступен по этой ссылке: https://rdcu.be/dQbLH

Атака по побочным каналам

Восстановление сигнала по прослушке HDMI

Атаки на авто-программистов

Атака отравления на модели завершения кода (code completion). И выполняется эта атака с помощью LLM.

См. также другие публикации, посвященные LLM

Атака на классификатор

Атака черного ящика на классификатор вредоносного ПО

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Не очень умные

Критический анализ смарт-контрактов в блокчейн. Кто-то должен был сказать, что это сущий ужас, с точки зрения кибербезопасности.

DevOps для дата сайентистов

Книга в открытом доступе: DevOps for Data Science

Большая языковая ложь

Сомнительные практики при тестировании LLM: "Оценка современных моделей МО — сложная задача. Сильный стимул для исследователей и компаний сообщать о передовых результатах по некоторым показателям часто приводит к сомнительным исследовательским практикам (QRP): плохим практикам, которые не дотягивают до откровенного мошенничества в исследованиях. Мы описываем 43 таких практики, которые могут подорвать представленные результаты, приводя примеры, где это возможно. В нашем списке особое внимание уделяется оценке больших языковых моделей (LLM) по публичным эталонам. Мы также обсуждаем «невоспроизводимые исследовательские практики», т. е. решения, которые затрудняют или делают невозможным для других исследователей воспроизведение, развитие или проверку предыдущих исследований."

См. также другие публикации, посвященные LLM

Обманчивая диффузия

Генерация синтетических состязательных примеров

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Про фишинг

Сравнительный анализ алгоритмов определения фишинговых сайтов

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Невиданные атаки

Подборка статей - робастность по отношению к неизвестным атакам. Атаки по Lp норме могут не очень реалистичны. Атакующий не обязан связывать себя ограничениями

со страницы Jacob Steinhardt

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

AI агенты для LLM

Архитектурная модель для агентов, которые улучшают ответы LLM. Смысл - в уточнении ответов LLM

См. также другие публикации, посвященные LLM

Доменные атаки LLM

Состязательные атаки на LLM в медицине. Цель - заставить систему выдавать неверные рекомендации. Авторы показали успешное проведение атак как через состязательные промпты, так и через тонкую настройку (атакующий дообучает LLM, которую будут использовать пользователи)

См. также другие публикации, посвященные LLM

Под атакой

Состязательный детектор HOLMES (Hierarchically Organized Light-weight Multiple dEtector System). Состязательные примеры обрабатываются не так, как обычные. На этой идее основан детектор - обучен на логитах контролируемой сети и может предупреждать, что на вход был подан состязательный образец. Авторы заметили, что состязательные примеры, сгенерированные различными алгоритмами, можно идентифицировать на основе выходных данных DNN (логитов). Logit может служить внешним элементом для обучения детекторов.

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

ЖД безопасность

Кибербезопасность на железных дорогах - хороший обзор

Анализ код

Анализ кода с помощью LLM

Проверь себя

Простые (и не очень) задачи для программирования на Python из области ML

См. также другие публикации, посвященные Python

Большая болтовня

Алгоритмический подход к определению присутствия конфабуляции (реальных и ложных фактов) в ответах LLM

См. также другие публикации, посвященные LLM

Объяснимость, интерпретируемость и наблюдаемость

Объяснимость, интерпретируемость и наблюдаемость в машинном обучении

Три ключевых термина — объяснимость, интерпретируемость и наблюдаемость — широко признаны как составляющие прозрачности модели машинного обучения.

Объяснимость не имеет стандартного определения, а скорее общепринято относится к «движению, инициативам и усилиям, предпринимаемым в ответ на проблемы прозрачности и доверия ИИ». Объяснимая модель должна быть способна «(i) [предоставлять] основные функции, используемые для принятия решения, (ii) [предоставлять] все обработанные функции, ( iii) [предоставить] исчерпывающее объяснение решения и (iv) [обеспечить] понятное представление всей модели». Они определили объяснительность как предоставление «значимой информации о том, как принимается конкретное решение», что требует «хода мыслей, который может сделать решение значимым для пользователя (т. е. чтобы решение имело для него смысл)». Таким образом, объяснимость относится к пониманию внутренней логики и механики модели, лежащей в основе решения.

Интерпретируемость часто считается аналогом объяснимости и обычно используется как синоним. Однако широко распространено мнение, что интерпретируемость означает способность понять общее решение на основе входных данных, не требуя полного понимания того, как модель произвела выходные данные. Таким образом, интерпретируемость считается более широким термином, чем объяснимость. Интерпретируемость - «способность объяснять или представлять человеку в понятных терминах». Другое популярное определение интерпретируемости — это «степень, в которой человек может понять причину решения»
На практике интерпретируемая модель может быть такой, которая способна предсказать, что изображения домашних питомцев являются животными на основании идентифицируемых закономерностей и особенностей (например, наличия меха). Однако этой модели не хватает человеческого понимания внутренней логики или процессов, которые сделали бы модель объяснимой.
Хотя многие исследователи используют понятность и объяснимость в одном и том же контексте, объяснимость обычно относится к более глубокому пониманию внутренней работы модели.

Наблюдаемость машинного обучения — это понимание того, насколько хорошо модель машинного обучения работает в производстве. Наблюдаемость - «средство измерения и понимания состояния системы посредством выходных данных системы», это «необходимая практика для эксплуатации системы и инфраструктуры, от которых будет зависеть надежность». Наблюдение направлено на решение основной проблемы, заключающейся в том, что модель, которая отлично работает в исследованиях и разработках, может быть не такой точной при развертывании. Это несоответствие часто связано с такими факторами, как различия между реальными данными, с которыми сталкивается модель, и историческими данными, на которых она изначально обучалась. Поэтому крайне важно поддерживать непрерывный мониторинг вводимых данных и производительности модели. В отраслях, где решаются важные вопросы, гарантия того, что модель будет работать так, как ожидается, является важнейшим условием ее внедрения.
Наблюдаемость — ключевой аспект поддержания производительности модели в реальных условиях.
Наблюдаемость состоит из двух основных методов: мониторинга и объяснимости.

Бэкдоры в LLM - 2

Еще один подробный обзор по бэкдорам в LLM

См. также другие публикации, посвященные LLM

Масштабирование баз данных

Отсюда

MLL

Хороший обзор: Multi-Label learning. Вполне реальная ситуация, когда, например, медицинский классификатор может диагностировать несколько заболеваний сразу. Несколько классов (меток). MLL - это как раз об этом.

Кибербезопасность в Умном городе

Хороший и подробный обзор Smart Cities’ Cybersecurity and IoT: Challenges and Future Research Directions

Security Engineering

Книга Ross Anderson Security Engineering: A Guide to Building Dependable Distributed Systems

Чужое лицо

Состязательные атаки на системы распознавания лиц, которые проходят системы защиты (Face Anti-spoofing)

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Бэкдоры в LLM

Интересный обзор - трояны в LLM

См. также другие публикации, посвященные LLM

Бэкдоры с чистой меткой

Бэкдор атаки с чистой меткой в языковых моделях

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Мультимодальный ML

Как работает мультимодальное машинной обучение

Оранжевая книга ML

Оранжевая книга машинного обучения. Основы прогнозирования с использованием контролируемой регрессии и классификации табличных данных.

AI агенты

Что такое ИИ агенты и как они работают. На самом деле - как будут (должны) работать

Надежность ML моделей

Реально ли это оценить? Большинство существующих работ рассматривает надежность моделей ML как процесс. Иными словами - описывают, что делать, чтобы модель была надежной (более надежной). А вот как получить какие-либо метрики? В данной статье рассматривается идея таких метрик для табличных данных The quest for the reliability of machine learning models in binary classification on tabular data

INJOIT в Ленинке

Сайт Киберленинки ожил и выложил три номера журнала INJOIT: май, июнь, июль. Кому удобнее - читайте там.

Качество данных

Хороший и подробный обзор On the data quality and imbalance in machine learning-based design and manufacturing—A systematic review

LLM в кибербезопасности

Хороший (и свежий) обзор по использованию LLM в кибербезопасности Large Language Models in Cybersecurity: State-of-the-Art

См. также другие публикации, посвященные LLM

INJOIT том 12, номер 7

Вышел седьмой номер журнала INJOIT в 2024 году. И двенадцатый год издания журнала.

Темы статей:

• Гибридные модели предиктивной аналитики в креативной индустрии
• Semantic Data Fragmentation for Identification of Covariant Conceptual Drift in Machine Learning Models
• Prod2Query: решение проблемы холодного старта продаж для электронной коммерции с помощью генеративного языкового моделирования
• Hybrid Naive Bayes TF-IDF Algorithm and Lexicon Approach for Sentiment Analysis of Reviews
• On the optimal scheme of the possible three predictors in discrete optimization problems using decision-making algorithms
• Метод Построения Модели Пространства Автономных Транспортных Средств
• Анализ LSTM и GRU моделей для построения прогнозов временных рядов
• О болезни Паркинсона и ее математических моделях
• Применение нейронных сетей для обнаружения аномального трафика в сетях Интернета вещей
• On the possibility of increasing the noise immunity of OFDM telecommunication systems using fractional Fourier transforms
• Оптимальное распределение вычислительных ресурсов для реализации сервисов цифровых валют центральных банков
• A Framework for Cloud Migration in Academic Institutions
• Метод полной интуиционистской нечеткой кластеризации C-средних
• Данные телеметрии как фактор минимизации экологических последствий лесозаготовок
• Biometric Based Recognition Systems - An Overview
• Анализ тенденций развития цифровых двойников нового поколения
• Toward Eradication of Phishing Attacks in E-government Systems
• Состязательные атаки для автономных транспортных средств

/via Лаборатория ОИТ

Архив журнала находится здесь.

Состязательные атаки на беспилотный транспорт

В данной статье рассматриваются состязательные атаки, направленные на модели машинного (глубокого) обучения, используемых в автономных транспортных средствах. Системы Искусственного интеллекта (машинного обучения) играют определяющую роль в функционировании беспилотных автомобилей. В то же самое время, все системы машинного обучения подвержены так называемым состязательным атакам, когда атакующий сознательно модифицирует данные так, чтобы обмануть алгоритмы работы таких систем, затруднить их работу (понизить качество работы) или добиться желаемого атакующим поведения. Состязательные атаки представляют собой большую проблему для систем машинного обучения, особенно при использовании последних в критических областях, таких как автоматическое вождение. Состязательные атаки представляют собой проблему для функционального тестирования – есть данные, на которых система работает неверно (вообще не работает, работает с низким качеством). Для систем автономного транспорта такие атаки могут осуществляться в физической форме, когда модифицируются реальные объекты, захватываемые сенсорами транспортного средства, создаются фиктивные объекты и т.д. В настоящей статье приводится обзор состязательных атак на беспилотные транспортные средства, где основное внимание уделено именно физическим атакам. - отсюда

Паттерны движения

Интересная работа по определению шаблонов движения в городе. Использование транспорта - это метрика, которая отражает социально-экономические процессы в городе.

Атака для защиты

Интересная но спорная идея. Авторы хотят определеять отравлена модель или нет, атаковав ее в режиме черного ящика. Предполагается, что отравленные модели более чувствительны к атакам.

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Автоматизация атак вывода

Хороший обзор - атаки вывода (inference) как сервис

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Объяснимый ИИ для поиска ВПО

Интересная работа - с помощью объяснимых моделей (LIME и т.п.) определяют,какие же из собранных признаков реально используются для поиска вредоносного программного обеспечения

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Проверка дипфейков

Детектор дипфейков. Идея авторов - научить сеть распознавать изображения, созданные с помощью состязательных атак.

С чистой меткой

Бэкдор-атаки с чистой меткой на большие языковые модели. Стиль текста выступает триггером.

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

GAN для балансировки

Генеративные сети для решения проблемы разбалансировки классов

Математика бэкдоров

Теоретический анализ бэкдоров в отравленных данных для сверточных сетей

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

EUCS

Сертификация кибербезопасности для облачных сервисов в Европе - EUCS

Быстрый Питон

Хороший ресурс по оптимизации программ на Python

См. также другие публикации, посвященные Python

Кастомизация LLM

Дообучение LLM планированию активностей в городе. Практический пример построения кастомных моделей

См. также другие публикации, посвященные LLM

Учебник по промптам

Хорошее руководство по подсказкам для LLM

См. также другие публикации, посвященные LLM

Браузер для метавселенной

Хорошая идея для продвижения метавселенных

Инкрементальное обучение

Инкрементальное машинное обучение в определении атак на киберфизические системы: Nie, Zhijie, et al. "Intrusion Detection in Cyber-Physical Grid using Incremental ML with Adaptive Moment Estimation." IEEE Transactions on Industrial Cyber-Physical Systems (2024).

Неизвестное из известного

Объединив Википедию и Оксфордские словари, «вывод (inference» можно определить как «использование известной информации для вывода неизвестной информации». Атаки вывода (inference) - хороший обзор. Получение информации о модели, о тренировочных данных и т.д.

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Операции с данными в R

Практическая книга в открытом доступе: Data Wrangling Recipes in R

См. также другие публикации, посвященные языку R

Двойники пациентов

Интересная идея - использование LLM для создания цифровых двойников пациентов

См. также другие публикации, посвященные digital twins

Практическая объяснимость

Модельный пример - объяснения для модели машинного обучения: SHAP, LIME, ICE

Бэкдоры для LLM

Борьба с бэкдорами для LLM

См. также другие публикации, посвященные LLM

Научный Питон

Scientific Python Lectures. Лекции с примерами по использованию Python

См. также другие публикации, посвященные Python

Конструирование признаков

Еще одно объяснение feature engineering

См. также другие публикации по теме feature

Encoder-Decoder

Хорошее описание использования encoder и decoder (порознь и вместе) в NLP моделях

KAN

Хорошее объяснение новой архитектуры нейронных сетей (на замену MLP)

Бюрократические новости

INJOT vol. 12, no. 6 - в сервисе elibrary.ru

Статистические тесты

Руководство по выбору статистических тестов

См. также другие публикации по теме статистических тестов

О безопасности LLM

Большая коллекция материалов по безопасности LLM:

15 инструментов для состязательного тестирования

LLM Safety Assessment. The Definitive Guide on Avoiding Risk and Abuses. Документ от Elastic Security Labs, сделан на основе OWASP. Elastic Security объясняет свой подход здесь. Есть правила проверки.

Бенчмарк безопасности для LLM

Как внедрять ИИ - NSA, CISA & FBI Released Best Practices For AI Security Deployment 2024

Датасет на 11 000 диалогов для тестирования безопасности LLM

Датасет для тестирования безопасности от DefCon

Риски кибербезопасности ИИ. Исследование правительства Великобритании

LLM Security 101 - коллекция инструментов для тестирования и защиты LLM

AI Governance & Compliance Resource Links Hub. Ресурсы для CISO - правила и регуляции.

Риски генеративного ИИ. Большой документ от NIST

См. также другие публикации, посвященные LLM

Кого увольняют?

"People talked about why Google let go of the Python team. Then, news came out that Google also let go of people from important Flutter, Dart, and Python teams"

Криминал и LLM

Новый отчет Trend Micro: Как криминал использует Генеративный ИИ

/via Schneier on Security

См. также другие публикации, посвященные LLM

Детектор состязательных атак

Детектирование состязательных атак на IDS. Исходный код - открыт.

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Датасеты для кибербезопасности

Датасеты для задач кибербезопасности: чистые логи и логи, содержащие вредоносные активности

Детекция ВПО

Поиск вредоносного программного обеспечения (ВПО) с помощью машинного обучения - это проблема feature engineering (конструирования признаков). Которое начинается просто со сбора данных. Вот подробнее можно прочесть в свежей статье.

А вот еще один пример этого - An Enhanced Feature-Based Hybrid Approach for Adversarial PDF Malware Detection. В работе речь как раз идет о признаках, которые используются для поиска ВПО в PDF.

Атаки на рекомендательные системы

Очень хороший обзор по состязательным атакам (и защитам) для рекомендательных систем

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

LLM продукты

Как строить LLM - интересные заметки о том, как построить LLМ с точки зрения продукта

См. также другие публикации, посвященные LLM

Контекстные атаки

Интересный материал по новому типу атак LLM: инъекция контекста. Мдифицированная форма инъекции подсказок, где для атакуемой LLM сначала создают нужный контекст.

См. также другие публикации, посвященные LLM

Сертификация систем ИИ

Machine learning systems are today the main examples of the use of Artificial Intelligence in a widevariety of areas. From a practical point of view, we can say that machine learning is synonymous with the con-cept of Artificial Intelligence. The spread of machine learning technologies leads to the need for their appli-cation in the so-called critical areas: avionics, nuclear energy, automatic driving, etc. Traditional software, forexample, in avionics, undergoes special certification procedures that cannot be directly transferred tomachine learning models. The article discusses approaches to the certification of machine learning models. - статья в издательстве Springer Nature

Чей это номер?

Хорошая статья по состязательным атакам на системы распознавания автомобильных номеров

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

LLM и фейки

Большой отчет от OpenAI о том, как их модели используются для генерации и распространения дезинформации

См. также другие публикации, посвященные LLM

JupySQL

Как превратить Jupyter notebook в SQL консоль

P.S. см. также другие публикации о Jupyter

Атаки на системы машинного зрения

Атаки на системы машинного зрения с учетом контекста. Атака черного ящика, которая исходит из того, что на изображении несколько разных объектов. Вот оригинальная работа