Атака на классификатор

Атака черного ящика на классификатор вредоносного ПО

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Не очень умные

Критический анализ смарт-контрактов в блокчейн. Кто-то должен был сказать, что это сущий ужас, с точки зрения кибербезопасности.

DevOps для дата сайентистов

Книга в открытом доступе: DevOps for Data Science

Большая языковая ложь

Сомнительные практики при тестировании LLM: "Оценка современных моделей МО — сложная задача. Сильный стимул для исследователей и компаний сообщать о передовых результатах по некоторым показателям часто приводит к сомнительным исследовательским практикам (QRP): плохим практикам, которые не дотягивают до откровенного мошенничества в исследованиях. Мы описываем 43 таких практики, которые могут подорвать представленные результаты, приводя примеры, где это возможно. В нашем списке особое внимание уделяется оценке больших языковых моделей (LLM) по публичным эталонам. Мы также обсуждаем «невоспроизводимые исследовательские практики», т. е. решения, которые затрудняют или делают невозможным для других исследователей воспроизведение, развитие или проверку предыдущих исследований."

См. также другие публикации, посвященные LLM

Обманчивая диффузия

Генерация синтетических состязательных примеров

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Про фишинг

Сравнительный анализ алгоритмов определения фишинговых сайтов

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Невиданные атаки

Подборка статей - робастность по отношению к неизвестным атакам. Атаки по Lp норме могут не очень реалистичны. Атакующий не обязан связывать себя ограничениями

со страницы Jacob Steinhardt

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

AI агенты для LLM

Архитектурная модель для агентов, которые улучшают ответы LLM. Смысл - в уточнении ответов LLM

См. также другие публикации, посвященные LLM

Доменные атаки LLM

Состязательные атаки на LLM в медицине. Цель - заставить систему выдавать неверные рекомендации. Авторы показали успешное проведение атак как через состязательные промпты, так и через тонкую настройку (атакующий дообучает LLM, которую будут использовать пользователи)

См. также другие публикации, посвященные LLM

Под атакой

Состязательный детектор HOLMES (Hierarchically Organized Light-weight Multiple dEtector System). Состязательные примеры обрабатываются не так, как обычные. На этой идее основан детектор - обучен на логитах контролируемой сети и может предупреждать, что на вход был подан состязательный образец. Авторы заметили, что состязательные примеры, сгенерированные различными алгоритмами, можно идентифицировать на основе выходных данных DNN (логитов). Logit может служить внешним элементом для обучения детекторов.

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

ЖД безопасность

Кибербезопасность на железных дорогах - хороший обзор

Анализ код

Анализ кода с помощью LLM

Проверь себя

Простые (и не очень) задачи для программирования на Python из области ML

См. также другие публикации, посвященные Python

Большая болтовня

Алгоритмический подход к определению присутствия конфабуляции (реальных и ложных фактов) в ответах LLM

См. также другие публикации, посвященные LLM

Объяснимость, интерпретируемость и наблюдаемость

Объяснимость, интерпретируемость и наблюдаемость в машинном обучении

Три ключевых термина — объяснимость, интерпретируемость и наблюдаемость — широко признаны как составляющие прозрачности модели машинного обучения.

Объяснимость не имеет стандартного определения, а скорее общепринято относится к «движению, инициативам и усилиям, предпринимаемым в ответ на проблемы прозрачности и доверия ИИ». Объяснимая модель должна быть способна «(i) [предоставлять] основные функции, используемые для принятия решения, (ii) [предоставлять] все обработанные функции, ( iii) [предоставить] исчерпывающее объяснение решения и (iv) [обеспечить] понятное представление всей модели». Они определили объяснительность как предоставление «значимой информации о том, как принимается конкретное решение», что требует «хода мыслей, который может сделать решение значимым для пользователя (т. е. чтобы решение имело для него смысл)». Таким образом, объяснимость относится к пониманию внутренней логики и механики модели, лежащей в основе решения.

Интерпретируемость часто считается аналогом объяснимости и обычно используется как синоним. Однако широко распространено мнение, что интерпретируемость означает способность понять общее решение на основе входных данных, не требуя полного понимания того, как модель произвела выходные данные. Таким образом, интерпретируемость считается более широким термином, чем объяснимость. Интерпретируемость - «способность объяснять или представлять человеку в понятных терминах». Другое популярное определение интерпретируемости — это «степень, в которой человек может понять причину решения»
На практике интерпретируемая модель может быть такой, которая способна предсказать, что изображения домашних питомцев являются животными на основании идентифицируемых закономерностей и особенностей (например, наличия меха). Однако этой модели не хватает человеческого понимания внутренней логики или процессов, которые сделали бы модель объяснимой.
Хотя многие исследователи используют понятность и объяснимость в одном и том же контексте, объяснимость обычно относится к более глубокому пониманию внутренней работы модели.

Наблюдаемость машинного обучения — это понимание того, насколько хорошо модель машинного обучения работает в производстве. Наблюдаемость - «средство измерения и понимания состояния системы посредством выходных данных системы», это «необходимая практика для эксплуатации системы и инфраструктуры, от которых будет зависеть надежность». Наблюдение направлено на решение основной проблемы, заключающейся в том, что модель, которая отлично работает в исследованиях и разработках, может быть не такой точной при развертывании. Это несоответствие часто связано с такими факторами, как различия между реальными данными, с которыми сталкивается модель, и историческими данными, на которых она изначально обучалась. Поэтому крайне важно поддерживать непрерывный мониторинг вводимых данных и производительности модели. В отраслях, где решаются важные вопросы, гарантия того, что модель будет работать так, как ожидается, является важнейшим условием ее внедрения.
Наблюдаемость — ключевой аспект поддержания производительности модели в реальных условиях.
Наблюдаемость состоит из двух основных методов: мониторинга и объяснимости.

Бэкдоры в LLM - 2

Еще один подробный обзор по бэкдорам в LLM

См. также другие публикации, посвященные LLM

Масштабирование баз данных

Отсюда

MLL

Хороший обзор: Multi-Label learning. Вполне реальная ситуация, когда, например, медицинский классификатор может диагностировать несколько заболеваний сразу. Несколько классов (меток). MLL - это как раз об этом.

Кибербезопасность в Умном городе

Хороший и подробный обзор Smart Cities’ Cybersecurity and IoT: Challenges and Future Research Directions

Security Engineering

Книга Ross Anderson Security Engineering: A Guide to Building Dependable Distributed Systems

Чужое лицо

Состязательные атаки на системы распознавания лиц, которые проходят системы защиты (Face Anti-spoofing)

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Бэкдоры в LLM

Интересный обзор - трояны в LLM

См. также другие публикации, посвященные LLM

Бэкдоры с чистой меткой

Бэкдор атаки с чистой меткой в языковых моделях

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Мультимодальный ML

Как работает мультимодальное машинной обучение

Оранжевая книга ML

Оранжевая книга машинного обучения. Основы прогнозирования с использованием контролируемой регрессии и классификации табличных данных.

AI агенты

Что такое ИИ агенты и как они работают. На самом деле - как будут (должны) работать

Надежность ML моделей

Реально ли это оценить? Большинство существующих работ рассматривает надежность моделей ML как процесс. Иными словами - описывают, что делать, чтобы модель была надежной (более надежной). А вот как получить какие-либо метрики? В данной статье рассматривается идея таких метрик для табличных данных The quest for the reliability of machine learning models in binary classification on tabular data

INJOIT в Ленинке

Сайт Киберленинки ожил и выложил три номера журнала INJOIT: май, июнь, июль. Кому удобнее - читайте там.

Качество данных

Хороший и подробный обзор On the data quality and imbalance in machine learning-based design and manufacturing—A systematic review

LLM в кибербезопасности

Хороший (и свежий) обзор по использованию LLM в кибербезопасности Large Language Models in Cybersecurity: State-of-the-Art

См. также другие публикации, посвященные LLM

INJOIT том 12, номер 7

Вышел седьмой номер журнала INJOIT в 2024 году. И двенадцатый год издания журнала.

Темы статей:

• Гибридные модели предиктивной аналитики в креативной индустрии
• Semantic Data Fragmentation for Identification of Covariant Conceptual Drift in Machine Learning Models
• Prod2Query: решение проблемы холодного старта продаж для электронной коммерции с помощью генеративного языкового моделирования
• Hybrid Naive Bayes TF-IDF Algorithm and Lexicon Approach for Sentiment Analysis of Reviews
• On the optimal scheme of the possible three predictors in discrete optimization problems using decision-making algorithms
• Метод Построения Модели Пространства Автономных Транспортных Средств
• Анализ LSTM и GRU моделей для построения прогнозов временных рядов
• О болезни Паркинсона и ее математических моделях
• Применение нейронных сетей для обнаружения аномального трафика в сетях Интернета вещей
• On the possibility of increasing the noise immunity of OFDM telecommunication systems using fractional Fourier transforms
• Оптимальное распределение вычислительных ресурсов для реализации сервисов цифровых валют центральных банков
• A Framework for Cloud Migration in Academic Institutions
• Метод полной интуиционистской нечеткой кластеризации C-средних
• Данные телеметрии как фактор минимизации экологических последствий лесозаготовок
• Biometric Based Recognition Systems - An Overview
• Анализ тенденций развития цифровых двойников нового поколения
• Toward Eradication of Phishing Attacks in E-government Systems
• Состязательные атаки для автономных транспортных средств

/via Лаборатория ОИТ

Архив журнала находится здесь.

Состязательные атаки на беспилотный транспорт

В данной статье рассматриваются состязательные атаки, направленные на модели машинного (глубокого) обучения, используемых в автономных транспортных средствах. Системы Искусственного интеллекта (машинного обучения) играют определяющую роль в функционировании беспилотных автомобилей. В то же самое время, все системы машинного обучения подвержены так называемым состязательным атакам, когда атакующий сознательно модифицирует данные так, чтобы обмануть алгоритмы работы таких систем, затруднить их работу (понизить качество работы) или добиться желаемого атакующим поведения. Состязательные атаки представляют собой большую проблему для систем машинного обучения, особенно при использовании последних в критических областях, таких как автоматическое вождение. Состязательные атаки представляют собой проблему для функционального тестирования – есть данные, на которых система работает неверно (вообще не работает, работает с низким качеством). Для систем автономного транспорта такие атаки могут осуществляться в физической форме, когда модифицируются реальные объекты, захватываемые сенсорами транспортного средства, создаются фиктивные объекты и т.д. В настоящей статье приводится обзор состязательных атак на беспилотные транспортные средства, где основное внимание уделено именно физическим атакам. - отсюда

Паттерны движения

Интересная работа по определению шаблонов движения в городе. Использование транспорта - это метрика, которая отражает социально-экономические процессы в городе.

Атака для защиты

Интересная но спорная идея. Авторы хотят определеять отравлена модель или нет, атаковав ее в режиме черного ящика. Предполагается, что отравленные модели более чувствительны к атакам.

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Автоматизация атак вывода

Хороший обзор - атаки вывода (inference) как сервис

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Объяснимый ИИ для поиска ВПО

Интересная работа - с помощью объяснимых моделей (LIME и т.п.) определяют,какие же из собранных признаков реально используются для поиска вредоносного программного обеспечения

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Проверка дипфейков

Детектор дипфейков. Идея авторов - научить сеть распознавать изображения, созданные с помощью состязательных атак.

С чистой меткой

Бэкдор-атаки с чистой меткой на большие языковые модели. Стиль текста выступает триггером.

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

GAN для балансировки

Генеративные сети для решения проблемы разбалансировки классов

Математика бэкдоров

Теоретический анализ бэкдоров в отравленных данных для сверточных сетей

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

EUCS

Сертификация кибербезопасности для облачных сервисов в Европе - EUCS

Быстрый Питон

Хороший ресурс по оптимизации программ на Python

См. также другие публикации, посвященные Python

Кастомизация LLM

Дообучение LLM планированию активностей в городе. Практический пример построения кастомных моделей

См. также другие публикации, посвященные LLM

Учебник по промптам

Хорошее руководство по подсказкам для LLM

См. также другие публикации, посвященные LLM

Браузер для метавселенной

Хорошая идея для продвижения метавселенных

Инкрементальное обучение

Инкрементальное машинное обучение в определении атак на киберфизические системы: Nie, Zhijie, et al. "Intrusion Detection in Cyber-Physical Grid using Incremental ML with Adaptive Moment Estimation." IEEE Transactions on Industrial Cyber-Physical Systems (2024).

Неизвестное из известного

Объединив Википедию и Оксфордские словари, «вывод (inference» можно определить как «использование известной информации для вывода неизвестной информации». Атаки вывода (inference) - хороший обзор. Получение информации о модели, о тренировочных данных и т.д.

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Операции с данными в R

Практическая книга в открытом доступе: Data Wrangling Recipes in R

См. также другие публикации, посвященные языку R

Двойники пациентов

Интересная идея - использование LLM для создания цифровых двойников пациентов

См. также другие публикации, посвященные digital twins

Практическая объяснимость

Модельный пример - объяснения для модели машинного обучения: SHAP, LIME, ICE

Бэкдоры для LLM

Борьба с бэкдорами для LLM

См. также другие публикации, посвященные LLM

Научный Питон

Scientific Python Lectures. Лекции с примерами по использованию Python

См. также другие публикации, посвященные Python

Конструирование признаков

Еще одно объяснение feature engineering

См. также другие публикации по теме feature

Encoder-Decoder

Хорошее описание использования encoder и decoder (порознь и вместе) в NLP моделях

KAN

Хорошее объяснение новой архитектуры нейронных сетей (на замену MLP)

Бюрократические новости

INJOT vol. 12, no. 6 - в сервисе elibrary.ru

Статистические тесты

Руководство по выбору статистических тестов

См. также другие публикации по теме статистических тестов

О безопасности LLM

Большая коллекция материалов по безопасности LLM:

15 инструментов для состязательного тестирования

LLM Safety Assessment. The Definitive Guide on Avoiding Risk and Abuses. Документ от Elastic Security Labs, сделан на основе OWASP. Elastic Security объясняет свой подход здесь. Есть правила проверки.

Бенчмарк безопасности для LLM

Как внедрять ИИ - NSA, CISA & FBI Released Best Practices For AI Security Deployment 2024

Датасет на 11 000 диалогов для тестирования безопасности LLM

Датасет для тестирования безопасности от DefCon

Риски кибербезопасности ИИ. Исследование правительства Великобритании

LLM Security 101 - коллекция инструментов для тестирования и защиты LLM

AI Governance & Compliance Resource Links Hub. Ресурсы для CISO - правила и регуляции.

Риски генеративного ИИ. Большой документ от NIST

См. также другие публикации, посвященные LLM

Кого увольняют?

"People talked about why Google let go of the Python team. Then, news came out that Google also let go of people from important Flutter, Dart, and Python teams"

Криминал и LLM

Новый отчет Trend Micro: Как криминал использует Генеративный ИИ

/via Schneier on Security

См. также другие публикации, посвященные LLM

Детектор состязательных атак

Детектирование состязательных атак на IDS. Исходный код - открыт.

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Датасеты для кибербезопасности

Датасеты для задач кибербезопасности: чистые логи и логи, содержащие вредоносные активности

Детекция ВПО

Поиск вредоносного программного обеспечения (ВПО) с помощью машинного обучения - это проблема feature engineering (конструирования признаков). Которое начинается просто со сбора данных. Вот подробнее можно прочесть в свежей статье.

А вот еще один пример этого - An Enhanced Feature-Based Hybrid Approach for Adversarial PDF Malware Detection. В работе речь как раз идет о признаках, которые используются для поиска ВПО в PDF.

Атаки на рекомендательные системы

Очень хороший обзор по состязательным атакам (и защитам) для рекомендательных систем

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

LLM продукты

Как строить LLM - интересные заметки о том, как построить LLМ с точки зрения продукта

См. также другие публикации, посвященные LLM

Контекстные атаки

Интересный материал по новому типу атак LLM: инъекция контекста. Мдифицированная форма инъекции подсказок, где для атакуемой LLM сначала создают нужный контекст.

См. также другие публикации, посвященные LLM

Сертификация систем ИИ

Machine learning systems are today the main examples of the use of Artificial Intelligence in a widevariety of areas. From a practical point of view, we can say that machine learning is synonymous with the con-cept of Artificial Intelligence. The spread of machine learning technologies leads to the need for their appli-cation in the so-called critical areas: avionics, nuclear energy, automatic driving, etc. Traditional software, forexample, in avionics, undergoes special certification procedures that cannot be directly transferred tomachine learning models. The article discusses approaches to the certification of machine learning models. - статья в издательстве Springer Nature

Чей это номер?

Хорошая статья по состязательным атакам на системы распознавания автомобильных номеров

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

LLM и фейки

Большой отчет от OpenAI о том, как их модели используются для генерации и распространения дезинформации

См. также другие публикации, посвященные LLM

JupySQL

Как превратить Jupyter notebook в SQL консоль

P.S. см. также другие публикации о Jupyter

Атаки на системы машинного зрения

Атаки на системы машинного зрения с учетом контекста. Атака черного ящика, которая исходит из того, что на изображении несколько разных объектов. Вот оригинальная работа

Оцени себя

Оценочный лист для приложений ML: Assessment List for Trustworthy Artificial Intelligence (ALTAI) for self-assessment. Хорошая основа для аудита моделей ML

Архив Анны

Самая большая открытая библиотека. Sci-Hub включен

Взгляд со стороны

Интересная работа - изучение того, как человек воспринимает камуфляжный рисунок. Функциональные сети мозга моделируют способность мозга обмениваться информацией между различными областями, помогая в понимании когнитивного процесса зрительного внимания человека во время поиска целей, тем самым способствуя развитию оценки камуфляжа. В этом исследовании изображения с различными камуфляжными эффектами были представлены наблюдателям для генерации сигналов электроэнцефалографии (EEG), которые затем использовались для построения функциональной сети мозга. Впоследствии топологические параметры сети были извлечены и введены в модель машинного обучения для обучения. Результаты показывают, что большинство классификаторов достигли показателей точности, превышающих 70%. В частности, алгоритм Logistic достиг точности 81,67%. Таким образом, можно с высокой точностью прогнозировать эффективность маскировки цели без необходимости расчета вероятности обнаружения. Предлагаемый метод в полной мере учитывает аспекты зрительных и познавательных процессов человека, преодолевает субъективность человеческой интерпретации, добивается стабильной и достоверной точности. Отсюда.

Так можно оценивать маскировку

Новости безопасности

Хронология публикаций об ИБ от ICT.Moscow

Видео-цензура

Маскирование объектов в видео-файле в реальном времени. Атака на сегментацию изображений.

ГигаЧат

Курс от Сьербанка по работе с GigaChat

Вне контекста

Еще один пример физической состязательной атаки: беспилотный автомобиль не понимает контекста, где может быть знак дорожного движения

Борьба с ВПО

Хороший обзор: Глубокое обучение в борьбе с вредоносным программным обеспечением

Распределенные системы

Хороший учебный курс от TU Deft - Современные распределенные системы

Не все так просто

Это системный промпт (запрос) в LLM Claude 3. Эпоха коротких запросов подошла к концу. Короткие запросы, возможно, будут в начале сеанса, чтобы понять, что вообще модель знает. А дальше диалог будет включать уже запросы с подробными инструкциями.

Вот интересная статья, в которой обсуждается ситуация - можно ли с последовательностью уточняющих запросов добиться такого же эффекта, как и при специальной настройке модели.

См. также другие публикации, посвященные LLM

Разведка данных

Конспект лекций по разведочному анализу данных: A Course in Exploratory Data Analysis

Безопасный ИИ

Доступные видео-курсы:

Red Teaming LLM

Введение в MLSecOps

ИИ для тестирования кибербезопасности

Доктор Gemini

On the popular MedQA (USMLE) benchmark, our best-performing Med-Gemini model achieves SoTA performance of 91.1% accuracy. Это точность работы модели на тестах для врачебной лицензии США. USMLE - United States Medical Licensing Examination. При сдаче экзамена человеком его защитывают при 75%, если что. Отсюда.

Anomaly Detection Dataset

Датасет с атаками на киберфизические системы

Цена данных

Интересное исследование - как определить цену данных. Если продукт - это некоторый датасет, то что определяет его стоимость?

Большой фишинг

Использование LLM для генерации фишингового контента

См. также другие публикации, посвященные LLM

Другой взгляд на рекомендательные системы

Мы рассматриваем рекомендации как проблему наблюдения, тогда как на самом деле это проблема вмешательства. Контрфактический подход к построению рекомендаций

Что их манит?

Хороший пример feature engineering - анализ параметров, определяющих потоки пассажиров на ЖД станциях

Учебка хакера

Учебные проекты по кибербезопасности

1. TryHackMe https://tryhackme.com

2. Blue Team Labs https://blueteamlabs.online

3. Hands-On SOC Analyst Training https://letsdefend.io

4. Cybrary https://cybrary.it

Атаки на модели

Отравление файлов предобученных моделей - новая статья в журнале Автоматика и Телемеханика

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Переносимость атак

Хорошая статья по практической переносимости состязательных атак. Как с ограниченным бюджетом (ограниченным количеством запросов к атакуемой модели) построить теневую модель, и построить на ней атаки. Доступен исходный код.

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Состязательные IoT

Хорошая статья - Состязательные атаки на модели машинного обучения в IoT

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Как тестировать LLM

Хороший материал о том, как тестировать (оценивать) LLM

См. также другие публикации, посвященные LLM

Оценка влияния

Хорошая книга в открытом доступе https://www.worldbank.org/en/programs/sief-trust-fund/publication/impact-evaluation-in-practice

см. также другие публикации, по теме causal

Шпаргалки по LLM - 2

Компактное изложение: LLM fine-tuning

См. также другие публикации, посвященные LLM

Атаки на сегментацию

Состязательные атаки на сегментацию изображений

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

ИИ в кибербезопасности

Два обзора:

Sarker, Iqbal H., Md Hasan Furhad, and Raza Nowrozy. "Ai-driven cybersecurity: an overview, security intelligence modeling and research directions." SN Computer Science 2.3 (2021): 173.

Kaur, Ramanpreet, Dušan Gabrijelčič, and Tomaž Klobučar. "Artificial intelligence for cybersecurity: Literature review and future research directions." Information Fusion (2023): 101804.

Доверенные LLM

Интересные решения от CleanLab (MIT) по доверенным LLM

См. также другие публикации, посвященные LLM

Чего не могут LLM

Хорошая статья - What can LLMs never do?

См. также другие публикации, посвященные LLM