Большая языковая ложь

Сомнительные практики при тестировании LLM: "Оценка современных моделей МО — сложная задача. Сильный стимул для исследователей и компаний сообщать о передовых результатах по некоторым показателям часто приводит к сомнительным исследовательским практикам (QRP): плохим практикам, которые не дотягивают до откровенного мошенничества в исследованиях. Мы описываем 43 таких практики, которые могут подорвать представленные результаты, приводя примеры, где это возможно. В нашем списке особое внимание уделяется оценке больших языковых моделей (LLM) по публичным эталонам. Мы также обсуждаем «невоспроизводимые исследовательские практики», т. е. решения, которые затрудняют или делают невозможным для других исследователей воспроизведение, развитие или проверку предыдущих исследований."

См. также другие публикации, посвященные LLM

Обманчивая диффузия

Генерация синтетических состязательных примеров

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Про фишинг

Сравнительный анализ алгоритмов определения фишинговых сайтов

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Невиданные атаки

Подборка статей - робастность по отношению к неизвестным атакам. Атаки по Lp норме могут не очень реалистичны. Атакующий не обязан связывать себя ограничениями

со страницы Jacob Steinhardt

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

AI агенты для LLM

Архитектурная модель для агентов, которые улучшают ответы LLM. Смысл - в уточнении ответов LLM

См. также другие публикации, посвященные LLM

Доменные атаки LLM

Состязательные атаки на LLM в медицине. Цель - заставить систему выдавать неверные рекомендации. Авторы показали успешное проведение атак как через состязательные промпты, так и через тонкую настройку (атакующий дообучает LLM, которую будут использовать пользователи)

См. также другие публикации, посвященные LLM

Под атакой

Состязательный детектор HOLMES (Hierarchically Organized Light-weight Multiple dEtector System). Состязательные примеры обрабатываются не так, как обычные. На этой идее основан детектор - обучен на логитах контролируемой сети и может предупреждать, что на вход был подан состязательный образец. Авторы заметили, что состязательные примеры, сгенерированные различными алгоритмами, можно идентифицировать на основе выходных данных DNN (логитов). Logit может служить внешним элементом для обучения детекторов.

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

ЖД безопасность

Кибербезопасность на железных дорогах - хороший обзор

Анализ код

Анализ кода с помощью LLM

Проверь себя

Простые (и не очень) задачи для программирования на Python из области ML

См. также другие публикации, посвященные Python

Большая болтовня

Алгоритмический подход в определению присутствия конфабуляции (реальных и ложных фактов) в ответах LLM

См. также другие публикации, посвященные LLM

Объяснимость, интерпретируемость и наблюдаемость

Объяснимость, интерпретируемость и наблюдаемость в машинном обучении

Три ключевых термина — объяснимость, интерпретируемость и наблюдаемость — широко признаны как составляющие прозрачности модели машинного обучения.

Объяснимость не имеет стандартного определения, а скорее общепринято относится к «движению, инициативам и усилиям, предпринимаемым в ответ на проблемы прозрачности и доверия ИИ». Объяснимая модель должна быть способна «(i) [предоставлять] основные функции, используемые для принятия решения, (ii) [предоставлять] все обработанные функции, ( iii) [предоставить] исчерпывающее объяснение решения и (iv) [обеспечить] понятное представление всей модели». Они определили объяснительность как предоставление «значимой информации о том, как принимается конкретное решение», что требует «хода мыслей, который может сделать решение значимым для пользователя (т. е. чтобы решение имело для него смысл)». Таким образом, объяснимость относится к пониманию внутренней логики и механики модели, лежащей в основе решения.

Интерпретируемость часто считается аналогом объяснимости и обычно используется как синоним. Однако широко распространено мнение, что интерпретируемость означает способность понять общее решение на основе входных данных, не требуя полного понимания того, как модель произвела выходные данные. Таким образом, интерпретируемость считается более широким термином, чем объяснимость. Интерпретируемость - «способность объяснять или представлять человеку в понятных терминах». Другое популярное определение интерпретируемости — это «степень, в которой человек может понять причину решения»
На практике интерпретируемая модель может быть такой, которая способна предсказать, что изображения домашних питомцев являются животными на основании идентифицируемых закономерностей и особенностей (например, наличия меха). Однако этой модели не хватает человеческого понимания внутренней логики или процессов, которые сделали бы модель объяснимой.
Хотя многие исследователи используют понятность и объяснимость в одном и том же контексте, объяснимость обычно относится к более глубокому пониманию внутренней работы модели.

Наблюдаемость машинного обучения — это понимание того, насколько хорошо модель машинного обучения работает в производстве. Наблюдаемость - «средство измерения и понимания состояния системы посредством выходных данных системы», это «необходимая практика для эксплуатации системы и инфраструктуры, от которых будет зависеть надежность». Наблюдение направлено на решение основной проблемы, заключающейся в том, что модель, которая отлично работает в исследованиях и разработках, может быть не такой точной при развертывании. Это несоответствие часто связано с такими факторами, как различия между реальными данными, с которыми сталкивается модель, и историческими данными, на которых она изначально обучалась. Поэтому крайне важно поддерживать непрерывный мониторинг вводимых данных и производительности модели. В отраслях, где решаются важные вопросы, гарантия того, что модель будет работать так, как ожидается, является важнейшим условием ее внедрения.
Наблюдаемость — ключевой аспект поддержания производительности модели в реальных условиях.
Наблюдаемость состоит из двух основных методов: мониторинга и объяснимости.

Бэкдоры в LLM - 2

Еще один подробный обзор по бэкдорам в LLM

См. также другие публикации, посвященные LLM

Масштабирование баз данных

Отсюда

MLL

Хороший обзор: Multi-Label learning. Вполне реальная ситуация, когда, например, медицинский классификатор может диагностировать несколько заболеваний сразу. Несколько классов (меток). MLL - это как раз об этом.

Кибербезопасность в Умном городе

Хороший и подробный обзор Smart Cities’ Cybersecurity and IoT: Challenges and Future Research Directions

Security Engineering

Книга Ross Anderson Security Engineering: A Guide to Building Dependable Distributed Systems

Чужое лицо

Состязательные атаки на системы распознавания лиц, которые проходят системы защиты (Face Anti-spoofing)

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Бэкдоры в LLM

Интересный обзор - трояны в LLM

См. также другие публикации, посвященные LLM

Бэкдоры с чистой меткой

Бэкдор атаки с чистой меткой в языковых моделях

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Мультимодальный ML

Как работает мультимодальное машинной обучение

Оранжевая книга ML

Оранжевая книга машинного обучения. Основы прогнозирования с использованием контролируемой регрессии и классификации табличных данных.

AI агенты

Что такое ИИ агенты и как они работают. На самом деле - как будут (должны) работать

Надежность ML моделей

Реально ли это оценить? Большинство существующих работ рассматривает надежность моделей ML как процесс. Иными словами - описывают, что делать, чтобы модель была надежной (более надежной). А вот как получить какие-либо метрики? В данной статье рассматривается идея таких метрик для табличных данных The quest for the reliability of machine learning models in binary classification on tabular data

INJOIT в Ленинке

Сайт Киберленинки ожил и выложил три номера журнала INJOIT: май, июнь, июль. Кому удобнее - читайте там.

Качество данных

Хороший и подробный обзор On the data quality and imbalance in machine learning-based design and manufacturing—A systematic review

LLM в кибербезопасности

Хороший (и свежий) обзор по использованию LLM в кибербезопасности Large Language Models in Cybersecurity: State-of-the-Art

См. также другие публикации, посвященные LLM

INJOIT том 12, номер 7

Вышел седьмой номер журнала INJOIT в 2024 году. И двенадцатый год издания журнала.

Темы статей:

• Гибридные модели предиктивной аналитики в креативной индустрии
• Semantic Data Fragmentation for Identification of Covariant Conceptual Drift in Machine Learning Models
• Prod2Query: решение проблемы холодного старта продаж для электронной коммерции с помощью генеративного языкового моделирования
• Hybrid Naive Bayes TF-IDF Algorithm and Lexicon Approach for Sentiment Analysis of Reviews
• On the optimal scheme of the possible three predictors in discrete optimization problems using decision-making algorithms
• Метод Построения Модели Пространства Автономных Транспортных Средств
• Анализ LSTM и GRU моделей для построения прогнозов временных рядов
• О болезни Паркинсона и ее математических моделях
• Применение нейронных сетей для обнаружения аномального трафика в сетях Интернета вещей
• On the possibility of increasing the noise immunity of OFDM telecommunication systems using fractional Fourier transforms
• Оптимальное распределение вычислительных ресурсов для реализации сервисов цифровых валют центральных банков
• A Framework for Cloud Migration in Academic Institutions
• Метод полной интуиционистской нечеткой кластеризации C-средних
• Данные телеметрии как фактор минимизации экологических последствий лесозаготовок
• Biometric Based Recognition Systems - An Overview
• Анализ тенденций развития цифровых двойников нового поколения
• Toward Eradication of Phishing Attacks in E-government Systems
• Состязательные атаки для автономных транспортных средств

/via Лаборатория ОИТ

Архив журнала находится здесь.

Состязательные атаки на беспилотный транспорт

В данной статье рассматриваются состязательные атаки, направленные на модели машинного (глубокого) обучения, используемых в автономных транспортных средствах. Системы Искусственного интеллекта (машинного обучения) играют определяющую роль в функционировании беспилотных автомобилей. В то же самое время, все системы машинного обучения подвержены так называемым состязательным атакам, когда атакующий сознательно модифицирует данные так, чтобы обмануть алгоритмы работы таких систем, затруднить их работу (понизить качество работы) или добиться желаемого атакующим поведения. Состязательные атаки представляют собой большую проблему для систем машинного обучения, особенно при использовании последних в критических областях, таких как автоматическое вождение. Состязательные атаки представляют собой проблему для функционального тестирования – есть данные, на которых система работает неверно (вообще не работает, работает с низким качеством). Для систем автономного транспорта такие атаки могут осуществляться в физической форме, когда модифицируются реальные объекты, захватываемые сенсорами транспортного средства, создаются фиктивные объекты и т.д. В настоящей статье приводится обзор состязательных атак на беспилотные транспортные средства, где основное внимание уделено именно физическим атакам. - отсюда

Паттерны движения

Интересная работа по определению шаблонов движения в городе. Использование транспорта - это метрика, которая отражает социально-экономические процессы в городе.

Атака для защиты

Интересная но спорная идея. Авторы хотят определеять отравлена модель или нет, атаковав ее в режиме черного ящика. Предполагается, что отравленные модели более чувствительны к атакам.

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Автоматизация атак вывода

Хороший обзор - атаки вывода (inference) как сервис

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению