О робастности метрик

Сравнение робастности регрессионных метрик: MAE, MSE и RMSE

См. также другие публикации, посвященные робастности

Синтетические личности

В некоторых странах - это уже главная проблема при выдаче кредитов банками. Кредиты берут синтетические персоны

Знания из ничего

Машинное обучение в ситуации, когда количество экземпляров данных меньше, чем количество классов: Learning N Classes From M < N Samples. Вот здесь можно почитать про другие подобные примеры.

В перспективе

Интересный инструмент для визуализации больших наборов данных - Perspective

См. также другие статьи, посвященные визуализации

Основы A/B тестирования

AB Testing 101 - хорошо написанное руководство

См. также другие публикации, посвященные A/B тестированию

A Hackers' Guide to Language Models

Интересная лекция с массой ссылок

См. также другие публикации, посвященные LLM

Международный конгресс «СОВРЕМЕННЫЕ ПРОБЛЕМЫ КОМПЬЮТЕРНЫХ И ИНФОРМАЦИОННЫХ НАУК»

30 ноября - 2 декабря 2023 года на факультете вычислительной математики и кибернетики Московского государственного университета имени М.В. Ломоносова состоится Международный конгресс «СОВРЕМЕННЫЕ ПРОБЛЕМЫ КОМПЬЮТЕРНЫХ И ИНФОРМАЦИОННЫХ НАУК». В рамках Конгресса будут проведены пленарные заседания и серия научных мероприятий, соответствующих приоритетным направлениям развития науки, технологий и техники в Российской Федерации в крупнейшей междисциплинарной области современности - информационно-телекоммуникационные системы - которая объединяет представителей математики, информатики, физики и наук о материалах, компьютерных наук, наук о данных и гуманитарных наук из России и зарубежных стран.

Подробнее об участии - здесь

Мониторинг LLM

Что и как отслеживать для LLM

См. также другие публикации, посвященные LLM

Защита критической инфраструктуры

Один из основных игроков на рынке кибербезопасности о защите критической инфраструктуры В частности, рассматривается фреймворк Pipedream

ИИ ГОСТы

Список действующих стандартов по направлению Искусственный интеллект

ThingPlug

Открытая IoT платформа от SK TELECOM - ThingPlug platform

См. также другие публикации по теме IoT

Оценка уязвимостей

Как оценивать уязвимости в программном обеспечении?

Серьезность и возможность использования — это два разных измерения серьезности обнаруженной уязвимости. Усилие по исправлению измеряет сложность работы, необходимой для исправления результата.

Серьезность — это потенциальное влияние на конфиденциальность, целостность и доступность приложения, как это определено в CVSS (Общая система оценки уязвимостей). Возможность использования — это вероятность или легкость, с которой злоумышленник может использовать обнаруженную информацию. Обнаружение высокой важности с высокой вероятностью использования злоумышленником потенциально более опасно, чем обнаружение высокой серьезности с низкой вероятностью использования.

Усилие по исправлению, также называемое сложностью исправления, является мерой ожидаемых усилий, необходимых для исправления результата.

Атаки на сертификацию

Интересная идея - состязательные атаки на алгоритмы сертификации моделей машинного обучения

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Лучше поздно, чем никогда

Предложен стандарт для проверки безопасности smart contracts. Сейчас эти контракты - реальная черная дыра.

О редких join

Знаете ли вы о Partitioned join и Lateral join в SQL?

Просто и эффективно

Архитектура Instagram

Нас этому не учили

Out-of-distribution (OOD) - определить при использовании модели машинного обучения тот факт, что мы встретили данные, отличающиеся от тренировочного набора.

1. Фреймворк для оценки надежности моделей машинного обучения от Google. Предлагается одновременно провести стресс-тестирование производительности «готовой» модели (т. е. прогнозируемого распределения) в терминах неопределенности, надежного обобщения и адаптации к новым данным.

2. Интересный автор из списка MIT Technology Review’s 2023 Innovator of the Year, который занимается исследованиями по данной теме: Sharon Yixuan Li

P.S. см. также другие публикации по теме out-of-ditribution-detection: OOD

P.P.S. статья в журнале INJOIT: Namiot, Dmitry, and Eugene Ilyushin. "Data shift monitoring in machine learning models." International Journal of Open Information Technologies 10.12 (2022): 84-93.

Будьте проще

Очень верные слова Google про web3 - нужно спрятать технологический жаргон от пользователей.

VLAM

Интересно - Vision-Language-Action Models (VLAMs). Использует возможности LLM для выработки суждений для анализа движения

См. также другие публикации, посвященные LLM

Подкрепленье не прислали

Про обучение с подкреплением:

1. Книга в свободном доступе Reinforcement Learning: An Introduction

2. Reinforcement Learning: an Easy Introduction to Value Iteration

См. другие публикации, посвященные Reinforcement Learning

ChatGPT список списков

The ChatGPT list of lists: A collection of 3000+ prompts, examples, use-cases, tools, APIs, extensions, fails and other resources

См. также другие публикации, посвященные LLM

Цензор для LLM

Как фильтровать выдачу LLM

См. также другие публикации, посвященные LLM

Галлюцинации

Когда большая языковая модель может довести авторов до суда

См. также другие публикации, посвященные LLM

Для начинающих

Курс AI for beginners от Microsoft

Там же:

Web Dev for Beginners
IoT for Beginners
Machine Learning for Beginners
Data Science for Beginners

Доверенный ИИ

Кто, где и что - карта исследований trustworthy AI

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Что в коде моем?

ChatGPT-подобный интерфейс к интерпретатору программ. Запустите код, а потом LLM расскажет, как он работает

Триггер против очистки

Две статьи по backdoor-атакам, которы должны проверяться одна против другой: генерация динамических триггеров и независимый метод очистки

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Практика отравлений

Атаки отравления данных на практике

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Защита моделей ML

Интересная идея - описать ограничения для моделей

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

ML в критических приложениях

Использование систем машинного обучения в военной авиации (DAF). Описывается тестирование и оценка систем машинного обучения.

Ясно выражено то, о чем мы писали в своих статьях о мониторинге работы реальных моделей:
"Commercial solutions will certainly incorporate methodology for monitoring and retraining models, but it is unlikely they will incorporate processes that capture the complex system integration and risk frameworks that apply to DAF systems, especially safetycritical systems in the foreseeable future. The DAF should invest in synthetic data engines, live virtual constructive environments, data repositories, and support for digital twins representative of their modalities and platforms of interest to facilitate rapid model retraining and maintenance. Data standards must be extended to the platforms to support this retraining and enable fast capture of AI-ready data to facilitate retraining around model failure events."

Mastering BERT

Руководство по программированию BERT. Хорошо написано.

Вопрошалки

1. 150 Best ChatGPT Prompts For Every Type Of Workflow

2. 202 Awesome ChatGPT Prompts to Boost Productivity

3. Tips to enhance your prompt-engineering abilities

4. Prompt Engineering: A Practical Example

См. также другие публикации, посвященные LLM

LLM и кибербезопасность

Хороший и подробный обзор Use of LLMs for Illicit Purposes: Threats, Prevention Measures, and Vulnerabilities

См. также другие публикации, посвященные LLM

AI Red Team - 2

Продолжая тему AI Red Team (см. предыдущую публикацию здесь):

1. Google опубликовал программный документ Securing AI: Similar or Different?

2. Статья Google: Why Red Teams Play a Central Role in Helping Organizations Secure AI Systems

3. Интересное интервью с CISO Google Cloud: What we can learn when responsible hacking meets responsible AI

4. NVIDIA AI Red Team: An Introduction. Хорошее введение в проблему, фреймворк и набор используемых инструментов.

5. Следующая платформа для кибербезопасности - Securing AI: The Next Platform Opportunity in Cybersecurity

6. Red Team для больших языковых моделей (LLM)

Мартингалы и робастность

Как еще можно определять сдвиг данных? Использовать мартингалы. Основная причина использования мартингала, а не более известной статистики сдвига распределения, заключается в том, чтобы избежать «группирования» данных временных рядов в произвольно определенные интервалы для расчета распределения. Вот пример.

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Камуфляж и состязательные атаки

Состязательные атаки на модели машинного обучения бывают в цифровом и физическом доменах. Старейшей формой физической атаки является камуфляж. Вот в данной статье как раз исследуется влияние камуфляжа на распознавание объектов в моделях машинного обучения.

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Все атаки из архива

Статьи, посвященные состязательным атакам из arxiv.org. Поддержка: Nicholas Carlini (атака Carlini-Wagner).

Интересная статья из этого списка: MDTD: A Multi-Domain Trojan Detector for Deep Neural Networks. Идея метода проверть в реальном времени, содержат входные данные триггер или нет. Основывается на том, что "чистые" экземпляры данных, и экземпляры данных с триггером находятся на разных расстояниях от границы решений.

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Мошенники на потоке

Интересная работа - Fraud Detection in Streaming Services

ИИ в космосе

Интересный обзор моделей ИИ (моделей машинного обучения) в космической сфере

DASP Top 10

Decentralized Application Security Project - 10 главных уязвимостей

Мониторинг наборов данных

Как следить за сдвигом данных в MS Azure,

ChatGPT в атаке

Некоторые ссылки, посвященные генерации или обработке вредоносного контента с помощью LLM. Собрано для новой магистратуры по Кибербезопасности

ChatGPT and Malware: Making Your Malicious Wishes Come True

WormGPT и FraudGPT

Пока не очень получается генерить вредоносное ПО, но фаззинг является перспективной идеей для LLM. Google обещает открыть детали

DarkBERT и DarkBARD - Google API и тренировка на всем даркнете.

PentestGPT - надстройка для ChatGPT, тесты проникновения
Deng, Gelei, et al. "PentestGPT: An LLM-empowered Automatic Penetration Testing Tool." arXiv preprint arXiv:2308.06782 (2023).

Beckerich, Mika, Laura Plein, and Sergio Coronado. "RatGPT: Turning online LLMs into Proxies for Malware Attacks." arXiv preprint arXiv:2308.09183 (2023).

Интересная презентация - Marcus Botacin. 2023. GPThreats-3: Is Automated Malware Generation a Threat? SlideShare.

Jennifer Fernick. 2023. On the malicious use of large language models like GPT-3. nccgroup.

A Survey on Large Language Model based Autonomous Agents. Агентам предстоит сыграть важную роль в автоматизации кибератак.

Malware researchers analyzed the application of Large Language Models (LLM) to malware automation investigating future abuse in autonomous threats. Executive Summar

Aaron Mulgrew. 2023. I built a Zero Day virus with undetectable exfiltration using only ChatGPT prompts.

Fábio Perez and Ian Ribeiro. 2022. Ignore Previous Prompt: Attack Techniques For Language Models. arxiv:2211.09527

OPWNAI: Cybercriminals Starting to Use ChatGPT. Check Point.

Sangfor Technologies. 2023. ChatGPT Malware: A New Threat in Cybersecurity.

Gradient Flow: Unleashing LLMs in Cybersecurity: A Playbook for All Industries

Awesome Large Language Model Tools for Cybersecurity Research

New LLM-based SOC tool to help automate security response

Hazell, Julian. "Large language models can be used to effectively scale spear phishing campaigns." arXiv preprint arXiv:2305.06972 (2023).

См. также другие публикации, посвященные LLM

Векторные базы данных

И новая область применения для векторных баз данных - хранить эмбеддинги в машинном обучении

Парадоксы статистики

Интересно о статистике:

Accuracy Paradox

False Positive Paradox

Gambler’s Fallacy

Simpson’s Paradox

Berkson’s Paradox

AI Red Team

Этичные хакеры, которые атакуют системы ИИ. Это стало особенно актуально для больших языковых моделей. Как это устроено в компаниях:

Google

Микрософт

Open AI

См. также другие публикации, посвященные LLM

О робастности

Distributional evasion attacks (атаки уклонения распределения): при атаках уклонения распределения атакующий смещает все распределение тестовых данных на некоторое ограниченное расстояние с целью максимизации ожидаемых потерь. Эта модель угроз может быть использована для характеристики способности ML-моделей к обобщению вне распределения. Сертификация по этой модели угроз представляет собой верхнюю границу ожидаемых потерь.

Global evasion attacks (глобальная атака уклонения): можем менять любые входные данные (локальная атака уклонения меняет данные только внутри существующего распределения). Глобальная атака уклонения относится к робастности во всем диапазоне входных данных. Под робастностью по-прежнему понимается то, что малые изменения не меняют результат.

Отсюда: Li, Linyi, Tao Xie, and Bo Li. "Sok: Certified robustness for deep neural networks." 2023 IEEE Symposium on Security and Privacy (SP). IEEE, 2023.

Атаки и отравления

Awesome Data Poisoning and Backdoor Attacks - большой список публикаций с кодом Awesome Backdoor Attack and Defense - свежие работы по отравлению

Backdoor атаки

Backdoor защиты

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

О вероятности

Частота или Байес?

Атаки на приватные данные

В потоке запросов к MaaS определить атаку на приватные данные. Идея определения атаки - схожесть последовательных запросов. Схожая идея была реализована в нашей статье c J.Song, которая будет представлена на DCCN-2023

P.S. авторы, похоже, удалили исходный код из репозитория Responsible Data Science Lab

Кругом враги

Byzantine Machine Learning - распределенное машинное обучение, когда присутствуют узлы с поврежденными (отравленными) данными и противоборствующим поведением

LLM - проблемы и направления исследований

Интересный обзор - что делать с LLM

См. также другие публикации, посвященные LLM

Зашита от отравлений

Arshad, Iram, et al. "A Novel Framework for Smart Cyber defence: A Deep-Dive into Deep Learning Attacks and defences." IEEE Access (2023). - фреймворк для защиты от атак отравлением на модели машинного обучения.

Искусственные контрфактические примеры

Как оценить эффект изменений, если A/B тесты провести прямо нельзя - ACE - Artificial Counterfactual Estimation

ML на защите

Машинное обучение в задачах кибербезопасности. Защита. Хороший обзор

Causal Inference

О вечном вопросе Почему?

см. также другие публикации, посвященные каузальности

Социальный симулятор

Интересный продукт - по mindmap может построить эмулятор событий

Что же важно для модели?

Использование SHAP для анализа важности фичей. Интересная задача - сравнить SHAP и feature importance

См. также другие публикации, посвященные SHAP

Защита изображений

Попытки построить инструменты, которые предотвратят использование изображений для построения deep fakes

Probabilistic Machine Learning: Advanced Topics

Книга, вероятно, вышла

См. также другие публикации по теме Probabilistic Machine Learning

Лекции AIRI

Лекции летней школы по Искусственному интеллекту airi.ru

ИИ ГОСТы

Действующие ГОСТы для Искусственного интеллекта

Все про MLOps

Awesome MLOps - коллекция ссылок

См. также другие публикации по теме MLOps

Цифровые двойники инфраструктуры

Civil Infrastructure Digital Twins: Multi-Level Knowledge Map, Research Gaps, and Future Directions

См. также другие публикации, посвященные digital twins

Устройство ChatGPT

Хорошее объяснение работы LLM

См. также другие публикации, посвященные LLM

3D geometry generation

Новое направление для ML - 2D и 3D geometry generation. Основной назначение сейчас - лекарства

Платежный сервис с блокчейн

Платежный сервис на основе блокчейн от VISA

См. также другие публикации, посвященные блокчейн

SESIP

Сертификация IoT устройств по кибербезопасности

См. также другие публикации по теме IoT

LLM и кибербезопасность

Использование ChatGPT в кибератаках и защитах

См. также другие публикации, посвященные LLM

Интеллектуальные транспортные системы

Хороший обзор: IoT + ITS

Сергей Дмитриевич Кузнецов

Больше не услышать его лекций по базам данных :(

Открытая наука: INJOIT том 11, номер 7

Очередной номер журнала INJOIT появился на сайте Киберленинка.

Это том 11, номер 7 за 2023 год.

/via Лаборатория ОИТ

BASE

Поиск по научным публикациям - BASE

5G IoT

Архитектура системы IoT на основе 5G и блокчейн

См. также другие публикации, посвященные блокчейн

Про дипфейки

Определять не получается - давайте размечать контент

Защита блокчейн

Защита блокчейн от кибератак - интересная диссертация

См. также другие публикации, посвященные блокчейн

ЖД двойник

Цифровой двойник рельсовых путей

См. также другие публикации, посвященные digital twins

SOTA LLM

Что мы знаем за LLM?

См. также другие публикации, посвященные LLM

Риски ИИ

Gartner об управлении рисками Искусственного интеллекта

Отравление данных NIDS

Атака переворачиванием меток на системы определения вторжений

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Эмбеддинг не той системы

Определение сдвига данных в ML embeddings

См. также другие публикации по теме мониторинг

Безопасность блокчейн

Руководство по безопасности блокчейн

Кибербезопасность блокчейн в сравнении с "обычной" кибербезопасностью

Учебный курс по безопасности блокчейн

Network sensing

Использование сетей WiFi/4G/5G в роли сенсора. Например, для слежения за человеком

Вспомнить все

Интересная работа, к которой исследуются "лишние" параметры моделей ML. Через них атакующий может атаковать систему

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению и LLM

Blockchain mindmap

Как развивался блокчейн - интеллект-карта

См. также другие публикации, посвященные блокчейн

Как они едут?

Интересная статья по визуализации передвижения автономных автомобилей. Ну и других автономных транспортных средств

ML в финансах

Машинное обучение в финансовой математике. Книга в открытом доступе.

ИИ и кибербезопасность

Довольно подробный обзор литературы по теме Искусственный интеллект и кибербезопасность

Кибербезопасность в МГУ

Магистерская программа по кибербезопасности обрела свой сайт

Атаки на LLM

Карта поверхности атак на LLM

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению и LLM

Поиск бэкдоров в черном ящике

Еще один интересный подход к поиску бэкдоров. И также основан на объяснениях.

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Бессерверные вычисления

Azure Functions в анализе потоковых данных

См. также другие публикации по анализу потоков данных

Введение в статистическое обучение

Новейшие (2023) редакции популярной книги на основе R и Python

Теоретические основы ИБ

Вводный курс по основам Информационной безопасности

Европейская кибербезопасность

Публикации ENISA - Европейское агентство кибербезопасности

Утечки из LLM

Инструментарий анализа утечек данных из LLM

См. также другие публикации, посвященные LLM

Открытая наука: INJOIT том 11, номер 6

Очередной номер журнала INJOIT появился на сайте Киберленинка.

Это том 11, номер 6 за 2023 год.

/via Лаборатория ОИТ

Больше Интернетов

В коллекцию разных Интернет чего-нибудь: Интернет звуков

О дистилляции знаний

Knowledge distillation и бэкдоры - новый процесс очистки моделей

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

О сертификации систем Искусственного интеллекта

Презентация для конференции Grid 2023: On Certification of Artificial Intelligence Systems

Кибербезопасность

Открыт прием в новую магистратуру ВМК МГУ совместно со Сбербанком

Реальный триггер для бэкдора

Интересная идея - триггер для бэкдор атаки определяется через поведение сторонних агентов

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

В реальных условиях

Интересная диссертация по практическому повышению устойчивости по отношению к сдвигам данных моделей машинного обучения - Robustness, Evaluation and Adaptation of Machine Learning Models in the Wild

Атаки инверсии модели

Хороший обзор: Model Inversion attacks

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

LLM & knowledge graph

Большие языковые модели и граф знаний

Об уменьшении размерности

PCA простыми словами

См. также другие публикации, посвященные PCA

О дрифтах

Практическое измерение сдвига данных

Одни двойники

Дорожная карта для постороения цифровых двойников на транспорте в Великобритании

См. также другие публикации, посвященные digital twins

200 ML примеров

Полезный ресурс - описания 200 промышленных проектов машинного обучения

Экономика генеративных моделей

Где деньги в LLM

См. также другие публикации, посвященные LLM

Черные бэкдоры

Black Box backdoor для MLaaS: атакующий строит теневую модель, делает бэкдор для нее и публикует от своего имени уже отравленную модель

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Кибербезопасность на ВМК МГУ

Магистратура по кибербезопасности в МГУ (совместно со Сбербанк)

См. также Кибербезопасность в МГУ и экскурсия в Центр киберзащиты

О семантической сегментации

1. И снова бэкдоры: как отравить данные для семантической сегментации

2. Как сертифицировать устойчивость

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Что было до?

Использование Neo4j для анализа customer journey - поведения пользователей, предшествовавшего какому-то действию

См. также другие публикации, посвященные Neo4j

Учебник по Julia

Интерактивный (нотебук) учебник по Julia

См. также другие публикации по Julia

Бэкдоры с ограниченными данными

Бэкдор атаки с ограниченными данными - интересный подход к подавлению влияния "чистых" характеристик

Не все отравленные данные действуют одинаково - как построить эффективный триггер

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

О регулировании ИИ

Подборка новостей о регулировании ИИ (по факту - ML)

Цифровые двойники для беспилотников

Актуальная тема - цифровой двойник систему управления беспилотниками

См. также другие публикации, посвященные digital twins

Центр киберзащиты Сбер

В рамках запуска новой магистратуры «Кибербезопасность» на ВМК МГУ абитуриентам предлагается уникальная возможность познакомиться с работой Центра киберзащиты Сбера (SOC – Security Operation Center) – крупнейшего в России и Восточной Европе ситуационного центра кибербезопасности.

Специалисты SOC решают задачи кибербезопасности по мониторингу и реагированию на инциденты, киберразведке, инжинирингу средств защиты и процессам управления самим SOC.

Посмотреть 3D-тур по SOC Сбера можно по ссылке.

Зарегистрироваться на экскурсию можно по ссылке в telegram-группе.

Экскурсии в SOC запланированы на 30 июня (10:30 ч.) и 7 июля (12:00 ч.), продолжительность – 1,5 часа.

По вопросам обращайтесь на e-mail: cyberacademy@sberbank.ru

Интервью по ML

Компиляция вопросов для интервью по машинному обучению

См. также другие публикации по теме интервью

Кибербезопасность в МГУ

ВМК МГУ и Сбер открывают новую магистратуру «Кибербезопасность» по направлению подготовки 02.04.02 «Фундаментальная информатика и информационные технологии».

Магистерская программа «Кибербезопасность» разработана факультетом вычислительной математики и кибернетики МГУ имени М.В. Ломоносова совместно с ПАО Сбербанк и предназначена для тех, кто хочет получить глубокие знания и навыки в области информационной безопасности и защиты информации и данных от кибератак. Программа ориентирована на подготовку магистров науки по кибербезопасности. Программа разработана в соответствии с современными международными профессиональными и образовательными стандартами и с учетом действующих национальных стандартов и норм.

Программа включает в себя изучение теоретических и практических аспектов кибербезопасности, включая защиту от вирусов, хакерских атак, фишинга, DDoS-атак и других угроз. Студенты изучают математические модели, современные методы и технологии кибербезопасности, а также учатся анализировать и оценивать риски, связанные с кибербезопасностью. В результате обучения студенты получают необходимые знания и навыки для работы в области кибербезопасности в различных сферах, включая исследовательские центры, государственные организации, частные компании и финансовые учреждения.

Подробнее о программе.

Для желающих обучаться по данной программе проводятся организованные экскурсии в Центр киберзащиты Сбера.

Отсюда

Java 2023

Состояние эко-системы Java в 2023 году

Более 56 % приложений в настоящее время используют Java 11 в производственной среде (по сравнению с 48 % в 2022 г. и 11 % в 2020 г.). Java 8 занимает второе место: почти 33% приложений используют ее в производстве (по сравнению с 46% в 2022 году).

Самый популярный вендор JLK - Амазон

О поиске бэкдоров

Продолжая тему бэкдоров в моделях ML - интересный подход к поиску бэкдоров на основе анализа активации

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Визуализация нейронных сетей

Визуальное объяснение работы feed-forward сетей

См. другие публикации по теме визуализация

Найди то, не знаю что

Открыто-словарное обнаружение объектов - построение модели, способной обнаруживать объекты за пределами набора видимых категорий при обучении, что позволяет пользователю указывать категории интереса при выводе без необходимости перетренировки моделей. Испольуется стандартная двухэтапная архитектура детектора объектов. Авторы рассматривают три способа указания новых категорий: через языковые описания, с помощью образцов изображений или через комбинацию этих двух подходов.

Для описания объектов используется LLM. Также предложен простой метод объединения информации из языковых описаний и образцов изображений с получением мультимодального классификатора.

Отсюда - Multi-Modal Classifiers for Open-Vocabulary Object Detection

По цепочке

Искусственый интеллект в организации цепочек поставок

Эмбединги

Хорошо написанное руководство What are embeddings?

Устойчивые триггеры

Продолжая тему бэкдоров в моделях ML - триггеры, устойчивые к визуальным искажениям

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Объяснимый искусственный интеллект

SHAP
LIME
Permutation Importance
Partial Dependence Plot
Morris Sensitivity Analysis - и другие методы объяснимого искусственного интеллекта. Полезный словарь.

Семантическая сегментация

Semantic Segmentation - что и как

Бэкдоры в моделях машинного обучения

Хороший обзор по бэкдорам и защитам от них

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Генеративный ИИ

Учебный курс от Google - Generative AI

Цифровая школа Nuclio

Программа обучения по IoT: Master of Internet of Things

Программа обучения по Blockchain: Master in Blockchain and Crypto

ML справочник

Краткий справочник The Machine & Deep Learning Compendium

Бэкдоры в NLP

Простой и работающий подход к поиску бэкдоров в NLP - ложные корреляции

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

О синтетике

Все, что вы хотели спросить о синтетических данных

Атаки на LLM

Состязательные атаки на большие языковые модели

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению и LLM

Отравление данных

Баланс между устойчивостью и эффективностью при отравлении данных

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Все дело в частоте

Интересный подход к бэкдорам в моделях распознавания изображений - скрытый триггер, который строится в частотном домене

А в этой статье - показывают, как бороться с бэкдорами в частотном домене

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Сдвиг данных в моделях ML

Оценка сдвига данных для моделей ML на базе статистической проверки гипотез

См. также другие публикации, темой которых является мониторинг моделей машинного обучения

Почему получаются бэкдоры?

Интересная работа по теоретическим основам бэкдоров в моделях машинного обучения. Как отравленные данные должны соотноситься с чистыми?

Другая работа в этой области рассматривает Loss Landscape Sharpness - как быстро растут потери при изменении параметров

Забыть все

Разобучить и переобучить модель на чистых данных для удаления нейронов с бэкдором - очистка моделей машинного обучения от троянов

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

БД Вконтакте

Интересная презентация про базы данных Вконтакте

Эмулятор поездок

Фреймворк для моделирования транспортного планирования

Что за данные?

ydata-profiling пакет для Exploratory Data Analysis (EDA). И примеры его использования

См. также другие публикации, посвященные EDA

Универсальный телефонный API от GSMA

GSMA announced the creation of open telephony interfaces for third-party providers.
Lack of third party support has always been the Achilles' heel of telecom, both wired and wireless.
The need for such APIs is obvious, attempts have been made to create them, but there is no result.
Will a new attempt succeed or is it already too late?

из презентации на FRUCT-2023

Верификация моделей ML

Проверка моделей машинного обучения - deepchecks

MLOps

Еще одна интересная подпорка ресурсов по MLOps. Между прочим, real time machine learning - это также MLOps

См. также другие публикации по теме MLOps

Индексы в базах данных

Как устроены индексы в базах данных. На примере PostgreSql.

DCCN 2022

Материалы конференции DCCN 2022

OWASP Top 10 List for Large Language Models

OWASP о проблемах LLM

См. также другие публикации по теме prompt и LLM

DOI сейчас

Тестируем новый сервис для получения DOI для статей. Пока работает, денег не просят

IoT в Умном городе

Интернет вещей в городских службах. Libelium - реально лидирующая компания в практике IoT

Как нам преобразовать AGI

Экспертный опрос: Towards best practices in AGI safety and governance: A survey of expert opinion. Очевидно, что понимание того, что что-то нужно делать с аудитом ИИ (машинного обучения) превалирует над пониманием того, что же конкретно нужно делать

См. также другие публикации по теме аудит

Базовые понятия статистики

5 Statistics Concepts Will Boost Your Success in Data Science Interviews

Statistical Power
Type I error
Type II error
Confidence Interval
P-value

P.S. См. также другие публикации по теме статистика

Спросить вопрос

Продолжая тему об опросах LLM:

Prompt Engineering Guide

См. также другие публикации по теме prompt и LLM

Атаки отравлением на LLM

Вполне очевидно - можно отравлять данные для LLM. Вот здесь еще суждения по этому поводу.

А если еще такие модели обучать раздельно (federative learning), то отравления будут еще более легкими

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению и LLM

Вероятность - это наше все

Фундаментальные основы вероятности и ее применения - интересная книга

Бэкдоры и преобразование Фурье

Использование преобразования Фурье для построения скрытых триггеров

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

MLOps

Руководство по MLOps

О кибербезопасности AI

Новый отчет из Стенфорда о кибербезопасности AI

Protect AI - сканер безопасности для Jupyter Notebooks. И созданное имии сообщество MLSecOps для обсуждения проблем безопасности ИИ

См. также другие публикации по теме аудит

О профессии Data Engineering

Интересные рассуждения о требованиях к Data Engineering. Автор предлагает разделить эту специальность на 4:

• Data Analytics Engineer
• Platform Engineer
• DataOps Engineer
• Database Reliability Engineer

Важная тема, в контексте того, чему нужно учить студентов

Как спросить?

Prompt engineering - относится к методам взаимодействия с LLM (большими языковыми моделями), чтобы управлять их поведением для получения желаемых результатов без обновления весов модели. Это эмпирическая наука, и эффект оперативных инженерных методов может сильно варьироваться в зависимости от модели, что требует серьезных экспериментов и эвристики

Еще о prompt engineering:

Техника инженерии запросов

Prompt Engineering (In-Context Prompting) - большая статья

См. также другие публикации по теме prompt и LLM

Аудит для LLM

Администрация киберпространства Китая объявила о проекте руководящих принципов, которые потребуют проверки безопасности сервисов генеративного ИИ, прежде чем им будет разрешено работать. В предлагаемых правилах говорится, что операторы ИИ должны обеспечивать точность контента, уважать интеллектуальную собственность, не подвергать опасности безопасность и не допускать дискриминации. Кроме того, контент, созданный ИИ, должен быть четко помечен. Этот шаг является частью растущих усилий Китая по регулированию быстрого распространения генеративного ИИ с момента дебюта ChatGPT OpenAI в прошлом году. Это развитие соответствует зарубежным компаниям, включая Google и Microsoft, которые изучают потенциал генеративного ИИ. Отсюда

См. также другие публикации по теме аудит

Self-Supervised Learning

A Cookbook of Self-Supervised Learning - очень подробная книга

Анализ спроса

Книга в открытом доступе Demand Forecasting for Executives and Professionals

AI аудит

An In-Depth Guide To Help You Start Auditing Your AI Models

Closing the AI Accountability Gap: Defining an End-to-End Framework for Internal Algorithmic Auditing

GAFAI: Proposal of a Generalized Audit Framework for AI

См. также другие публикации по теме аудит

DAMDID 2022

Часть статей опубликована в журнале "Труды института системного анализа" Номер 1 за 2023 год

Блокчейн: направления исследований

Темы работ для конференции BRAINS 2023 (5th Conference on Blockchain Research & Applications for Innovative Networks and Services)

Topics of interest

Fundamentals of Blockchain and DLT:
Theoretical contributions on Blockchain and DLT
Distributed consensus and fault tolerance solutions, including domain-specific consensus (e.g., for IoT)
Protocols and algorithms
Distributed Ledger Analytics
Tradeoffs between decentralization, scalability, performance, and security
Sharding and layer 2
Combination between Blockchain and distributed databases (e.g., IPFS)

Fundamentals of Decentralized Apps, Smart contracts, and chain code:
Development languages and tooling
Security, Privacy, Attacks, Forensics
Transaction Monitoring and Analysis
Collaboration between on-chain and off-chain code
Token Economy and incentives
NFT (Non-Fungible Tokens) and protocols
Distributed Trust
Oracles
Blockchain as a service
Blockchain-defined networking

Application and service cases of DLT and Smart-Contracts:
Identity management (e.g., Self-sovereign Identity and Decentralized Identifiers, Open ID Connect)
Finance and payments
DeFi (Decentralized Finance)
IoT and cyber physical systems
Smart grids and Industry 4.0, including Dataspaces
Supply chain management
V2X, connected and autonomous vehicles
Networking, Edge and Cloud Technologies
Blockchain for Beyond 5G and 6G Technologies, Telecom Process and Operation
Blockchain and AI (e.g., for federated learning)
Services or Resources Marketplaces
Public sector Blockchain solutions and infrastructures (e.g., EBSI)
Blockchain for education, public administration, health
Results from large collaborative projects on these topics

См. также другие публикации, посвященные blockchain

Схемы атак на модели машинного обучения

В настоящей статье рассматриваются схемы атак на системы искусственного интеллекта (на модели машинного обучения). Классически, атаки на системы машинного обучения - это специальные модификации данных на одном из этапов конвейера машинного обучения, которые призваны воздействовать на модель необходимым атакующему образом. Атаки могут быть направлены на то, чтобы понизить общую точность или честность модели, или же на то, чтобы, например, обеспечить, при определенных условиях, необходимый результат классификации. Другие формы атак могут включать непосредственное воздействие на модели машинного обучения (их код) с теми же целями, что и выше. Есть еще специальный класс атак, который направлен на извлечение из модели ее логики (алгоритма) или информации о тренировочном наборе данных. В последнем случае не происходит модификации данных, но используются специальным образом подготовленные множественные запросы к модели.

Общей проблемой для атак на модели машинного обучения является тот факт, что модифицированные данные есть такие же легитимные данные, что и не подвергшиеся модификации. Соответственно нет явного способа однозначно определить такого рода атаки. Их эффект в виде неправильного функционирования модели может проявиться и без целенаправленного воздействия. По факту, атакам подвержены все дискриминантные модели.

Отсюда

Анти-API

Защита от атак инверсии моделей с помощью фальшивых откликов. Никому верить нельзя

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

INJOIT vol.11 no. 5

Вышел пятый номер журнала INJOIT в 2023 году. И одиннадцатый год издания журнала.

Темы статей:

• О задачах извлечения корня из заданного конечного языка
• О модификации схемы подписи Эль-Гамаля для применения в одном классе систем голосования, использующих механизм подписи вслепую
• Обзор методов построения рекомендательных систем на основе сессий
• Research on the Development of Data Augmentation Techniques in the Field of Machine Translation
• Методы повышения эффективности алгоритма полного перебора на примере решения задачи о неограниченном ранце
• Applying Machine Learning to Optimize Vaccine Distribution for COVID-19
• Выявление ошибок разметки данных с помощью моделей классификации для небольших наборов данных
• Prospects for Information Security in Big Data Technology
• Схемы атак на модели машинного обучения
• Разработка программного обеспечения телеграмм бота для студентов и абитуриентов ГБОУ ВО НГИЭУ
• Инструменты статистической обработки результатов онлайн тестирования студентов
• Автоматизация расчета предела прочности композитных материалов с металлической матрицей с использованием программных средств
• Dynamics of the temperature regime of permafrost soil and ice thickness during climate change
• Using Mathematical Modeling to Generate Training Data in Hydrotreating Processes
• Перспективы и стратегии пространственного планирования российской экономики как крупномасштабной системы в современных условиях
• Модуль управление доступом на основе атрибутов для веб-запросов из разных источников
• Тестирование методов обработки комментариев из Telegram-каналов и пабликов ВКонтакте для анализа социальных медиа
• Механизмы межсервисной аутентификации в приложениях с микросервисной архитектурой

Архив журнала находится здесь.

/via Лаборатория ОИТ

Транспортные двойники

Интересная работа по транспортным цифровым двойникам

См. также другие публикации, посвященные digital twins

Что могут и не могут LLM

Рассуждения о внутреннем техническом устройстве больших языковых моделей

Риски LLM. Или в более общей форме - контента, генерируемого AI

Поиск аномалий в табличных данных с помощью LLM

См. также другие публикации, посвященные LLM

LLM в критических операциях

Военные применения больших языковых моделей. А значит и здесь встане вопрос об устойчивости и гарантиях работы модели.

Поговорил с LLM

Q: Model inversion attack on ml model. How to prevent it?

A: A model inversion attack is a type of security threat that involves using machine learning models to extract sensitive information from their inputs or outputs. To prevent such attacks, there are several techniques and best practices that can be implemented:

Regularization: This technique helps reduce overfitting by adding regularization terms during training, which limits the capacity of the model to memorize specific patterns in the data. As a result, the model will generalize better and be less prone to model inversion attacks.

Data masking/obfuscation: One way to prevent leakage of sensitive information through the ML model’s output is to pre-process the input or obfuscate the output data to make it difficult for an adversary to reverse engineer the original data. Techniques like noise injection, image blurring, feature deletion, and permutation can help protect against potential attacks.

Access control: Limiting access to the ML model and its outputs can significantly reduce the risk of exposure of sensitive information. Implement strict authentication and authorization controls around access to trained ML models as well as any APIs or interfaces used to interact with them.

Detection mechanisms: Develop mechanisms to detect, alert and block malicious activities related to inversion attacks. Monitor usage logs and apply statistical analysis, anomaly detection algorithms, or other methods to identify suspicious behavior, IP addresses, and user agents associated with inversion attempts.

Q: Adversarial attack on ML model. How to use topology for protection?

A: Topology refers to the structure, arrangement, or organization of elements in a system. In the context of Machine Learning (ML) models, topology can refer to the architecture of the neural network or the relationships between different components within the model. Here are some ways you could leverage topology for the purpose of defending against adversarial attacks:

Architecture design: The choice of the ML model architecture and the number of layers, neurons per layer, and activation functions has a significant impact on model robustness. By selecting architectures that have demonstrated strong robustness against adversarial attacks, you may achieve greater defense capabilities. For example, ResNet and EfficientNet families of convolutional networks have shown good performance under various types of adversarial attack.

Diversity: Introduce diversity into the model, either by having multiple models, each trained on slightly different subsets of the dataset, or varying parameters such as weight initializations, batch normalization scale/shift settings, dropout rates etc. An attacker would need to craft inputs effective for all versions, so this increases attack effort, reduces effectiveness of mass-produced attacks, and allows time for human intervention. Ensemble methods combining predictions across diverse models also tend to produce higher quality results than single models.

Интересно ! :) Отвечал - HuggingChat

По шаблону

Интересная работа - шаблоны проектирования про разработке моделей машинного обучения

Кладезь знаний

Датасет с контентом веб-сайтов (15 млн.), на котором обучался ChatGPT. Учитель для LLM

Deep Learning

Симпатичный курс по глубинному обучению (со всеми материалами) из университета Женевы и компактный учебник от автора

Атаки инверсии модели

Model Inversion attack - получение приватной информации из тренировочного набора:

Как атаковать

Как защищаться

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Интернет всего

Да еще и социальный: Second International Workshop on Social Internet of Anything – 2023

Темы:

Social network analysis applied to communication networks (Online/Offline SN, Internet of Vehicles, Internet of Things, etc.)
Security, privacy and trust issues in Social Internet of Anythings
Connectivity management ruled by social features
Machine learning for Big Data analytics in social Internet of Anythings
Integration of social aspects in traditional ad-hoc networks
Small-world theory applied to Social Internet of Anythings
Cross-layer design of communication networks and social networks
Epidemic social network analysis for pandemic contention
Social networking for contact tracing, location and tracking
Social Data and multimedia communication and privacy
Infrastructure, platform, protocol design, and optimization for mobile social networks, mobile social clouds, and social Internet-of-Things with Artificial Intelligence
Social-aware network solutions and social network influence on (wireless) communications systems
Architectures and Protocols for Blockchain-based social media platforms

Наши работы по сетевой пространственной близости очень хорошо вписываются в эту тематику.

K-means

Простое руководство по K-means кластеризации

Проверка, испытания и наладка электрооборудования

Электролаборатория ООО «БЬЮФОРТ» оказывает комплексные услуги по проверке, испытанию и наладке электрооборудования электроустановок до 10кВ. Электроизмерительная лаборатория имеет необходимый комплект высокоточных современных электроизмерительных и испытательных приборов. Работа электротехнической лаборатории регламентируется методическими рекомендациями, согласованными со специалистами Ростехнадзора по Москве, действующим законодательством и ПУЭ.

Электролаборатория ООО «БЬЮФОРТ»

Ассоциативные правила

Учебный материал с исходными кодами - построение ассоциативных правил по датасету

Встроенные финансы

Финансовые продукты (услуги) теперь становятся частью других продуктов

Устойчивость транспортной сети

Интересная работа по оценке устойчивости транспортной сети

Цифровые двойники дорог

Очень практическая статья по цифровым двойникам дорог

см. также другие публикации по теме двойники

Не нужно много данных

Andrew NG о Data Centric AI

Повсеместная безопасность

Повсеместные вычисления (вездесущие вычисления, юбикомп, от англ. ubiquitous computing) — понятие, обозначающее модель взаимодействия человека с вычислительной системой, в которой пользователь окружён вычислительными устройствами, пронизывающими окружающую среду, интегрированными в повседневные вещи. В отличие от виртуальной реальности, где в компьютере отражается виртуальный мир, при повсеместных вычислениях компьютеры привносятся в реальный мир вокруг человека, этот мир состоит из множества цифровых мини-помощников (окружающий интеллект). Таким образом, под повсеместными вычислениями понимают компьютеры в мире человека, а не человеческий мир внутри компьютера.

Проблемы безопасности в повсеместных вычислениях: Ubiquitous Security

GMAI

Большая языковая модель для медицинского AI - Generalist Medical AI

Про аутентификацию

/via ByteByteGo

LLM в медицине

Рельность использования ChatGPT в медицинской диагностике. Спойлер - 50% вероятность правильного диагноза. Можно и монетку было бросить ...

Кто же автор?

К вопросу определения текстов, написанных LLM

Городские данные

Фреймворк для анализа городских данных

О формализме

Немного старая, но интересная коллекция работ, посвященная формальным методам проверки в машинном обучении

Кибербезопасность киберфизических систем

Хорошее практическое применение стандартов NIST в описании проблем кибербезопасности CPS на примере железной дороги.

Wi-Fi CSI

Интересная работа по подсчету количества пассажиров в транспорте на основе анализа Wi-Fi CSI: Jiang, Hongbo, et al. "Pa-Count: Passenger Counting in Vehicles Using Wi-Fi Signals." IEEE Transactions on Mobile Computing (2023).

VK NFT

NFT-проекты хакатона VK

Что знают LLM

Интересная статья о представлении знаний в LLM

Все едино

Просто о Single Sign-On (SSO): SAML, OAuth2, OIDC

AI report 2023

Очередной отчет по ИИ от Стенфордского университета

Интересное замечание: "Хотя проверка фактов с помощью систем естественного языка стали популярными в последние годы, языковые модели обычно обучаются на статических снимках данных без постоянных обновлений с течением времени, и им не хватает контекста реального мира, который люди, проверяющие факты, могут легко получить и использовать для проверки достоверности утверждений. Исследователи Технического университета Дармштадта и IBM проанализировали существующие наборы данных для проверки фактов выявлены недостатки систем проверки фактов, построенных на основе этих наборов данных. Например, автоматизированные системы проверки фактов часто предполагают наличие противоречивых контрдоказательств для новых ложных утверждений, но для проверки новых утверждений, как истинных так и ложных, часто нет доказательства наличия или отсутствия противоречия."

Иными словами, факт отвергается, если в датасете есть противоречивое утверждение. А если такого нет? Пример из отчета - утверждение "Чтобы создать вакцину от COVID-19, можно убить миллион акул". Это не будет опровергнуто, посокльку нет обратного утверждения. Тогда как человек модет проверить информацию о вакцине.

Городское IT

Хакатон: IT, информационные технологии для транспортной отрасли. Разработка программных продуктов, повышающих разумность и комфортность городской среды

Запросы на графах

Большой обзорный материал по ответам на запросы (Complex logical query answering) на графах

Фальшивые звуки

Отравление данных и бэкдоры для аудио-систем

Вопрошатель

Prompt engineer - человек, который задает правильные вопросы большим языковым моделям. С зарплатой до $335 000 в год. Не все могут себе такое позволить. И, соответственно, появились маркетплейсы для таких вопросов. То есть можно, в прямом смысле, купить вопрос.

Риски в ИИ

По факту - риски в машинном обучении - статьи и отчеты

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Как это работает

Визуальные объяснения основных концепций машинного обучения