Международный конгресс «СОВРЕМЕННЫЕ ПРОБЛЕМЫ КОМПЬЮТЕРНЫХ И ИНФОРМАЦИОННЫХ НАУК»

30 ноября - 2 декабря 2023 года на факультете вычислительной математики и кибернетики Московского государственного университета имени М.В. Ломоносова состоится Международный конгресс «СОВРЕМЕННЫЕ ПРОБЛЕМЫ КОМПЬЮТЕРНЫХ И ИНФОРМАЦИОННЫХ НАУК». В рамках Конгресса будут проведены пленарные заседания и серия научных мероприятий, соответствующих приоритетным направлениям развития науки, технологий и техники в Российской Федерации в крупнейшей междисциплинарной области современности - информационно-телекоммуникационные системы - которая объединяет представителей математики, информатики, физики и наук о материалах, компьютерных наук, наук о данных и гуманитарных наук из России и зарубежных стран.

Подробнее об участии - здесь

Мониторинг LLM

Что и как отслеживать для LLM

См. также другие публикации, посвященные LLM

Защита критической инфраструктуры

Один из основных игроков на рынке кибербезопасности о защите критической инфраструктуры В частности, рассматривается фреймворк Pipedream

ИИ ГОСТы

Список действующих стандартов по направлению Искусственный интеллект

ThingPlug

Открытая IoT платформа от SK TELECOM - ThingPlug platform

См. также другие публикации по теме IoT

Оценка уязвимостей

Как оценивать уязвимости в программном обеспечении?

Серьезность и возможность использования — это два разных измерения серьезности обнаруженной уязвимости. Усилие по исправлению измеряет сложность работы, необходимой для исправления результата.

Серьезность — это потенциальное влияние на конфиденциальность, целостность и доступность приложения, как это определено в CVSS (Общая система оценки уязвимостей). Возможность использования — это вероятность или легкость, с которой злоумышленник может использовать обнаруженную информацию. Обнаружение высокой важности с высокой вероятностью использования злоумышленником потенциально более опасно, чем обнаружение высокой серьезности с низкой вероятностью использования.

Усилие по исправлению, также называемое сложностью исправления, является мерой ожидаемых усилий, необходимых для исправления результата.

Атаки на сертификацию

Интересная идея - состязательные атаки на алгоритмы сертификации моделей машинного обучения

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Лучше поздно, чем никогда

Предложен стандарт для проверки безопасности smart contracts. Сейчас эти контракты - реальная черная дыра.

О редких join

Знаете ли вы о Partitioned join и Lateral join в SQL?

Просто и эффективно

Архитектура Instagram

Нас этому не учили

Out-of-distribution (OOD) - определить при использовании модели машинного обучения тот факт, что мы встретили данные, отличающиеся от тренировочного набора.

1. Фреймворк для оценки надежности моделей машинного обучения от Google. Предлагается одновременно провести стресс-тестирование производительности «готовой» модели (т. е. прогнозируемого распределения) в терминах неопределенности, надежного обобщения и адаптации к новым данным.

2. Интересный автор из списка MIT Technology Review’s 2023 Innovator of the Year, который занимается исследованиями по данной теме: Sharon Yixuan Li

P.S. см. также другие публикации по теме out-of-ditribution-detection: OOD

P.P.S. статья в журнале INJOIT: Namiot, Dmitry, and Eugene Ilyushin. "Data shift monitoring in machine learning models." International Journal of Open Information Technologies 10.12 (2022): 84-93.

Будьте проще

Очень верные слова Google про web3 - нужно спрятать технологический жаргон от пользователей.

VLAM

Интересно - Vision-Language-Action Models (VLAMs). Использует возможности LLM для выработки суждений для анализа движения

См. также другие публикации, посвященные LLM

Подкрепленье не прислали

Про обучение с подкреплением:

1. Книга в свободном доступе Reinforcement Learning: An Introduction

2. Reinforcement Learning: an Easy Introduction to Value Iteration

См. другие публикации, посвященные Reinforcement Learning

ChatGPT список списков

The ChatGPT list of lists: A collection of 3000+ prompts, examples, use-cases, tools, APIs, extensions, fails and other resources

См. также другие публикации, посвященные LLM

См. также другие материалы, посвященные подсказкам

Цензор для LLM

Как фильтровать выдачу LLM

См. также другие публикации, посвященные LLM

Галлюцинации

Когда большая языковая модель может довести авторов до суда

См. также другие публикации, посвященные LLM

Для начинающих

Курс AI for beginners от Microsoft

Там же:

Web Dev for Beginners
IoT for Beginners
Machine Learning for Beginners
Data Science for Beginners

Доверенный ИИ

Кто, где и что - карта исследований trustworthy AI

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Что в коде моем?

ChatGPT-подобный интерфейс к интерпретатору программ. Запустите код, а потом LLM расскажет, как он работает

Триггер против очистки

Две статьи по backdoor-атакам, которы должны проверяться одна против другой: генерация динамических триггеров и независимый метод очистки

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

См. также другие публикации по бэкдор атакам

Практика отравлений

Атаки отравления данных на практике

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Защита моделей ML

Интересная идея - описать ограничения для моделей

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

ML в критических приложениях

Использование систем машинного обучения в военной авиации (DAF). Описывается тестирование и оценка систем машинного обучения.

Ясно выражено то, о чем мы писали в своих статьях о мониторинге работы реальных моделей:
"Commercial solutions will certainly incorporate methodology for monitoring and retraining models, but it is unlikely they will incorporate processes that capture the complex system integration and risk frameworks that apply to DAF systems, especially safetycritical systems in the foreseeable future. The DAF should invest in synthetic data engines, live virtual constructive environments, data repositories, and support for digital twins representative of their modalities and platforms of interest to facilitate rapid model retraining and maintenance. Data standards must be extended to the platforms to support this retraining and enable fast capture of AI-ready data to facilitate retraining around model failure events."

Mastering BERT

Руководство по программированию BERT. Хорошо написано.

Вопрошалки

1. 150 Best ChatGPT Prompts For Every Type Of Workflow

2. 202 Awesome ChatGPT Prompts to Boost Productivity

3. Tips to enhance your prompt-engineering abilities

4. Prompt Engineering: A Practical Example

См. также другие публикации, посвященные LLM

См. также другие материалы, посвященные подсказкам

LLM и кибербезопасность

Хороший и подробный обзор Use of LLMs for Illicit Purposes: Threats, Prevention Measures, and Vulnerabilities

См. также другие публикации, посвященные LLM

AI Red Team - 2

Продолжая тему AI Red Team (см. предыдущую публикацию здесь):

1. Google опубликовал программный документ Securing AI: Similar or Different?

2. Статья Google: Why Red Teams Play a Central Role in Helping Organizations Secure AI Systems

3. Интересное интервью с CISO Google Cloud: What we can learn when responsible hacking meets responsible AI

4. NVIDIA AI Red Team: An Introduction. Хорошее введение в проблему, фреймворк и набор используемых инструментов.

5. Следующая платформа для кибербезопасности - Securing AI: The Next Platform Opportunity in Cybersecurity

6. Red Team для больших языковых моделей (LLM)

Мартингалы и робастность

Как еще можно определять сдвиг данных? Использовать мартингалы. Основная причина использования мартингала, а не более известной статистики сдвига распределения, заключается в том, чтобы избежать «группирования» данных временных рядов в произвольно определенные интервалы для расчета распределения. Вот пример.

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Камуфляж и состязательные атаки

Состязательные атаки на модели машинного обучения бывают в цифровом и физическом доменах. Старейшей формой физической атаки является камуфляж. Вот в данной статье как раз исследуется влияние камуфляжа на распознавание объектов в моделях машинного обучения.

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Все атаки из архива

Статьи, посвященные состязательным атакам из arxiv.org. Поддержка: Nicholas Carlini (атака Carlini-Wagner).

Интересная статья из этого списка: MDTD: A Multi-Domain Trojan Detector for Deep Neural Networks. Идея метода проверть в реальном времени, содержат входные данные триггер или нет. Основывается на том, что "чистые" экземпляры данных, и экземпляры данных с триггером находятся на разных расстояниях от границы решений.

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Мошенники на потоке

Интересная работа - Fraud Detection in Streaming Services

ИИ в космосе

Интересный обзор моделей ИИ (моделей машинного обучения) в космической сфере

DASP Top 10

Decentralized Application Security Project - 10 главных уязвимостей

Мониторинг наборов данных

Как следить за сдвигом данных в MS Azure,

ChatGPT в атаке

Некоторые ссылки, посвященные генерации или обработке вредоносного контента с помощью LLM. Собрано для новой магистратуры по Кибербезопасности

ChatGPT and Malware: Making Your Malicious Wishes Come True

WormGPT и FraudGPT

Пока не очень получается генерить вредоносное ПО, но фаззинг является перспективной идеей для LLM. Google обещает открыть детали

DarkBERT и DarkBARD - Google API и тренировка на всем даркнете.

PentestGPT - надстройка для ChatGPT, тесты проникновения
Deng, Gelei, et al. "PentestGPT: An LLM-empowered Automatic Penetration Testing Tool." arXiv preprint arXiv:2308.06782 (2023).

Beckerich, Mika, Laura Plein, and Sergio Coronado. "RatGPT: Turning online LLMs into Proxies for Malware Attacks." arXiv preprint arXiv:2308.09183 (2023).

Интересная презентация - Marcus Botacin. 2023. GPThreats-3: Is Automated Malware Generation a Threat? SlideShare.

Jennifer Fernick. 2023. On the malicious use of large language models like GPT-3. nccgroup.

A Survey on Large Language Model based Autonomous Agents. Агентам предстоит сыграть важную роль в автоматизации кибератак.

Malware researchers analyzed the application of Large Language Models (LLM) to malware automation investigating future abuse in autonomous threats. Executive Summar

Aaron Mulgrew. 2023. I built a Zero Day virus with undetectable exfiltration using only ChatGPT prompts.

Fábio Perez and Ian Ribeiro. 2022. Ignore Previous Prompt: Attack Techniques For Language Models. arxiv:2211.09527

OPWNAI: Cybercriminals Starting to Use ChatGPT. Check Point.

Sangfor Technologies. 2023. ChatGPT Malware: A New Threat in Cybersecurity.

Gradient Flow: Unleashing LLMs in Cybersecurity: A Playbook for All Industries

Awesome Large Language Model Tools for Cybersecurity Research

New LLM-based SOC tool to help automate security response

Hazell, Julian. "Large language models can be used to effectively scale spear phishing campaigns." arXiv preprint arXiv:2305.06972 (2023).

См. также другие публикации, посвященные LLM

Векторные базы данных

И новая область применения для векторных баз данных - хранить эмбеддинги в машинном обучении

Парадоксы статистики

Интересно о статистике:

Accuracy Paradox

False Positive Paradox

Gambler’s Fallacy

Simpson’s Paradox

Berkson’s Paradox

AI Red Team

Этичные хакеры, которые атакуют системы ИИ. Это стало особенно актуально для больших языковых моделей. Как это устроено в компаниях:

Google

Микрософт

Open AI

См. также другие публикации, посвященные LLM

О робастности

Distributional evasion attacks (атаки уклонения распределения): при атаках уклонения распределения атакующий смещает все распределение тестовых данных на некоторое ограниченное расстояние с целью максимизации ожидаемых потерь. Эта модель угроз может быть использована для характеристики способности ML-моделей к обобщению вне распределения. Сертификация по этой модели угроз представляет собой верхнюю границу ожидаемых потерь.

Global evasion attacks (глобальная атака уклонения): можем менять любые входные данные (локальная атака уклонения меняет данные только внутри существующего распределения). Глобальная атака уклонения относится к робастности во всем диапазоне входных данных. Под робастностью по-прежнему понимается то, что малые изменения не меняют результат.

Отсюда: Li, Linyi, Tao Xie, and Bo Li. "Sok: Certified robustness for deep neural networks." 2023 IEEE Symposium on Security and Privacy (SP). IEEE, 2023.

Атаки и отравления

Awesome Data Poisoning and Backdoor Attacks - большой список публикаций с кодом Awesome Backdoor Attack and Defense - свежие работы по отравлению

Backdoor атаки

Backdoor защиты

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

См. также другие публикации по бэкдор атакам

О вероятности

Частота или Байес?

Атаки на приватные данные

В потоке запросов к MaaS определить атаку на приватные данные. Идея определения атаки - схожесть последовательных запросов. Схожая идея была реализована в нашей статье c J.Song, которая будет представлена на DCCN-2023

P.S. авторы, похоже, удалили исходный код из репозитория Responsible Data Science Lab

Кругом враги

Byzantine Machine Learning - распределенное машинное обучение, когда присутствуют узлы с поврежденными (отравленными) данными и противоборствующим поведением

LLM - проблемы и направления исследований

Интересный обзор - что делать с LLM

См. также другие публикации, посвященные LLM

Зашита от отравлений

Arshad, Iram, et al. "A Novel Framework for Smart Cyber defence: A Deep-Dive into Deep Learning Attacks and defences." IEEE Access (2023). - фреймворк для защиты от атак отравлением на модели машинного обучения.

Искусственные контрфактические примеры

Как оценить эффект изменений, если A/B тесты провести прямо нельзя - ACE - Artificial Counterfactual Estimation

ML на защите

Машинное обучение в задачах кибербезопасности. Защита. Хороший обзор

Causal Inference

О вечном вопросе Почему?

см. также другие публикации, посвященные каузальности

Социальный симулятор

Интересный продукт - по mindmap может построить эмулятор событий

Что же важно для модели?

Использование SHAP для анализа важности фичей. Интересная задача - сравнить SHAP и feature importance

См. также другие публикации, посвященные SHAP

Защита изображений

Попытки построить инструменты, которые предотвратят использование изображений для построения deep fakes

Probabilistic Machine Learning: Advanced Topics

Книга, вероятно, вышла

См. также другие публикации по теме Probabilistic Machine Learning

Лекции AIRI

Лекции летней школы по Искусственному интеллекту airi.ru

ИИ ГОСТы

Действующие ГОСТы для Искусственного интеллекта

Все про MLOps

Awesome MLOps - коллекция ссылок

См. также другие публикации по теме MLOps

Цифровые двойники инфраструктуры

Civil Infrastructure Digital Twins: Multi-Level Knowledge Map, Research Gaps, and Future Directions

См. также другие публикации, посвященные digital twins

Устройство ChatGPT

Хорошее объяснение работы LLM

См. также другие публикации, посвященные LLM

3D geometry generation

Новое направление для ML - 2D и 3D geometry generation. Основной назначение сейчас - лекарства

Платежный сервис с блокчейн

Платежный сервис на основе блокчейн от VISA

См. также другие публикации, посвященные блокчейн

SESIP

Сертификация IoT устройств по кибербезопасности

См. также другие публикации по теме IoT

LLM и кибербезопасность

Использование ChatGPT в кибератаках и защитах

См. также другие публикации, посвященные LLM

Интеллектуальные транспортные системы

Хороший обзор: IoT + ITS

Сергей Дмитриевич Кузнецов

Больше не услышать его лекций по базам данных :(

Открытая наука: INJOIT том 11, номер 7

Очередной номер журнала INJOIT появился на сайте Киберленинка.

Это том 11, номер 7 за 2023 год.

/via Лаборатория ОИТ

BASE

Поиск по научным публикациям - BASE

5G IoT

Архитектура системы IoT на основе 5G и блокчейн

См. также другие публикации, посвященные блокчейн

Про дипфейки

Определять не получается - давайте размечать контент

См. также другие публикации по теме deepfake

Защита блокчейн

Защита блокчейн от кибератак - интересная диссертация

См. также другие публикации, посвященные блокчейн

ЖД двойник

Цифровой двойник рельсовых путей

См. также другие публикации, посвященные digital twins

SOTA LLM

Что мы знаем за LLM?

См. также другие публикации, посвященные LLM

Риски ИИ

Gartner об управлении рисками Искусственного интеллекта

Отравление данных NIDS

Атака переворачиванием меток на системы определения вторжений

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Эмбеддинг не той системы

Определение сдвига данных в ML embeddings

См. также другие публикации по теме мониторинг

Безопасность блокчейн

Руководство по безопасности блокчейн

Кибербезопасность блокчейн в сравнении с "обычной" кибербезопасностью

Учебный курс по безопасности блокчейн

Network sensing

Использование сетей WiFi/4G/5G в роли сенсора. Например, для слежения за человеком

Вспомнить все

Интересная работа, к которой исследуются "лишние" параметры моделей ML. Через них атакующий может атаковать систему

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению и LLM

Blockchain mindmap

Как развивался блокчейн - интеллект-карта

См. также другие публикации, посвященные блокчейн

Как они едут?

Интересная статья по визуализации передвижения автономных автомобилей. Ну и других автономных транспортных средств

ML в финансах

Машинное обучение в финансовой математике. Книга в открытом доступе.

ИИ и кибербезопасность

Довольно подробный обзор литературы по теме Искусственный интеллект и кибербезопасность

Кибербезопасность в МГУ

Магистерская программа по кибербезопасности обрела свой сайт

Атаки на LLM

Карта поверхности атак на LLM

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению и LLM

Поиск бэкдоров в черном ящике

Еще один интересный подход к поиску бэкдоров. И также основан на объяснениях.

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Бессерверные вычисления

Azure Functions в анализе потоковых данных

См. также другие публикации по анализу потоков данных

Введение в статистическое обучение

Новейшие (2023) редакции популярной книги на основе R и Python

Теоретические основы ИБ

Вводный курс по основам Информационной безопасности

Европейская кибербезопасность

Публикации ENISA - Европейское агентство кибербезопасности

Утечки из LLM

Инструментарий анализа утечек данных из LLM

См. также другие публикации, посвященные LLM

Открытая наука: INJOIT том 11, номер 6

Очередной номер журнала INJOIT появился на сайте Киберленинка.

Это том 11, номер 6 за 2023 год.

/via Лаборатория ОИТ

Больше Интернетов

В коллекцию разных Интернет чего-нибудь: Интернет звуков

О дистилляции знаний

Knowledge distillation и бэкдоры - новый процесс очистки моделей

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

О сертификации систем Искусственного интеллекта

Презентация для конференции Grid 2023: On Certification of Artificial Intelligence Systems

Кибербезопасность

Открыт прием в новую магистратуру ВМК МГУ совместно со Сбербанком

Реальный триггер для бэкдора

Интересная идея - триггер для бэкдор атаки определяется через поведение сторонних агентов

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

В реальных условиях

Интересная диссертация по практическому повышению устойчивости по отношению к сдвигам данных моделей машинного обучения - Robustness, Evaluation and Adaptation of Machine Learning Models in the Wild

Атаки инверсии модели

Хороший обзор: Model Inversion attacks

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

LLM & knowledge graph

Большие языковые модели и граф знаний

Об уменьшении размерности

PCA простыми словами

См. также другие публикации, посвященные PCA

О дрифтах

Практическое измерение сдвига данных