По отдельности и в общем

Ну и традиционное для 31 декабря - маму с мылом с новой рамой.

Вас!
И нас!
И всех отчасти!
По отдельности и в общем!
С Новым Годом! В смысле - счастьем!
С новым счастьем! То есть, вот с чем:
С новой крышей! С новым домом!
С новым блином! С новым комом!
С новой правдой! С новым сном!
С новой стопкой кверху дном!
С новым делом! С новым словом!

Читать полностью

Про ГРУ

Gated Recurrent Unit Recurrent Neural Network (GRU) и другие типы рекуррентных сетей

ИИ на краю

Детальный обзор: AI-based fog and edge computing: A systematic review, taxonomy, and future directions

Безопасность критической инфраструктуры

Нормативные акты и регламенты безопасности КИИ

Транспортные цифровые двойники

1. Очень практическая работа по цифровому двойнику для транспорта - двойник обрабатывает потоки (счетчики автомобилей) в реальном времени. Поминутная модель авто-трафика Женевы в цифровом двойнике

2. Моделирование трафика в городе с учетом всей доступной информации

3. Цифровой двойник для поддержки автоматического вождения и дорожных сервисов - двойник транспортной инфраструктуры

См. также другие публикации, посвященные digital twins

Охрана персональных данных

Что нужно знать разработчику про работу с персональными данными

Форматы медицинских изображений

DICOM - уже не единственный

Свой поток

Open Source реализация ML pipeline. Может стать хорошим прототипом для собственного проекта

Много вероятностей

Интересная книга в открытом доступе: High-Dimensional Probability and Applications in Data Science

Валидация систем машинного обучения

5 этапов валидации ML систем

См. также другие публикации по теме аудит

Геометрия в машинном обучении

Интересная статья о геометрических методах коррекции ошибок в ML

Бустинг, как он есть

Хорошее описание Boosting Algorithms In Machine Learning

LoRa и жизнь

Практические условия применения LoRaWan

Безопасность ML систем

Систематический подход к анализу безопасности систем машинного обучения: Attacks on ML Systems: From Security Analysis to Attack Mitigation

Отречемся от старого мира

Пора отказаться от Posix?

Ложные корреляции

Хороший интерактивный пример (учебник) - как с помощью карт значимости искать ложные корреляции в тренировочном наборе данных

Машинное обучение в таблицах Google

Add-on машинного обучения для Google Sheets. Симпатичный и простой инструмент - ищет аномалии, например

Свертки для вероятностей

Как распределена сумма двух нормальных распределений?

Спрятаться от тепловизора

Атаки патчами на системы распознавания позволяют стать "невидимыми" для камер. А вот плащ, который делает "невидимым" для тепловизора

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

А так можно было?

Машинное обучение с малыми объемами данных

Про диффузию

Как устроены диффузионные модели или что можно сделать из простого шума

Шаблоны в Python

Важный момент - шаблоны разработки в программировании систем машинного обучения

Сдвиг данных в глубинном обучении

Толковая статья по рекомендации Google: Piano, Luca, et al. "Detecting Drift in Deep Learning: A Methodology Primer." IT Professional 24.5 (2022): 53-60.

См. также другие публикации, темой которых является мониторинг моделей машинного обучения

Плотность или неопределенность

Два подхода к поиску OOD примеров в моделях машинного обучения.

См. также другие публикации, темой которых является мониторинг моделей машинного обучения

Покушение на святое

Атаки на рекомендательные системы для сессий. Интересен подход - сначала пробуют восстановить модель, а затем уже для полученной теневой модели подбирают атаку.

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Машинное обучение и кибербезопасность

Презентация 24.11.2022 на конгрессе в МГУ - Искусственный интелелкт и кибербезопасность:

Повышение кибербезопасности с помощью ИИ (использование ИИ в кибербезопасности)
Кибератаки с использованием ИИ (использование ИИ для усиления кибератак)
Кибербезопасность систем ИИ (атаки на системы ИИ)
Использование ИИ в злонамеренных информационных операциях (фейки с использованием ИИ)

Кибербезопасность в Европе

Европейские программы сертификации по кибербезопасности

О надежности GPS

Почему нужна наземная компонента геопозиционирования

G-computation

Воздействия, изменяющиеся во времени. Что это такое и как используется в медицине

Сдвиг данных и мониторинг

Хорошая статья по OOD мониторингу. По материалам Стенфордского курса CS239S

См. также другие публикации, темой которых является мониторинг моделей машинного обучения

Аномалии временных рядов

Объяснимый подход к определению аномалий во временных рядах

Интервью по Data Science

А также по статистике, Python и другим вопросам. С ответами.

См. также другие статьи, посвященные интервью

Аномалии на графах

Интересная статья - обзор поиска аномалий на графах

ИИ и кибербезопасность

Artificial Intelligence for Cybersecurity: Recent Advancements, Challenges and Opportunities

и наш собственный обзор: Намиот, Д. Е., Ильюшин, Е. А., & Чижов, И. В. (2022). Искусственный интеллект и кибербезопасность. International Journal of Open Information Technologies, 10(9), 135-147.

AI TRiSM

Artificial intelligence trust, risk and security management - главное направление развития ИИ

Гибридный ИИ

Интересная идея о новых подходах к системам Искусственного интеллекта для критических приложений - комбинация работы с данными и со знаниями

ИИ на доверии

Confiance.ai - французский проект по построению доверенного AI для критических приложений. Вот здесь есть информация о проекте

История нейронных сетей

Классный материал - иллюстрированная история нейронных сетей. В качестве иллюстраций использованы диаграммы из научный статей соответствующего времени.

И это двойник

Еще одно приложение цифровых двойников - поговорить с ушедшими

Свитер-невидимка

Класная идея - элементы рисунка на одежде представляют собой saliency map для системы распознавания. В результате - система распознавания видит много "лиц"

Software bill of materials

Новая процедура аттестации программного обеспечения

CyBOK

The Cyber Security Body Of Knowledge - база знаний по кибербезопасности

Low code ML

ML без программирования - обзор продуктов

Выбор количества кластеров

О выборе параметров в k-means

CNN - введение

Хороший материал по сверточным сетям

См. также другие статьи, посвященные CNN

Автомобильная архитектура

Архитектура программного обеспечения для автомобиля без водителя

Где у нас случилось?

Таймлайн событий в отечественной кибербезопасности

Точность и полнота

О метриках классификатора

Эффект

Книга в открытом доступе - The Effect: An Introduction to Research Design and Causality

См. также другие публикации, посвященные каузальности

DCCN-2022

Материалы конференции DCCN-2022

На краю

Обновляемый поток новостей об интересных исследованиях в ИИ

Красивые патчи

Развитие идей атаки патчами на системы распознавания объектов. Цель - создание одежды, которая делает человека "невидимым".

IoT 2022

Материалы конференции IoT Tech Autumn 2022. У организаторов получилось собрать интересные доклады.

Deep Learning из Женевы

Материалы курса по глубокому обучению университета Женевы

ML специализация

Материалы по "Machine Learning Specialization" by Andrew Ng

Data Science - введение

Материалы курса из Гарварда CS109A - Introduction to Data Science

И о науке

Вручение дипломов в ОИЯИ

Анализ временных рядов

Базовые понятия анализа временных рядов

Анализ данных - собеседования

Книга вопросов (и ответов) для подготовки к собеседованиям в области анализа данных

См. также другие ссылки по теме собеседований

События на графах

Моделирование распространения событий на графах

Архитектура XGBoost

Довольно простое и понятное описание XGBoost

Прикладное машинное обучение

Курс Cornell CS5785: Applied Machine Learning. Готовые ноутбуки

В однобортном сейчас уже никто не воюет

Мода в машинном обучении - быстротечна. Вот уже GAN вышли из моды, теперь модно играться с шумом в stable diffusion моделях

OOD мониторинг

Интересная работа по мониторингу out of ditribution значений в реальном времени. Определение "неподходящих" данных само по себе занимает время (в работе рассматриваются последовательные кадры видео). и для такого определения также актуальны требования робастности.

Товарные рекомендации

Практический пример item recommendations

См. также другие публикации по теме рекомендации

Порождающие модели

Материалы Стенфордского курса CS236 - Deep Generative Models: Syllabus и Notes

P.S. и статья в журнале INJOIT о порождающих моделях

Как долго я тебя искала

Естественная модель применения графов - рекомендация схожих товаров для покупки. Удивительно, что поиск такого естественного применения занял так много времени.

Оценка плотности данных

Плотность данных как метрика для оценки out-of-distribution данных

См. также другие публикации, темой которых является мониторинг моделей машинного обучения

Low code анализ данных

Идея изжить программистов пока еще не умерла. Скорее, здесь даже заметное оживление. Это касается и анализа данных - визуальные инструменты, которые позволяют собирать конвейеры обработки

P.S. см. также следующие публикации по теме без программирования

Кибербезопасность IoT

IoT SAFE - безопасность для Интернета Вещей

Bayesian Machine Learning and Information Processing (5SSD0)

Свежий (2022/2023) курс: Bayesian Machine Learning and Information Processing (5SSD0). Среди доступных материалов есть интересная коллекция notebooks

ИИ & кибербезопасность

Институт цифровой трансформации c3dt.ai - профинансированные исследовательские проекты. Горячие темы в связке Искусственный интеллект и кибербезопасность.

Цифровые двойники и ML

Машинное обучение в цифровых двойниках. Хотя обратное - цифровые двойники в машинном обучении было бы, пожалуй, интереснее. В контексте, например, мониторинга.

Мониторинг для систем машинного обучения

Некоторые статьи по мониторингу ML систем:

Сдвиг меток - оценка по модели черного ящика

Rahman, Quazi Marufur, Peter Corke, and Feras Dayoub. "Run-time monitoring of machine learning for robotic perception: A survey of emerging trends." IEEE Access 9 (2021): 20067-20075. одна из немногих работ по мониторингу в реальном времени

Manifold for Machine Learning Assurance - понижение размерности данных с помощью VAE и использование такой свертки для OOD (out of distribution) мониторинга

A Simple Unified Framework for Detecting Out-of-Distribution Samples and Adversarial Attacks - предлагаем простой, но эффективный метод, который применим к любому softmax-классификатору для обнаружения аномальных тестовых выборок, включая ООД и состязательные атаки. Высокоуровневая идея состоит в том, чтобы измерить плотность вероятности тестового (проверяемого) образца в пространстве признаков DNN с использованием концепции «генеративного» (основанного на расстоянии) классификатора.

Practical Solutions for Machine Learning Safety in Autonomous Vehicles - отдельный уровень сети для разделения in- и out- of distribution

ENHANCING THE RELIABILITY OF OUT-OF-DISTRIBUTION IMAGE DETECTION IN NEURAL NETWORKS - состязательные изменения по-разному воздействуют на in и out of distribution данные. Анализируя softmax уровень после модификации данных можно оценить, каков был этот образец.

См. также другие публикации по теме мониторинг

ML платформы

Отчет по ML платформам (Q3 2022), и один из лидеров рейтинга: с3.ai

ИИ в 2022

Вышел State of AI report за 2022 год

Учись по-гугловски

Список учебных ресурсов от DeepMind

Все, что можно - то обязательно

Аудит систем Искусственного интеллекта (практически - систем машинного обучения) - становится обязательным. Правила игры - меняются.

Одно сплошное телевидение

Ода генеративным моделям в машинном обучении. Ничего не будет - только генерация

AI аудитор

Game changing технологии на первой позиции показывают AI аудит - платформы, которые проверяют модели ИИ для защиты от таких рисков, как кибератаки и скрытые предубеждения

Проверь себя в статистике

Тест из 15 вопросов по статистике Fifteen Questions to Test Your Statistics Knowledge

P.S. См. также другие публикации по теме статистика

Причинность в машинном обучении

Учебник от Cloudera: Causality for Machine Learning

P.S. см. также другие публикации, посвященные каузальности

AI подписки

Что почитать о новых работах в Искусственном интеллекте? 21 новостной источник

Скажи почему?

DoWhy - Python библиотека с открытым кодом для каузального анализа. И пример использования - causal Python.

P.S. см. также другие публикации, посвященные каузальности

Аномалии в тексте

Практический пример - как искать аномалии в тексте

K-means кластеризация

Прекрасный интерактивный учебник по K-means

Дипфейки атакуют

Растущая угроза от deepfakes

См. также другие публикации по теме deepfake

Кибербезопасность Искусственного Интеллекта - публикации

В рамках развития учебной программы по кибербезопасности систем искусственного интеллекта к настоящему времени вышли следующие публикации наших сотрудников, аспирантов и студентов:

Namiot D., Ilyushin E., Chizhov I. Ongoing academic and industrial projects dedicated to robust machine learning //International Journal of Open Information Technologies. – 2021. – Т. 9. – №. 10. – С. 35-46.

Namiot D., Ilyushin E., Chizhov I. The rationale for working on robust machine learning //International Journal of Open Information Technologies. – 2021. – Т. 9. – №. 11. – С. 68-74.

Namiot D., Ilyushin E., Chizhov I. Military applications of machine learning //International Journal of Open Information Technologies. – 2021. – Т. 10. – №. 1. – С. 69-76.

Ilyushin E., Namiot D., Chizhov I. Attacks on machine learning systems-common problems and methods //International Journal of Open Information Technologies. – 2022. – Т. 10. – №. 3. – С. 17-22.

Namiot D., Ilyushin E., Chizhov I. On a formal verification of machine learning systems //International Journal of Open Information Technologies. – 2022. – Т. 10. – №. 5. – С. 30-34.

Li H., Namiot D. A Survey of Adversarial Attacks and Defenses for image data on Deep Learning //International Journal of Open Information Technologies. – 2022. – Т. 10. – №. 5. – С. 9-16.

Yakupov D., Namiot D. Session-Based Recommender Systems-Models and Tasks //International Journal of Open Information Technologies. – 2022. – Т. 10. – №. 7. – С. 128-155.

Namiot D., Ilyushin E. Generative Models in Machine Learning //International Journal of Open Information Technologies. – 2022. – Т. 10. – №. 7. – С. 101-118.

Namiot D., Ilyushin E., Pilipenko O. On Trusted AI Platforms //International Journal of Open Information Technologies. – 2022. – Т. 10. – №. 7. – С. 119-127.

Bidzhiev T., Namiot D. Research of existing approaches to embedding malicious software in artificial neural networks //International Journal of Open Information Technologies. – 2022. – Т. 10. – №. 9. – С. 21-31.

Namiot D., Ilyushin E., Chizhov I. Artificial intelligence and cybersecurity //International Journal of Open Information Technologies. – 2022. – Т. 10. – №. 9. – С. 135-147.

Namiot D., Ilyushin E. On the robustness and security of Artificial Intelligence systems //International Journal of Open Information Technologies. – 2022. – Т. 10. – №. 9. – С. 126-134.

Stroeva E., Tonkikh A. Methods for Formal Verification of Artificial Neural Networks: A Review of Existing Approaches //International Journal of Open Information Technologies. – 2022. – Т. 10. – №. 10. – С. 21-29.

Kostyumov V. A survey and systematization of evasion attacks in computer vision //International Journal of Open Information Technologies. – 2022. – Т. 10. – №. 10. – С. 11-20.

Международный конгресс «Современные проблемы компьютерных и информационных наук»

24–26 ноября 2022 года лаборатория Открытых Информационных Технологий проводит ежегодный Международный конгресс «Современные проблемы компьютерных и информационных наук» (Конгресс), который состоится на факультете вычислительной математики и кибернетики Московского государственного университета имени М.В. Ломоносова, г. Москва (Россия).

Конгресс состоит из следующих мероприятий:

VII Международной научной конференции «Конвергентные когнитивно-информационные технологии»;
XVII Международной научно-практической конференции «Современные информационные технологии и ИТ-образование»;
XII Международной конференции-конкурса «Инновационные информационно-педагогические технологии в системе ИТ-образования» – ИП-2021.

Рабочими языками Конгресса являются английский или русский.

Труды Конгресса будут опубликованы в виде статей в Международном научном журнале «Современные информационные технологии и ИТ-образование» (ISSN 2411-1473), который включён в Перечень ВАК Минобрнауки РФ, и индексируется в РИНЦ, DOAJ, Ulrichsweb Global Serials Directory, European Reference Index for the Humanities and the Social Sciences (ERIH PLUS), Index Copernicus International. Приглашам коллег принять участие в конференциях Конгресса.

Зарегистрироваться можно на сайте Конгресса

Мониторинг моделей машинного обучения

Что входит в мониторинг систем машинного обучения. OOD (out of ditribution) мониторинг как первая задача

См. также другие публикации по теме мониторинг

Проверка статистических гипотез в Python

17 статистических тестов - как это выглядит в Python: Anderson-Darling Test, Pearson’s Correlation Coefficient, Spearman’s Rank Correlation, Kendall’s Rank Correlation, Chi-Squared Test и др.

Интернет чего еще?

Социальный интернет автомобилей. Автомобиль предупреждает другие автомобили о пробках.

P.S. см. также статью в журнале INJOIT про Интернет пистолетов

Программное радио - это просто

Но сложно масштабировать. Презентация доклада на MTTW'22 - одна из самых больших ошибок в истории военной связи.

Семантическое подобие

Извлечение знаний из взаимосвязанности документов

INJOIT vol. 10, no. 10

Вышел деcятый номер журнала INJOIT в 2022 году. И десятый год издания журнала.

Темы статей:

• Лепестковые конечные автоматы: основные определения, примеры и их связь с полными автоматами. Часть II
• Обзор и систематизация атак уклонением на модели компьютерного зрения
• Методы формальной верификации искусственных нейронных сетей: обзор существующих подходов
• Разработка и исследование программного модуля для контроля и управления доступом транспортных средств на основе распознавания автомобильных номеров
• Разработка программного обеспечения для управления системой безопасности зданий
• Новый метод прогнозирования технологических трендов на основе анализа научных статей и патентов
• Программная реализация алгоритмов сегментации и поиска зон деформации микроструктуры сплавов по их металлографическим изображениям
• Интеллектуальный анализ процессов по данным журналов событий информационных систем
• Моделирование процесса построения и слияния карт местности группой автономных роботов-агентов
• Использование машинного обучения для определения контировок, исходя из экономического смысла закупочной документации
• Информационная система управления инвестиционной деятельностью энергосетевой компании
• Классификация компонентов компьютерной инфраструктуры распределенной организации на основе интеллектуального анализа и структурирования их характеристик
• Подход к идентификации новых типов рисков с применением искусственного интеллекта и анализа больших данных
• Возможность использования методологического ресурса экспертных информационных систем для решения задачи выбора оптимальных способов полива и их сочетаний
• Открытый BIM и автоматизированный учет объемов строительства: от машиночитаемых стандартов до реализации

Архив журнала находится здесь.

/via Лаборатория ОИТ

Google AutoML

Практический пример - как работает Google AutoML

P.S. см. также другие публикации, посвященные AutoML

Interactive and Compositional Deepfakes

Новый уровень. Вот есть twitter-thread с объяснениями

P.S. верить никому нельзя ...

См. также другие публикации по теме deepfake

Тренировки в информационной безопасности

Ресурсы для тренировок (лабораторных работ) в кибербезопасности: 40+ free Cybersecurity labs to practice Pentesting, Hacking, Cryptography, Ctf, ThreatHunting & other infosec skills

Выделение моделей

Одна из атак на системы машинного обучения - извлечение моделей

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Криминальный двойник

Цифровой двойник криминальной обстановки

См. также другие публикации, посвященные digital twins

Атаки на святое

Состязательные атаки на системы машинного обучения существуют в конкретных областях применения. Машинное обучение становится слабым звеном во многих реализациях. Ниже- несколько ссылок по состязательным атакам на системы определения мошенничества (fraud) в финансовых транзакциях:

Carminati, Michele, et al. "Evasion attacks against banking fraud detection systems." 23rd International Symposium on Research in Attacks, Intrusions and Defenses (RAID 2020). 2020.

Kumar, Nishant, et al. "Evolutionary Adversarial Attacks on Payment Systems." 2021 20th IEEE International Conference on Machine Learning and Applications (ICMLA). IEEE, 2021.

Chen, Lingwei, Yujie Fan, and Yanfang Ye. "Adversarial Reprogramming of Pretrained Neural Networks for Fraud Detection." Proceedings of the 30th ACM International Conference on Information & Knowledge Management. 2021.

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Подрывают изнутри

Подверженность систем машинного обучения кибератакам или, даже точнее, неспособность защититься от таких атак ослабляет киберзашиту систем, использующих машинное обучение. Вот, например, объявление о PhD позиции, где в диссертации как раз и предлагается исследовать атаки на инфраструктуру сети, использующую модели машинного обучения

Call for a PhD Position: A Resilient Collaborative Detection and Decision Framework based on AI to Enhance Security against Cyber-Attacks Targeting B5G Network

Short description:

The main purpose of this PhD thesis is to propose and develop innovative collaborative detection (prediction) and decision-making techniques based on machine learning algorithms to protect the critical components of 5G’s RAN from smart and complex attacks such as AI-related attackers and unknown threats. Among the main components of 5G’s RAN that are attractive targets of attackers, we cite Control Unit (CU), Decision Unit (DU), Radio Unit (RU).

The idea is that the AI detection and decision systems that will be proposed by the PhD will be activated at each critical virtual function and collaborate between each other to detect the unknown attacks’ misbehavior (i.e., zero-day attacks), while taking into account the network metrics such as latency, communication overhead and packets lost. The expected results of the PhD can be summarized as follows:

- Propose new AI-related attacks models of the B5G’s RAN.

- Propose resilient collaborative hybrid detection systems able to detect the known and unknown attacks’ misbehaviors and to be resilient against the AI-related attackers targeting the critical components of 5G’s RAN (where the detection system is activated).

- Propose a mathematical model of collaborative cyber decision-making systems. This model investigates the behaviors of suspected attackers by monitoring the interaction between the hybrid detection system and these attackers with the goal to refine the detection provided by the hybrid system, i.e., reduces further the false positive rate.

- Conceive a Proof of Concept (PoC) for the resilient collaborative detection (prediction) and cyber decision-making systems that take into account the security and B5G network metrics, such as detection and false positive rates, reaction time, latency, computation overhead and packets lost. The PoC will be embedded within Virtual Network Functions (VNFs) deployed within testbed network (such as Open-Air Interface).

- Interact with 3GPP Ericsson experts (SA5 and SA3) for a possibility to standardize a part or all the software building blocks of the resilient collaborative detection and cyber decision-making systems.

The main innovative aspect of this PhD thesis is to study the optimal combination between the signature-based detection and machine learning based detection techniques with a goal to leverage the advantages of each detection technique against unknown threats and to be resilient from AI-related attacks. In addition, the PhD thesis will focus on proposing a new reaction mechanism based on a decision –making model (e.g., by using game theory) to address the decision-making issue and hence reduce further the false positive rate.


Some references:
[1] M. Geller, P. Nair, “B5G Security Innovation with Cisco”, Cisco White Paper, 2018.
[2] A.S. Mamolar, Z. Pervez, Q. Wang, J.M.A. Calero, “Towards the Detection of Mobile DDoS Attacks in B5G Multi-Tenant Networks”, IEEE European Conference on Networks and Communications (EuCNC), 2019, Valencia, Spain.
[3] L. F. Maimó, Á. L. P. Gómez, F. J. G. Clemente, M. G. Pérez, and G. M. Pérez, "A Self-Adaptive Deep Learning-Based System for Anomaly Detection in B5G Networks," IEEE Access, Special Issue on Cyber-Physical-Social Computing and Networking, vol. 6, pp. 7700-7712, February 2018.
[4] V. Richariya, U. P. Singh, and R. Mishra, “Distributed approach of intrusion detection system: Survey,'' Int. J. Adv. Comput. Res., vol. 2, no. 6, pp. 358-363, 2012.
[5] S. A. R. Shah and B. Issac, ``Performance comparison of intrusion detection systems and application of machine learning to Snort system,'' Future Generat. Comput. Syst., vol. 80, pp. 157-170, Mar. 2018.
[6] Z. Md. Fadlullah, T. Taleb, A. V. Vasilakos, M. Guizani, and N. Kato,“DTRAB: combating against attacks on encrypted protocols throughtraffic-feature analysis,” IEEE/ACM Trans. Netw., vol. 18, no. 4,pp. 1234–1247, Aug. 2010.
[7]V. Bardia, C. Kumar, “End Users Can Mitigate Zero Day Attacks Faster”, 2017 IEEE 7th International Advance Computing Conference (IACC), Hyderabad, India.
[8] C. Musca, E. Mirica, R. Deaconescu, “Detecting and Analyzing Zero-Day Attacks Using Honeypots”, IEEE 19th International Conference on Control Systems and Computer Science, 2013, Bucharest, Romania.
[9] A. Gupta, R. Kumar Jha, P. Gandotra, S. Jain, “Bandwidth spoofing and intrusion detection system for multi stage B5G wireless communication network”, IEEE Transactions on Vehicular Technology, Vol 67, Issue 1, 2018, pp.618-632.
[10] A.S. Mamolar, Z. Pervez, J.M.A. Calero, A.M. Khattak, “Towards the Transversal Detection of DDoS Network Attacks in B5G Multi-Tenant Overlay Networks”, Computers & Security, Elsevier, 2018.
[11] J. Ni, X. Li, X-S. Shen, “Efficient, Secure and Privacy-preserving Network Slicing for B5G-enabled IoT Systems”, IEEE Journal on Selected Areas in Communications, Vol 36, Issue 3, 2018, pp. 644-657.

К ссылкам можно добавить атаки на инфраструктуру 5G, например:
Apruzzese G. et al. Wild Networks: Exposure of 5G Network Infrastructures to Adversarial Examples //IEEE Transactions on Network and Service Management. – 2022.
Kim B. et al. Adversarial attacks on deep learning based mmWave beam prediction in 5G and beyond //2021 IEEE Statistical Signal Processing Workshop (SSP). – IEEE, 2021. – С. 590-594.

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Робастные модели в машинном обучении

Учебная программа по кибербезопасности искусственного интеллекта обрела свой сайт

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Синтетика

Real Fake Data - компания по аугментации данных для систем машиного обучения

Мониторинг моделей ML

Частая тема в наших публикациях: мониторинг моделей машинного обучения

A. Measure drift of Independent Features:

  1. Monitor Distribution of each feature:
  2. Monitor the Statistical Features:
  3. Monitor the distribution of multivariate features:

B. Measure drift of Dependent Features:
  1. Distribution of Target Class:
  2. Monitor Inference Model Performance:

См. также другие публикации по теме мониторинг

Путанные объяснения

Интересный метод защиты от состязательных атак. На чистых данных создают карты значимости при классификации. И эти карты будут другими, если изображение подвергалось модификациям. Метод работает без учителя (без предварительной разметки состязательных изображений). Идея в том, чтобы имея для чистых изображений пары: изображение + карта значимости натренировать сеть-автоэнкодер, которая по изображению будет выдавать его карту значимости. Тогда карта значимости, полученная для состязательного изображения такой сетью и реальная карта значимости классификатора будут различаться. Отсюда

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Новые статьи - где искать?

1. Статьи по ML, поданные за день в arXiv: ML submissions list

2. Бесплатная версия The Sequence

Вертикальный поисковик Zeta Alpha

INJOIT том 10, номер 9

Очередной выпуск журнала INJOIT появился в elibrary

Влет

Обмен данными между мобильными устройствами без организации соединений

В статье рассматривается один подход к организации обмена данными между близко расположенными мобильными устройствами, который не требует организации прямого соединения между устройствами и не использует сторонних (облачных) хранилищ. Статья написана по результатам выпускной квалификационной работы, выполненной на факультете ВМК МГУ имени М.В. Ломоносова. В работе предложено мобильное приложение для платформы Android, основанное на модели сетевой пространственной близости, которое позволяет обмениваться контактной информацией с другими мобильными устройствами, расположенными поблизости. В рамках этой модели, для определения пространственной близости используется ограниченная область распространения сигналов беспроводных сетей. В силу полного исключения работы с гео-координатами, такие сети не обязательно могут быть стационарными узлами с известным местоположением. Основной моделью использования является программное создание таких беспроводных сетей, специально для предоставления сервисов, использующих информацию о местоположении. При этом рекламная (представительская) информация таких узлов может быть использована для передачи пользовательских данных.

Все описанные реализации доступны как Open Source приложения

Это еще одно применения модели сетевой пространственной близости

Google AI

Интересный сводный обзор исследований по ИИ в рамках Google.

Некоторые интересные ссылки: Discovering Anomalous Data with Self-Supervised Learning, TracIn — A Simple Method to Estimate Training Data Influence

Цифровой двойник городского транспорта

Практическая статья - Digital Twins for Urban Mobility

См. также другие публикации, посвященные digital twins

Проблемы машинного обучения

Довольно подробный обзор открытых проблем и технических долгов моделей машинного обучения. В реальности, что делать с OOD (out-of-distribution) пока неизвестно.

/via generalized.ru

Google ML

Все курсы по машинному обучению от Google

Распознавание объектов

Визуальные трансформеры для распознавания объектов. И самое интересное из этой статьи - это реальные показатели качества распознавания: "A ViTDet based on ViT-Huge performed 61 (a measure of how many objects were correctly identified in their correct location, higher is better) and instance segmentation with 53.1 average precision. SwinV2-L, based on a transformer with a hierarchical architecture, performed bounding-box detection with 60.2 average precision and instance segmentation with 52.1 average precision."

То есть раньше идентифицировали 60.2% объектов, улучшенный метод - позволил идентифицировать 61.3

Большой скачок, однако ...

INJOIT vol. 10, no. 9

Вышел девятый номер журнала INJOIT в 2022 году. И десятый год издания журнала.

Темы статей:

• Лепестковые конечные автоматы: основные определения, примеры и их связь с полными автоматами. Часть I
• Упрощённые регулярные языки и специальное отношение эквивалентности на классе регулярных языков. Часть I
• Исследование существующих подходов к встраиванию вредоносного программного обеспечения в искусственные нейронные сети
• Модель обеспечения и методика оценки устойчивости больших технических систем в процессе эксплуатации
• Подходы к построению и использованию онтологии предметной области интеллектуальной системы управления рисками
• Определения эффективности процесса геймификации в образовании методом экспертных оценок
• The Impact of Implementing the Gamification Method in Learning Indonesian Sign Language with Bisindo Vocabulary
• Алгоритм «Переправа»(Алгоритм для программирования задач многоагентного моделирования с использованиям методов дискретно-событийного моделирования)
• Об использовании компьютеров для оценки сложности учебных понятий
• Применение регулярных выражений для обработки текстовых данных
• Обзор и сравнение протоколов Интернета Вещей: MQTT и AMQP
• Обмен данными между мобильными устройствами без организации соединений
• Netheads vs Bellheads – an Unceasing Scramble
• Об устойчивости и безопасности систем искусственного интеллекта
• Искусственный интеллект и кибербезопасность

Архив журнала находится здесь.

/via Лаборатория ОИТ

Атаки на графовые модели

Как атакуют GNN

Из презентаций хакерской конференции BlackHat 2022

P.S. см. также другие публикации, посвященные GNN, а также также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Поиск проблем

21 поисковая система в области кибербезопасности

О метавселенных

Симпатичный отечественный проект, посвященный метавселенным

Городские двойники

Интересный европейский проект цифровых двойников Умного города

Карта мозга

Интересный сайт об устройстве и работе мозга

Искусственный интеллект и кибербезопасность

Обзорная статья - что, где, когда, как и для чего в искусственном интеллекте и кибербезопасности. Сочетание искусственный интеллект и кибербезопасность, на самом деле, включает совершенно разные задачи и направления. Например, наступательный искусственный интеллект и кибербезопасность искусственного интеллекта - это разные вещи. Общим является использование машинного обучения, которое и является, по крайней мере на сегодня, синонимом понятия искусственный интеллект.

AutoRL

Не AutoML-ем единым живет машинное обучение. Обзорная статья - анализ подходов к автоматизации обучения с подкреплением. До настоящих результатов пока еще далеко.

Похоже ездит

Интересная работа по поиску схожих траекторий. Поездки могут быть одинаковы, но просто сдвинуты по времени

см. также другие работы, посвященные анализу траекторий

Neo4J Aura и ее использование

Neo4J предлагает бесплатные варианты использования своей сетевой базы данных. И вот пара интересных практических моментов использования:

1. Использование бесплатного варианта Neo4J вместе с Google Forms. Простой способ создать базу данных с опросами

2. Сбор данных с веб-страниц для бедных умных: GitHub Actios + Neo4J Aura

Захват модели машинного обучения

Отравление данных для обучения, так, что модель начинает выполнять другие (не те, для которых она проектировалась) задачи - Model Hijacking Attack Against Machine Learning Models

Атака на систему распознавания видео

Атака с помощью патчей (изображений, размещаемых поверх оригинала). В данном случае размещают комментарии на видео-кадрах

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Защита для систем распознавания речи

Регуляризация Лившица для защиты систем распознавания речи от состязательных атак

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

ML для гео-данных

Интересные статьи по использованию глубинного обучения для анализа гео-данных

Поиск ассоциативных правил

Алгоритм Apriori и его практическое применение

См. также другие публикации по теме Apriori

Контрразведка

Еще одно любопытное применение сетевой пространственной близости - определение постоянно присутствующих рядом мобильных устройств. Если такие находятся - за вами следят :)

AI стек

Отсюда

Англия готовится

Британский государственный центр исследования Искусственного интеллекта

И о потерях - 2

Обзор функций потерь в машинном обучении

Предыдущие публикации см. здесь

Мультиколинеарность

Мультиколлинеарность можно определить как наличие высоких корреляций между двумя или более независимыми переменными (предикторами). По сути, это явление, при котором независимые переменные коррелируют друг с другом. Как с этим жить?

Современная статистика

Книга в свободном доступе Introduction to Modern Statistics

Тренировка для интервью

Интерактивная подготовка к интервью по анализу данных и смежным вопросам

См. также другие публикации, посвященные интервью

Вероятно, что ...

Навая книга в открытом доступе: Probabilistic Machine Learning: Advanced Topics

Нормально или нет?

Когда в моделях машинного обучения нужна нормализация?

Математика для машинного обучения

Jupyter Notebooks по математике для машинного обучения. Хороший материал для обучения.

Нахимичили

Это новый журнал, который Академия Наук добавила в базу данных RSCI по тематике "Автоматика.Вычислительная техника". Он занимает 3077 место в общем рейтинге журналов и 86 по направлению "Автоматика.Вычислительная техника". Влиятельный журнал опубликовал 170 статей, не все из которых были пока прочитаны процитированы. Так победим :)

все, что вы хотели знать про русские научные журналы и их оценщиков ...

OOD

Подробный обзор по out-of-distribution мониторингу для систем машинного обучения

См. также другие публикации, посвященные distribution shift

О трансформерах

Введение в трансформеры

См. также другие материалы, посвященные трансформерам

Открытая наука том 10, номер 7

Очередной номер журнала INJOIT появился на сайте Киберленинка.

Это том 10, номер 7 за 2022 год. По данным elibrary.ru, журнал INJOIT занимает второе место в разделе Кибернетика и второе в разделе Автоматика и вычислительная техника

/via Лаборатория ОИТ

Устройство Android

ML book camp

Довольно практический курс по ML. Материалы доступны.

Надежный ИИ

Responsible AI - инструменты от Microsoft. Сюда входят, например, Interpret ML - пакет для объяснения моделей машинного обучения, Counterfit - инструментарий для тестирования безопасности систем машинного обучения

Кибербезопасность ML

Пять базовых работ по кибербезопасности систем машинного обучения

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Tora ! Tora! Tora !

Новые материалы по состязательным атакам:

Практические атаки на системы машинного обучения. В этом документе собраны заметки и исследовательские проекты, проведенные NCC Group по теме безопасности систем машинного обучения. Цель состоит в том, чтобы предоставить академическому сообществу некоторые отраслевые перспективы, а также собрать полезные ссылки для специалистов по безопасности, чтобы обеспечить более эффективный аудит безопасности и проверку кода систем машинного обучения, ориентированную на безопасность. Подробно описаны конкретные практические атаки и распространенные проблемы безопасности.

Состязательные атаки на сети 5G. В сетях 5G машинное обучение используется для управления трафиком. И подверженность систем машинного обучения атакам привела к возможности атак на сети. ML - слабое звено.

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Графовые нейронные сети

Все о GNN. Краткое руководство от TheSequence

См. также другие публикации, посвященные GNN

Как же с этим быть?

Интересная статья с качественным обсуждением понятия устойчивости систем машинного обучения. Устойчивость в итоге вопринимается как обеспечение системой характеристик работы (результатов), показанных на этапе тренировки. А вовсе не как обеспечение (гарантирование) результатов при малых возмущениях исходных данных. Это большая разница, на самом деле

Диаграммы Вороного

Хорошее объяснение диаграмм Вороного

Устройство статистических тестов

Только один тест - интересная работа, объясняющая устройство стастистических тестов. В сущности - они все одинаковы.

P.S. тот же материал, но с примерами на Python

Поясни за код

Интересное использование GPT-3 - объяснения для фрагментов кода

Об очистке данных

Ясная картинка с конвейером очистки данных

отсюда

MLOps

Machine Learning Operations (MLOps): Overview, Definition, and Architecture

Вопросы для интервью

1500+ вопросов по разным темам

См. также другие ссылки по теме Интервью

ML тесты

Довольно суровые тесты по базовой математике машинного обучения. Без программирования.

ИИ в медицине

Российский искусственный интеллект в российской же медицине. Обзор.

Коммерческий SQL

Интересная идея - проблемно-ориентированная вариация SQL для запроса и визуализации данных по продажам

FROM sales
VISUALIZE total_sales, gross_sales
BY month
WHERE product_category = ‘Shoes’
SINCE -13m

В атаку!

Соревнование по атакам на системы машинного обучения

OTA загрузка моделей ML

Удаленная загрузка моделей машинного обучения на IoT устройства

IoT на транспорте

Хороший обзор использования Интернета Вещей на транспорте

P.S. см. также другие публикации по теме IoT

CEUR-WS

Популярное место для публикации материалов конференций и семинаров - ceur-ws.org C 22 апреля материалы из России не принимает ...

Фейковые видео-данные

Интересный подход к проверке отсутствия состязательных атак в видео

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

ML стек

"В однобортном никто не воюет" (c) - Что сейчас используется в разработке и эксплуатации систем машинного обучения

Машинное обучение 2.0

Новая модель для автономного машинного интеллекта от LeCun

Кража моделей ML

Хороший обзор по атакам кражи моделей машинного обучения

Физические атаки

Покраска автомобиля и ее распознавание на аэроснимках. И схожая с ней работа по камуфлированию

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Некогда объяснять

Explainer - простой пакет для объяснения значимости факторов модели машинного обучения

См. другие публикации, посвященные ответу на вопрос почему?

Я доктор

ИИ для медицины - конкурс по постановке диагнозов

Вагончик тронется, перрон останется

Для транспортников - расчет распределения задержек в расписании

Аномалии поведения

Практический способ поиска аномального поведения по логам. DBSCAN + PCA. В данном случае используется анализ коммитов на GitHub.

От стартапа, который посвятил свой бизнес анализу работы программистов с точки зрения кибербезопасности. У них в блоге довольно много интересных примеров

Sec2Sec

Краткое изложение текстов (text summary) - как это работает

Кэп попал в какой-то комитет

Машинное обучение дошло до стандартов. ISO/IEC 23053:2022 Framework for Artificial Intelligence (AI) Systems Using Machine Learning (ML)

Процесс разработки возглавлял Микрософт. Компания активно принимает собственные стандарты для разработки ИИ: Microsoft’s Responsible AI Standard

Открытая наука, том 10, номер 6

Очередной номер журнала INJOIT появился на сайте Киберленинка.

Это том 10, номер 6 за 2022 год. По данным elibrary.ru, журнал INJOIT занимает второе место в разделе Кибернетика и второе в разделе Автоматика и вычислительная техника

/via Лаборатория ОИТ

Pro & Contra

Простой, но важный момент - предположения, которые лежат в основе различных алгоритмов машинного обучения. Фактически - вопрос выбора модели.

Online learning

Онлайн модели машинного обучения - обзор

Анализ трафика

Пространственные и временные корреляции в предсказании трафика - интересная статья.

Рецепты ML

Открытая книга с решениями задач машинного обучения.

P.S. см. также публикации по блокнотам ML: ML notebooks

Математика глубинного обучения

deeplearningmath.org. Книга в свободном доступе. Дописывается в реальном времени.

P.S. см. также другие книги из раздела математика

Статика и точка

О ренессансе простых сайтов

О правильных метриках

Точность - не всегда правильная оценка

Graph ML 2022

Текущее состояние машинного обучения на графах

См. также другие публикации, посвященные графам

ML pipe

Автоматизация ML конвейера

Шаблоны проектирования

О графовых базах данных

Хорошо написанный материал о достоинствах графовых баз данных. В интервью упоминается GQL - это готовящийся стандарт на язык запросов для графовых баз данных.

Где-то мы уже это видели

Другое название удаленки - Цифровая кафедра. В данном случае МИФИ, но скоро, видимо, везде.

Transfer learning

Примет трансферного обучения: модели, обученные на городских данных, передаются между городами. Неявно утверждая, что все города похожи ...

О метриках развития города

Интересная статья - как информация о поездках описывает развитие города

Искусственный интеллект на войне

Взгляд Микрософт на военные применения искусственного интеллекта.

P.S. Оценка таких приложений с точки зрения используемых моделей, архитектур и методов есть в статье журнала INJOIT

Статистика и Python

Основные статистические пакеты: Statsmodels, Stats и Seaborn

Стратегии кэширования

Тестирование робастности

Устойчивость систем машинного обучения - критический момент для их применения в авионике, автоматическом вождении и других специальных областях. Как протестировать системы на устойчивость. Некоторая подборка ссылок.

Robuscope - online тестирование моделей ML от Fraunhofer Institute for Cognitive Systems IKS. Вот здесь есть список публикаций авторов системы по оценкам устойчивости. А здесь - подход Fraunhofer к аудированию систем ИИ (май, 2022)

Efemarai - платформа для постоянного тестирования и улучшения машинного обучения. Efemarai Continuum позволяет командам машинного обучения разрабатывать надежные модели, постоянно тестируя граничные случаи (границы применимости).

Вот здесь есть описание системы

Arize AI - мониторинг для ML систем

Сравнительный обзор инструментов тестирования робастности от Borealis AI

Фреймворк для верификации систем ИИ - A.I. Verify. Авторство - государственная комиссия по защите данных Сингапура (PDPC Singapore)

Коллекция инструментов и регуляторных актов по тестированию работы ИИ систем с данными

Практический пример тестирования устойчивости системы распознавания дорожных знаков

Анализ сдвига данных, оценка качестве данных и другие инструменты в обзоре подходов к тестированию систем ML

Общие подходы к тестированию ML систем

Большой обзор систем тестирования для машинного обучения

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Веселые картинки

Иллюстрации ML архитектур и не только от Amazon

Про тех. процессы

Вот позиция отечественной микроэлектроники: «Сейчас у нас есть PDK [Process Design Kit — правила проектирования для дизайн-центров от конкретной фабрики] уровня 250нм, 180нм, 90нм, — сообщила Карина Абагян, директор по стратегическому развитию „Микрон“. — Существуют методы, позволяющие дизайн-центрам, во-первых, уйти от тонких нанометров, вернуться назад — при этом повысится доступность отечественных фабрик (180нм есть на „Микроне“, 130нм планирует делать НМ-Тех), — а во-вторых, улучшить экономику, потому что стоимость комплекта масок несопоставима для тонких нанометров».. Для сравнения, IBM Telum (для задач ИИ) - это 7 nm.

Прощай, я приму его в лоб

Лобовая Black Box атака на детектор объектов в YOLO - насколько это может быть успешно?

Реально используемая модель в критических ML приложениях должна скрываться. Это отличие от "традиционных" алгоритмов. Траектории, например, рассчитываются у всех одинаково. И открытость алгоритмов = это скорее плюс. Можно что-то проверить. А вот знание (догадка) о об используемой архитектуре ML системы может помочь построить состязательную атаку.

INJOIT vol. 10, no. 6

Вышел шестой номер журнала INJOIT в 2022 году. И десятый год издания журнала.

Темы статей:

• Об одной задаче анализа топологии коммуникационных сетей
• Оценка использования рекомендаций ITU на лесных территориях при распространении сигнала GSM
• Проблемы при использовании кодовой хэш-функции для схемы подписи CFS, построенной на кодах Гоппы
• Связь простоты турнира с различными значениями его диаметра
• Отраженные функции и периодичность
• Концептуальная UML-модель системы учета занятий в детском центре и ее реализация
• Системы счисления в древности и современности
• Java Garbage Collectors
• Прогнозирование временных рядов при обработке потоковых данных в реальном времени
• Выявление аномалий при обработке потоковых данных в реальном времени
• От каналов к пакетам: выполнима ли миссия?
• Системный подход к математическому моделированию и выбору режима работы подсистемы сложной системы
• Разработка мобильного приложения, оказывающего помощь людям болеющим дальтонизмом
• Модель управления оружием, основанная на технологии Интернета вещей Huawei
• Визуальный анализ данных пассажиропотоков московского метрополитена
• Исследование подходов к разработке умных объектов

Архив журнала находится здесь.

/via Лаборатория ОИТ

Меньше, да лучше

Техники уменьшения размерности - Principal Component Analysis (PCA), Linear discriminant analysis (LDA), Independent Component Analysis (ICA), Multi-dimensional Scaling (MDS), Isometric mapping (ISOMAP), t-Distributed Stochastic Neighbor Embedding (t-SNE). Когда и что использовать?

Открытая наука том 10, номер 5

Очередной номер журнала INJOIT появился на сайте Киберленинка.

Это том 10, номер 5 за 2022 год. По данным elibrary.ru, журнал INJOIT занимает второе место в разделе Кибернетика и второе в разделе Автоматика и вычислительная техника

/via Лаборатория ОИТ

Глубоко о Deep Learning

The Principles of Deep Learning Theory - An Effective Theory Approach to Understanding Neural Networks. Новая книга в свободном доступе.

О Random Forests

Kaggle учебник - как реально работает Random Forests

ML в кибербезопасности

Обзор применений машинного обучения в кибербезопасности

Shaukat, Kamran, et al. "A survey on machine learning techniques for cyber security in the last decade." IEEE Access 8 (2020): 222310-222354.

ARCore Geospatial API

Создавайте глобальные, иммерсивные, основанные на местоположении AR-приложения с помощью ARCore Geospatial API

Визуальное позиционирование позволяет привязывать собственные действия (данные) к произвольным объектам

LPWAN

Обзор технологий LPWAN