Мониторинг для систем машинного обучения

Некоторые статьи по мониторингу ML систем:

Сдвиг меток - оценка по модели черного ящика

Rahman, Quazi Marufur, Peter Corke, and Feras Dayoub. "Run-time monitoring of machine learning for robotic perception: A survey of emerging trends." IEEE Access 9 (2021): 20067-20075. одна из немногих работ по мониторингу в реальном времени

Manifold for Machine Learning Assurance - понижение размерности данных с помощью VAE и использование такой свертки для OOD (out of distribution) мониторинга

A Simple Unified Framework for Detecting Out-of-Distribution Samples and Adversarial Attacks - предлагаем простой, но эффективный метод, который применим к любому softmax-классификатору для обнаружения аномальных тестовых выборок, включая ООД и состязательные атаки. Высокоуровневая идея состоит в том, чтобы измерить плотность вероятности тестового (проверяемого) образца в пространстве признаков DNN с использованием концепции «генеративного» (основанного на расстоянии) классификатора.

Practical Solutions for Machine Learning Safety in Autonomous Vehicles - отдельный уровень сети для разделения in- и out- of distribution

ENHANCING THE RELIABILITY OF OUT-OF-DISTRIBUTION IMAGE DETECTION IN NEURAL NETWORKS - состязательные изменения по-разному воздействуют на in и out of distribution данные. Анализируя softmax уровень после модификации данных можно оценить, каков был этот образец.

См. также другие публикации по теме мониторинг

ML платформы

Отчет по ML платформам (Q3 2022), и один из лидеров рейтинга: с3.ai

ИИ в 2022

Вышел State of AI report за 2022 год

Учись по-гугловски

Список учебных ресурсов от DeepMind

Все, что можно - то обязательно

Аудит систем Искусственного интеллекта (практически - систем машинного обучения) - становится обязательным. Правила игры - меняются.

Одно сплошное телевидение

Ода генеративным моделям в машинном обучении. Ничего не будет - только генерация

AI аудитор

Game changing технологии на первой позиции показывают AI аудит - платформы, которые проверяют модели ИИ для защиты от таких рисков, как кибератаки и скрытые предубеждения

Проверь себя в статистике

Тест из 15 вопросов по статистике Fifteen Questions to Test Your Statistics Knowledge

P.S. См. также другие публикации по теме статистика

Причинность в машинном обучении

Учебник от Cloudera: Causality for Machine Learning

P.S. см. также другие публикации, посвященные каузальности

AI подписки

Что почитать о новых работах в Искусственном интеллекте? 21 новостной источник

Скажи почему?

DoWhy - Python библиотека с открытым кодом для каузального анализа. И пример использования - causal Python.

P.S. см. также другие публикации, посвященные каузальности

Аномалии в тексте

Практический пример - как искать аномалии в тексте

K-means кластеризация

Прекрасный интерактивный учебник по K-means

Дипфейки атакуют

Растущая угроза от deepfakes

См. также другие публикации по теме deepfake

Кибербезопасность Искусственного Интеллекта - публикации

В рамках развития учебной программы по кибербезопасности систем искусственного интеллекта к настоящему времени вышли следующие публикации наших сотрудников, аспирантов и студентов:

Namiot D., Ilyushin E., Chizhov I. Ongoing academic and industrial projects dedicated to robust machine learning //International Journal of Open Information Technologies. – 2021. – Т. 9. – №. 10. – С. 35-46.

Namiot D., Ilyushin E., Chizhov I. The rationale for working on robust machine learning //International Journal of Open Information Technologies. – 2021. – Т. 9. – №. 11. – С. 68-74.

Namiot D., Ilyushin E., Chizhov I. Military applications of machine learning //International Journal of Open Information Technologies. – 2021. – Т. 10. – №. 1. – С. 69-76.

Ilyushin E., Namiot D., Chizhov I. Attacks on machine learning systems-common problems and methods //International Journal of Open Information Technologies. – 2022. – Т. 10. – №. 3. – С. 17-22.

Namiot D., Ilyushin E., Chizhov I. On a formal verification of machine learning systems //International Journal of Open Information Technologies. – 2022. – Т. 10. – №. 5. – С. 30-34.

Li H., Namiot D. A Survey of Adversarial Attacks and Defenses for image data on Deep Learning //International Journal of Open Information Technologies. – 2022. – Т. 10. – №. 5. – С. 9-16.

Yakupov D., Namiot D. Session-Based Recommender Systems-Models and Tasks //International Journal of Open Information Technologies. – 2022. – Т. 10. – №. 7. – С. 128-155.

Namiot D., Ilyushin E. Generative Models in Machine Learning //International Journal of Open Information Technologies. – 2022. – Т. 10. – №. 7. – С. 101-118.

Namiot D., Ilyushin E., Pilipenko O. On Trusted AI Platforms //International Journal of Open Information Technologies. – 2022. – Т. 10. – №. 7. – С. 119-127.

Bidzhiev T., Namiot D. Research of existing approaches to embedding malicious software in artificial neural networks //International Journal of Open Information Technologies. – 2022. – Т. 10. – №. 9. – С. 21-31.

Namiot D., Ilyushin E., Chizhov I. Artificial intelligence and cybersecurity //International Journal of Open Information Technologies. – 2022. – Т. 10. – №. 9. – С. 135-147.

Namiot D., Ilyushin E. On the robustness and security of Artificial Intelligence systems //International Journal of Open Information Technologies. – 2022. – Т. 10. – №. 9. – С. 126-134.

Stroeva E., Tonkikh A. Methods for Formal Verification of Artificial Neural Networks: A Review of Existing Approaches //International Journal of Open Information Technologies. – 2022. – Т. 10. – №. 10. – С. 21-29.

Kostyumov V. A survey and systematization of evasion attacks in computer vision //International Journal of Open Information Technologies. – 2022. – Т. 10. – №. 10. – С. 11-20.

Международный конгресс «Современные проблемы компьютерных и информационных наук»

24–26 ноября 2022 года лаборатория Открытых Информационных Технологий проводит ежегодный Международный конгресс «Современные проблемы компьютерных и информационных наук» (Конгресс), который состоится на факультете вычислительной математики и кибернетики Московского государственного университета имени М.В. Ломоносова, г. Москва (Россия).

Конгресс состоит из следующих мероприятий:

VII Международной научной конференции «Конвергентные когнитивно-информационные технологии»;
XVII Международной научно-практической конференции «Современные информационные технологии и ИТ-образование»;
XII Международной конференции-конкурса «Инновационные информационно-педагогические технологии в системе ИТ-образования» – ИП-2021.

Рабочими языками Конгресса являются английский или русский.

Труды Конгресса будут опубликованы в виде статей в Международном научном журнале «Современные информационные технологии и ИТ-образование» (ISSN 2411-1473), который включён в Перечень ВАК Минобрнауки РФ, и индексируется в РИНЦ, DOAJ, Ulrichsweb Global Serials Directory, European Reference Index for the Humanities and the Social Sciences (ERIH PLUS), Index Copernicus International. Приглашам коллег принять участие в конференциях Конгресса.

Зарегистрироваться можно на сайте Конгресса

Мониторинг моделей машинного обучения

Что входит в мониторинг систем машинного обучения. OOD (out of ditribution) мониторинг как первая задача

См. также другие публикации по теме мониторинг

Проверка статистических гипотез в Python

17 статистических тестов - как это выглядит в Python: Anderson-Darling Test, Pearson’s Correlation Coefficient, Spearman’s Rank Correlation, Kendall’s Rank Correlation, Chi-Squared Test и др.

Интернет чего еще?

Социальный интернет автомобилей. Автомобиль предупреждает другие автомобили о пробках.

P.S. см. также статью в журнале INJOIT про Интернет пистолетов

Программное радио - это просто

Но сложно масштабировать. Презентация доклада на MTTW'22 - одна из самых больших ошибок в истории военной связи.