Мониторинг для систем машинного обучения

Некоторые статьи по мониторингу ML систем:

Сдвиг меток - оценка по модели черного ящика

Rahman, Quazi Marufur, Peter Corke, and Feras Dayoub. "Run-time monitoring of machine learning for robotic perception: A survey of emerging trends." IEEE Access 9 (2021): 20067-20075. одна из немногих работ по мониторингу в реальном времени

Manifold for Machine Learning Assurance - понижение размерности данных с помощью VAE и использование такой свертки для OOD (out of distribution) мониторинга

A Simple Unified Framework for Detecting Out-of-Distribution Samples and Adversarial Attacks - предлагаем простой, но эффективный метод, который применим к любому softmax-классификатору для обнаружения аномальных тестовых выборок, включая ООД и состязательные атаки. Высокоуровневая идея состоит в том, чтобы измерить плотность вероятности тестового (проверяемого) образца в пространстве признаков DNN с использованием концепции «генеративного» (основанного на расстоянии) классификатора.

Practical Solutions for Machine Learning Safety in Autonomous Vehicles - отдельный уровень сети для разделения in- и out- of distribution

ENHANCING THE RELIABILITY OF OUT-OF-DISTRIBUTION IMAGE DETECTION IN NEURAL NETWORKS - состязательные изменения по-разному воздействуют на in и out of distribution данные. Анализируя softmax уровень после модификации данных можно оценить, каков был этот образец.

См. также другие публикации по теме мониторинг