Тестирование робастности

Устойчивость систем машинного обучения - критический момент для их применения в авионике, автоматическом вождении и других специальных областях. Как протестировать системы на устойчивость. Некоторая подборка ссылок.

Robuscope - online тестирование моделей ML от Fraunhofer Institute for Cognitive Systems IKS. Вот здесь есть список публикаций авторов системы по оценкам устойчивости. А здесь - подход Fraunhofer к аудированию систем ИИ (май, 2022)

Efemarai - платформа для постоянного тестирования и улучшения машинного обучения. Efemarai Continuum позволяет командам машинного обучения разрабатывать надежные модели, постоянно тестируя граничные случаи (границы применимости).

Вот здесь есть описание системы

Arize AI - мониторинг для ML систем

Сравнительный обзор инструментов тестирования робастности от Borealis AI

Фреймворк для верификации систем ИИ - A.I. Verify. Авторство - государственная комиссия по защите данных Сингапура (PDPC Singapore)

Коллекция инструментов и регуляторных актов по тестированию работы ИИ систем с данными

Практический пример тестирования устойчивости системы распознавания дорожных знаков

Анализ сдвига данных, оценка качестве данных и другие инструменты в обзоре подходов к тестированию систем ML

Общие подходы к тестированию ML систем

Большой обзор систем тестирования для машинного обучения

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению