Анализ моделей

Mintro — это библиотека Python, предназначенная для интроспекции и анализа моделей машинного обучения, с акцентом на предоставление примитивов и повторно используемого кода для разработки приложений, ориентированных на безопасность. Библиотека предоставляет инструменты для статического и динамического анализа моделей. В настоящее время функциональность сосредоточена на моделях Torch.

Возможности:
Статический анализ: извлечение весов модулей, метаданных и вычислительных графиков из моделей.
Динамический анализ: сбор детальной информации об активации и потерях.
Модульная конструкция: создание базовой библиотеки для более продвинутой аналитики моделей.
Многократно используемые метрики: расчет метрик на основе извлеченных артефактов для более детального анализа.

Отсюда

Интересная идея - можно создать некоторое описание (отпечаток, слепок) того, как должна работать модель и сравнивать это в динамике с реальной работой. Это может быть схемой определения состязательных атак.

P.S. См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению