А что в ящике?

Interpretable Machine Learning - A Guide for Making Black Box Models Explainable. Хорошая книга по объяснению моделей машинного обучения.

А вот здесь есть полезный список ресурсов по объяснению моделей машинного обучения.