Что объяснять?

Объяснения (интерпретация) моделей машинного обучения - она для людей. Соответственно, это должно формулироваться в терминах домена (предметной области), а не статистики.

А здесь можно найти открытые библиотеки для объяснимого AI

P.S. см. также другие публикации по теме explainable, а также другие публикации, посвященные ответу на вопрос почему?