Но почему?

Когда черного ящика недостаточно: как объясняют результаты машинного обучения. Вот здесь есть интересная книга Interpretable Machine Learning. A Guide for Making Black Box Models Explainable