Объяснимость, интерпретируемость и наблюдаемость

Объяснимость, интерпретируемость и наблюдаемость в машинном обучении

Три ключевых термина — объяснимость, интерпретируемость и наблюдаемость — широко признаны как составляющие прозрачности модели машинного обучения.

Объяснимость не имеет стандартного определения, а скорее общепринято относится к «движению, инициативам и усилиям, предпринимаемым в ответ на проблемы прозрачности и доверия ИИ». Объяснимая модель должна быть способна «(i) [предоставлять] основные функции, используемые для принятия решения, (ii) [предоставлять] все обработанные функции, ( iii) [предоставить] исчерпывающее объяснение решения и (iv) [обеспечить] понятное представление всей модели». Они определили объяснительность как предоставление «значимой информации о том, как принимается конкретное решение», что требует «хода мыслей, который может сделать решение значимым для пользователя (т. е. чтобы решение имело для него смысл)». Таким образом, объяснимость относится к пониманию внутренней логики и механики модели, лежащей в основе решения.

Интерпретируемость часто считается аналогом объяснимости и обычно используется как синоним. Однако широко распространено мнение, что интерпретируемость означает способность понять общее решение на основе входных данных, не требуя полного понимания того, как модель произвела выходные данные. Таким образом, интерпретируемость считается более широким термином, чем объяснимость. Интерпретируемость - «способность объяснять или представлять человеку в понятных терминах». Другое популярное определение интерпретируемости — это «степень, в которой человек может понять причину решения»
На практике интерпретируемая модель может быть такой, которая способна предсказать, что изображения домашних питомцев являются животными на основании идентифицируемых закономерностей и особенностей (например, наличия меха). Однако этой модели не хватает человеческого понимания внутренней логики или процессов, которые сделали бы модель объяснимой.
Хотя многие исследователи используют понятность и объяснимость в одном и том же контексте, объяснимость обычно относится к более глубокому пониманию внутренней работы модели.

Наблюдаемость машинного обучения — это понимание того, насколько хорошо модель машинного обучения работает в производстве. Наблюдаемость - «средство измерения и понимания состояния системы посредством выходных данных системы», это «необходимая практика для эксплуатации системы и инфраструктуры, от которых будет зависеть надежность». Наблюдение направлено на решение основной проблемы, заключающейся в том, что модель, которая отлично работает в исследованиях и разработках, может быть не такой точной при развертывании. Это несоответствие часто связано с такими факторами, как различия между реальными данными, с которыми сталкивается модель, и историческими данными, на которых она изначально обучалась. Поэтому крайне важно поддерживать непрерывный мониторинг вводимых данных и производительности модели. В отраслях, где решаются важные вопросы, гарантия того, что модель будет работать так, как ожидается, является важнейшим условием ее внедрения.
Наблюдаемость — ключевой аспект поддержания производительности модели в реальных условиях.
Наблюдаемость состоит из двух основных методов: мониторинга и объяснимости.