Объяснимая ИИ (XAI) обозначает набор методов, направленных на то, чтобы сделать внутренний механизм работы и процесс принятия решений моделей ИИ интерпретируемыми и понятными.
В отличие от классических моделей-«черных ящиков», XAI позволяет раскрывать факторы влияния, правила принятия решений или вероятности, которые приводят к предсказанию.
К распространённым техникам относятся LIME (Local Interpretable Model-agnostic Explanations), SHAP (SHapley Additive exPlanations) и визуализации на основе выделения значимых областей.
Объяснимая ИИ является важной областью исследований для обеспечения доверия, справедливости и ответственности в системах ИИ.
Определение:
Объяснимая ИИ обозначает методы и техники, направленные на то, чтобы сделать решения моделей ИИ прозрачными, понятными и интерпретируемыми для людей.
Источник:
Adadi, A., & Berrada, M. (2018). "Peeking Inside the Black-Box: A Survey on Explainable Artificial Intelligence (XAI)." IEEE Access, 6, 52138-52160.