Объяснимое обучение с подкреплением (XRL) — это направление исследований, которое направлено на то, чтобы сделать процессы принятия решений агентами обучения с подкреплением (RL) интерпретируемыми и понятными.
Формально агент RL определяется через марковский процесс принятия решений (MDP) \( M = (S, A, P, R, \gamma) \) с пространством состояний \( S \), пространством действий \( A \), вероятностями переходов \( P \), функцией вознаграждения \( R \) и коэффициентом дисконтирования \( \gamma \). Цель — научиться политике \( \pi: S \rightarrow A \), которая максимизирует ожидаемый накопленный доход.
Методы XRL пытаются генерировать объяснения \( E \), которые дают понимание структуры, значений или решений политики \( \pi \). Примерами являются атрибуция признаков, визуализации на основе важности, символические объяснения или сжатие модели в более понятные формы.
Такие объяснения необходимы для принятия и безопасности систем RL в таких областях, как автономное вождение, робототехника или здравоохранение.
Определение:
«Объяснимое обучение с подкреплением — это область машинного обучения, направленная на то, чтобы сделать решения агентов RL понятными через прозрачные и воспроизводимые объяснения, с целью повышения доверия и контроля.»
Источник:
Madumal, P., Miller, T., Sonenberg, L., & Vetere, F. (2020). Explainable Reinforcement Learning Through a Causal Lens. Proceedings of the 29th International Joint Conference on Artificial Intelligence (IJCAI).