Explainable Reinforcement Learning (XRL) désigne un domaine de recherche visant à rendre les processus décisionnels des agents de Reinforcement Learning (RL) interprétables et compréhensibles.
Formellement, un agent RL est défini par un processus de décision markovien (MDP) \( M = (S, A, P, R, \gamma) \) avec un espace d’états \( S \), un espace d’actions \( A \), des probabilités de transition \( P \), une fonction de récompense \( R \) et un facteur d’actualisation \( \gamma \). L’objectif est d’apprendre une politique \( \pi: S \rightarrow A \) qui maximise le rendement cumulé attendu.
Les méthodes XRL tentent de générer des explications \( E \) qui fournissent des insights sur la structure, les valeurs ou les décisions de la politique \( \pi \). Des exemples incluent les attributions de caractéristiques, les visualisations basées sur la saillance, les explications symboliques ou la compression de modèles en formes plus compréhensibles.
De telles explications sont essentielles pour l’acceptation et la sécurité des systèmes RL dans des domaines tels que la conduite autonome, la robotique ou la santé.
Définition :
« Explainable Reinforcement Learning est un sous-domaine de l’apprentissage automatique qui vise à rendre les décisions des agents RL compréhensibles par des explications transparentes et traçables, afin d’augmenter la confiance et le contrôle. »
Source :
Madumal, P., Miller, T., Sonenberg, L., & Vetere, F. (2020). Explainable Reinforcement Learning Through a Causal Lens. Proceedings of the 29th International Joint Conference on Artificial Intelligence (IJCAI).