El Aprendizaje por Refuerzo Explicable (XRL) se refiere a una línea de investigación que tiene como objetivo hacer que los procesos de decisión de los agentes de Aprendizaje por Refuerzo (RL) sean interpretables y comprensibles.
Formalmente, un agente RL se define mediante un Proceso de Decisión de Markov (MDP) \( M = (S, A, P, R, \gamma) \) con espacio de estados \( S \), espacio de acciones \( A \), probabilidades de transición \( P \), función de recompensa \( R \) y factor de descuento \( \gamma \). El objetivo es aprender una política \( \pi: S \rightarrow A \) que maximice el rendimiento acumulado esperado.
Los métodos XRL intentan generar explicaciones \( E \) que proporcionen información sobre la estructura, valores o decisiones de la política \( \pi \). Ejemplos incluyen atribuciones de características, visualizaciones basadas en saliencia, explicaciones simbólicas o compresión de modelos en formas más comprensibles.
Estas explicaciones son esenciales para la aceptación y seguridad de los sistemas RL en áreas como la conducción autónoma, la robótica o la salud.
Definición:
«El Aprendizaje por Refuerzo Explicable es un subcampo del aprendizaje automático que tiene como objetivo hacer comprensibles las decisiones de los agentes RL mediante explicaciones transparentes y comprensibles, para aumentar la confianza y el control.»
Fuente:
Madumal, P., Miller, T., Sonenberg, L., & Vetere, F. (2020). Explainable Reinforcement Learning Through a Causal Lens. Proceedings of the 29th International Joint Conference on Artificial Intelligence (IJCAI).