El Aprendizaje Continuo (CL), también conocido como Aprendizaje Permanente, se refiere al proceso mediante el cual un modelo aprende una secuencia de tareas T_1, T_2, ..., T_n sin que el conocimiento sobre tareas anteriores se pierda al aprender nuevas tareas.
Formalmente, se aborda el problema del "Olvido Catastrófico", en el que la optimización para nuevas tareas empeora el rendimiento en tareas previas.
Los enfoques para el Aprendizaje Continuo se pueden clasificar en: (1) métodos basados en regularización, que introducen una penalización por cambios en parámetros importantes (por ejemplo, Elastic Weight Consolidation de Kirkpatrick et al., 2017), (2) métodos de repetición, que utilizan datos anteriores o datos pseudo-generados para mantener la memoria, y (3) métodos de arquitectura, que emplean subredes separadas o una estructura modular.
El desafío central consiste en resolver el dilema estabilidad-plasticidad, es decir, el equilibrio entre preservar el conocimiento antiguo e integrar el conocimiento nuevo.
El Aprendizaje Continuo es esencial para sistemas adaptativos que operan en entornos dinámicos y se investiga activamente en áreas como robótica, sistemas de asistencia personalizados y vehículos autónomos.
Definición:
«El Aprendizaje Continuo es un paradigma de aprendizaje en el que un modelo aprende tareas secuencialmente y al mismo tiempo preserva el conocimiento sobre tareas anteriores para evitar el Olvido Catastrófico.»
Fuente:
Kirkpatrick, J., Pascanu, R., Rabinowitz, N., et al. (2017). Overcoming catastrophic forgetting in neural networks. Proceedings of the National Academy of Sciences, 114(13), 3521-3526.