El aprendizaje continuo se refiere a métodos en los que los modelos aprenden continuamente nuevas tareas o datos, sin que se pierda el conocimiento adquirido previamente, un problema conocido como "olvido catastrófico".
Las estrategias típicas incluyen métodos de regularización, donde se protegen parámetros importantes para tareas anteriores (por ejemplo, Consolidación Elástica de Pesos), métodos de repetición que reutilizan datos antiguos o sus representaciones, así como enfoques de arquitectura que crean subredes separadas para nuevas tareas.
El aprendizaje continuo es especialmente relevante para aplicaciones en las que los datos llegan de forma secuencial y un modelo debe adaptarse permanentemente sin necesidad de entrenar desde cero.
Los desafíos consisten en equilibrar la estabilidad (conservación del conocimiento antiguo) y la plasticidad (adaptación a lo nuevo).
Las áreas de investigación también incluyen el aprendizaje a lo largo de la vida y el aprendizaje multitarea, que están estrechamente relacionados con el aprendizaje continuo.