L'apprentissage continu désigne des méthodes par lesquelles les modèles apprennent continuellement de nouvelles tâches ou données, sans perdre les connaissances acquises auparavant – un problème connu sous le nom de « oubli catastrophique ».
Les stratégies typiques comprennent des méthodes de régularisation, où les paramètres importants pour les tâches précédentes sont protégés (par exemple, la consolidation élastique des poids), des méthodes de relecture qui réutilisent d'anciennes données ou leurs représentations, ainsi que des approches architecturales qui créent des sous-réseaux séparés pour les nouvelles tâches.
L'apprentissage continu est particulièrement pertinent pour les applications où les données arrivent de manière séquentielle et où un modèle doit être adapté en permanence, sans être réentraîné depuis le début.
Les défis consistent à maîtriser l'équilibre entre stabilité (conservation des anciennes connaissances) et plasticité (adaptation au nouveau).
Les domaines de recherche incluent également l'apprentissage tout au long de la vie et l'apprentissage multitâche, qui sont étroitement liés à l'apprentissage continu.