Continual Learning bezeichnet Methoden, bei denen Modelle fortlaufend neue Aufgaben oder Daten lernen, ohne dass zuvor erworbenes Wissen verloren geht – ein Problem, das als "Catastrophic Forgetting" bekannt ist.
Typische Strategien umfassen Regularisierungsmethoden, bei denen wichtige Parameter für frühere Aufgaben geschützt werden (z.B. Elastic Weight Consolidation), Replay-Methoden, die alte Daten oder deren Repräsentationen wiederverwenden, sowie Architekturansätze, die separate Subnetze für neue Aufgaben anlegen.
Continual Learning ist besonders relevant für Anwendungen, bei denen Daten sequenziell eintreffen und ein Modell permanent adaptiert werden soll, ohne wieder von vorne trainiert zu werden.
Die Herausforderungen liegen darin, das Gleichgewicht zwischen Stabilität (Erhalt alten Wissens) und Plastizität (Anpassung an Neues) zu meistern.
Forschungsbereiche umfassen auch das lebenslange Lernen und Multi-Task-Lernen, die eng mit Continual Learning verwandt sind.