持续学习（Continual Learning，CL），也称为终身学习，指的是模型学习一系列任务 T_1、T_2、...、T_n 的过程，同时在学习新任务时不会遗忘之前任务的知识。
形式上，该问题针对“灾难性遗忘”（Catastrophic Forgetting）进行解决，即针对新任务的优化会导致之前任务性能下降的问题。
持续学习的方法可以分类为：（1）基于正则化的方法，通过对重要参数的变化施加惩罚（例如 Kirkpatrick 等人于 2017 年提出的弹性权重巩固 Elastic Weight Consolidation），（2）重放方法，利用早期数据或生成的伪数据来保持记忆，以及（3）架构方法，采用独立子网络或模块化结构。
核心挑战在于解决稳定性-可塑性困境，即在保持旧知识和整合新知识之间取得平衡。
持续学习对于在动态环境中运行的自适应系统至关重要，并且在机器人技术、个性化辅助系统和自动驾驶等领域得到积极研究。
定义：
“持续学习是一种学习范式，模型按顺序学习任务，同时保留对先前任务的知识，以避免灾难性遗忘。”
来源：
Kirkpatrick, J., Pascanu, R., Rabinowitz, N., 等人（2017）。克服神经网络中的灾难性遗忘。《美国国家科学院院刊》，114(13), 3521-3526。