面向专家的持续元学习解释


持续元学习是一种学习范式,将元学习的原理与持续学习相结合,以开发能够持续适应新任务且不丧失先前知识的模型。

形式上,模型 \( M_\theta \) 学习一系列任务 \( \{T_1, T_2, ..., T_n\} \),其中每个任务都能通过少量样本快速适应,同时最小化灾难性遗忘。

这通常通过优化策略实现,这些策略结合了元学习更新以及针对先前任务的存储或正则化机制。


定义:
“持续元学习是一种学习范式,使模型能够持续学习新任务并快速适应,同时保留先前获得的知识并防止灾难性遗忘。”


来源:
Finn, C., Rajeswaran, A., Kakade, S., & Levine, S. (2020). 在线元学习。第八届国际学习表征会议(ICLR)论文集。