元学习指的是一种方法,其中学习算法在一组任务分布上进行训练,以开发出一种学习策略,从而能够快速适应新任务。
形式上考虑一个任务分布 p(T),其中每个任务 T 都有训练数据和测试数据。目标是学习一个元参数 \( \theta \),使其能够通过少量更新快速适应新任务 \( T_i \)。
一个著名的方法是模型无关元学习(Model-Agnostic Meta-Learning,MAML)(Finn 等,2017),其通过优化以下目标函数实现:
\[ \min_{\theta} \sum_{T_i \sim p(T)} \mathcal{L}_{T_i}(U(\theta, D^{train}_{T_i})) \]
其中 \( U(\theta, D^{train}_{T_i}) \) 是针对任务 \( T_i \) 的训练数据进行的一步更新(例如梯度更新),\( \mathcal{L}_{T_i} \) 是该任务的损失函数。
元学习因此实现了少样本学习(Few-Shot Learning)的高效学习,并且与迁移学习和自动算法设计密切相关。
定义:
“元学习是一个过程,通过训练学习算法以提升其学习能力,使其能够用少量样本快速且高效地解决新任务。”
来源:
Finn, C., Abbeel, P., & Levine, S. (2017). Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks. Proceedings of the 34th International Conference on Machine Learning (ICML).