少样本学习指的是训练一个模型 f_θ,使其能够仅用少量示例 S_j = {(x_i, y_i)}_{i=1}^k 快速解决新任务 T_j 的问题,其中 k 较小(例如 1 到 5)。
形式上,这通常在元学习框架中表述,假设存在一个任务分布 p(T),目标是最小化新任务上的期望损失函数:
\[ \min_\theta \mathbb{E}_{T \sim p(T)} \left[ \mathcal{L}_{T} (f_\theta) \right] \]
知名算法包括模型无关元学习(MAML),通过少量梯度更新实现对新任务的泛化,以及原型网络,利用特征空间中的类中心作为表示。
少样本学习解决了机器学习系统中泛化能力和数据效率的核心挑战。
定义:
“少样本学习是一种学习范式,训练模型能够仅用极少的训练样本对新任务进行泛化。”
来源:
Wang, Y., Yao, Q., Kwok, J. T., & Ni, L. M. (2020). Generalizing from a Few Examples: A Survey on Few-Shot Learning. ACM Computing Surveys, 53(3), 63.