Few-Shot Learning обозначает задачу обучения модели f_θ таким образом, чтобы она могла быстро решать новые задачи T_j с использованием лишь нескольких примеров S_j = {(x_i, y_i)}_{i=1}^k, где k мало (например, от 1 до 5).
Формально это часто формулируется в рамках мета-обучения, при котором существует распределение по задачам p(T), и целью является минимизация ожидаемой функции потерь по новым задачам:
\[ \min_\theta \mathbb{E}_{T \sim p(T)} \left[ \mathcal{L}_{T} (f_\theta) \right] \]
Известные алгоритмы включают Model-Agnostic Meta-Learning (MAML), который обобщается на новые задачи через несколько обновлений градиента, а также Prototypical Networks, использующие представления в виде центров классов в пространстве признаков.
Few-Shot Learning решает ключевые задачи обобщения и эффективности использования данных в системах машинного обучения.
Определение:
«Few-Shot Learning — это парадигма обучения, при которой модели обучаются обобщать новые задачи, используя очень небольшое количество обучающих примеров.»
Источник:
Wang, Y., Yao, Q., Kwok, J. T., & Ni, L. M. (2020). Generalizing from a Few Examples: A Survey on Few-Shot Learning. ACM Computing Surveys, 53(3), 63.