Метапознание обозначает методы, при которых алгоритм обучения тренируется на распределении задач для разработки стратегии обучения, позволяющей быстро адаптироваться к новым задачам.
Формально рассматривается распределение задач p(T), при котором для каждой задачи T имеются тренировочные и тестовые данные. Цель — обучить мета-параметр \( \theta \), который позволяет быстро адаптироваться к новой задаче \( T_i \) с помощью небольших обновлений.
Известным методом является Model-Agnostic Meta-Learning (MAML) (Finn et al., 2017), который работает путём оптимизации следующей целевой функции:
\[ \min_{\theta} \sum_{T_i \sim p(T)} \mathcal{L}_{T_i}(U(\theta, D^{train}_{T_i})) \]
Здесь \( U(\theta, D^{train}_{T_i}) \) — шаг обновления (например, шаг градиента) по тренировочным данным задачи \( T_i \), а \( \mathcal{L}_{T_i} \) — функция потерь задачи.
Метапознание таким образом обеспечивает эффективное обучение с небольшим количеством примеров (Few-Shot Learning) и тесно связано с переносом обучения и автоматическим проектированием алгоритмов.
Определение:
«Метапознание — это процесс, при котором алгоритм обучения тренируется для улучшения своей способности к обучению, чтобы быстро и эффективно решать новые задачи с небольшим количеством примеров.»
Источник:
Finn, C., Abbeel, P., & Levine, S. (2017). Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks. Proceedings of the 34th International Conference on Machine Learning (ICML).