L'apprentissage méta désigne des méthodes dans lesquelles un algorithme d'apprentissage est entraîné sur une distribution de tâches afin de développer une stratégie d'apprentissage permettant une adaptation rapide à de nouvelles tâches.
Formellement, on considère une distribution de tâches p(T), où pour chaque tâche T, des données d'entraînement et de test sont disponibles. L'objectif est d'apprendre un méta-paramètre \( \theta \) qui permet une adaptation rapide par de faibles mises à jour à une nouvelle tâche \( T_i \).
Une méthode connue est le Model-Agnostic Meta-Learning (MAML) (Finn et al., 2017), qui fonctionne par l'optimisation de la fonction objectif suivante :
\[ \min_{\theta} \sum_{T_i \sim p(T)} \mathcal{L}_{T_i}(U(\theta, D^{train}_{T_i})) \]
Ici, \( U(\theta, D^{train}_{T_i}) \) est une étape de mise à jour (par exemple un pas de gradient) sur les données d'entraînement de la tâche \( T_i \), et \( \mathcal{L}_{T_i} \) la fonction de perte de la tâche.
L'apprentissage méta permet ainsi un apprentissage efficace avec peu d'exemples (Few-Shot Learning) et est étroitement lié au transfert d'apprentissage et à la conception automatique d'algorithmes.
Définition :
« L'apprentissage méta est le processus par lequel un algorithme d'apprentissage est entraîné pour améliorer sa capacité d'apprentissage, de sorte qu'il puisse résoudre rapidement et efficacement de nouvelles tâches avec peu d'exemples. »
Source :
Finn, C., Abbeel, P., & Levine, S. (2017). Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks. Proceedings of the 34th International Conference on Machine Learning (ICML).