Few-Shot Learning désigne le problème de former un modèle f_θ de manière à ce qu'il puisse résoudre rapidement de nouvelles tâches T_j avec seulement quelques exemples S_j = {(x_i, y_i)}_{i=1}^k, où k est petit (par exemple de 1 à 5).
Formellement, cela est souvent formulé dans le cadre du méta-apprentissage, où une distribution sur les tâches p(T) est sous-jacente et l'objectif est de minimiser la fonction de perte attendue sur de nouvelles tâches :
\[ \min_\theta \mathbb{E}_{T \sim p(T)} \left[ \mathcal{L}_{T} (f_\theta) \right] \]
Les algorithmes connus sont le Model-Agnostic Meta-Learning (MAML), qui généralise par quelques mises à jour de gradient sur de nouvelles tâches, ainsi que les Prototypical Networks, qui utilisent des représentations comme centres de classes dans l'espace des caractéristiques.
Few-Shot Learning aborde des défis centraux de généralisation et d'efficacité des données dans les systèmes d'apprentissage automatique.
Définition :
« Few-Shot Learning est un paradigme d'apprentissage dans lequel les modèles sont entraînés à généraliser de nouvelles tâches avec très peu d'exemples d'entraînement. »
Source :
Wang, Y., Yao, Q., Kwok, J. T., & Ni, L. M. (2020). Generalizing from a Few Examples: A Survey on Few-Shot Learning. ACM Computing Surveys, 53(3), 63.