Few-Shot Learning bezeichnet das Problem, ein Modell f_θ so zu trainieren, dass es neue Aufgaben T_j mit nur wenigen Beispielen S_j = {(x_i, y_i)}_{i=1}^k schnell lösen kann, wobei k klein ist (z.B. 1 bis 5).
Formell wird dies oft im Meta-Learning-Rahmen formuliert, bei dem eine Verteilung über Aufgaben p(T) zugrunde liegt und das Ziel ist, die erwartete Verlustfunktion über neue Aufgaben zu minimieren:
\[ \min_\theta \mathbb{E}_{T \sim p(T)} \left[ \mathcal{L}_{T} (f_\theta) \right] \]
Bekannte Algorithmen sind Model-Agnostic Meta-Learning (MAML), das durch wenige Gradienten-Updates auf neue Aufgaben generalisiert, sowie Prototypical Networks, die Repräsentationen als Klassenmittelpunkte im Merkmalsraum nutzen.
Few-Shot Learning adressiert zentrale Herausforderungen der Generalisierung und Daten-Effizienz in maschinellen Lernsystemen.
Definition:
„Few-Shot Learning ist ein Lernparadigma, bei dem Modelle darauf trainiert werden, neue Aufgaben mit nur sehr wenigen Trainingsbeispielen zu generalisieren.“
Quelle:
Wang, Y., Yao, Q., Kwok, J. T., & Ni, L. M. (2020). Generalizing from a Few Examples: A Survey on Few-Shot Learning. ACM Computing Surveys, 53(3), 63.