Meta-Lernen bezeichnet Methoden, bei denen ein Lernalgorithmus auf einer Verteilung von Aufgaben trainiert wird, um eine Lernstrategie zu entwickeln, die eine schnelle Anpassung an neue Aufgaben ermöglicht.
Formal betrachtet man eine Aufgabenverteilung p(T), wobei für jede Aufgabe T Trainings- und Testdaten vorliegen. Ziel ist es, einen Meta-Parameter \( \theta \) zu lernen, der eine schnelle Anpassung mittels geringer Updates an eine neue Aufgabe \( T_i \) erlaubt.
Ein bekanntes Verfahren ist Model-Agnostic Meta-Learning (MAML) (Finn et al., 2017), das durch Optimierung folgender Zielgröße funktioniert:
\[ \min_{\theta} \sum_{T_i \sim p(T)} \mathcal{L}_{T_i}(U(\theta, D^{train}_{T_i})) \]
Hierbei ist \( U(\theta, D^{train}_{T_i}) \) ein Update-Schritt (z.B. ein Gradientenschritt) auf die Trainingsdaten der Aufgabe \( T_i \), und \( \mathcal{L}_{T_i} \) die Verlustfunktion der Aufgabe.
Meta-Lernen ermöglicht damit effizientes Lernen mit wenigen Beispielen (Few-Shot Learning) und ist eng mit Transfer Learning und automatischem Algorithmendesign verbunden.
Definition:
„Meta-Lernen ist der Prozess, bei dem ein Lernalgorithmus trainiert wird, um seine Lernfähigkeit zu verbessern, sodass er neue Aufgaben schnell und effizient mit wenigen Beispielen lösen kann.“
Quelle:
Finn, C., Abbeel, P., & Levine, S. (2017). Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks. Proceedings of the 34th International Conference on Machine Learning (ICML).