Federated Meta-Learning bezeichnet ein Lernparadigma, das föderiertes Lernen mit Meta-Learning integriert, um Modelle zu entwickeln, die sich schnell an neue, client-spezifische Aufgaben anpassen lassen, während die Daten dezentral bleiben.
Formell betrachtet man eine Menge von Clients \( \{C_i\}_{i=1}^N \), die jeweils eigene lokale Datenverteilungen \( \mathcal{D}_i \) besitzen. Ziel ist es, eine Meta-Initialisierung \( heta \) zu finden, sodass nach wenigen Schritten lokaler Anpassung \( heta_i = heta - \alpha abla_ heta \mathcal{L}_{\mathcal{D}_i}( heta) \) die Performance auf der jeweiligen lokalen Aufgabe maximiert wird.
Der Lernprozess umfasst iterative Aggregation von Gradienten oder Parametern über die Clients, wobei Datenschutz durch die Vermeidung von Datenübertragung und ggf. zusätzliche Techniken wie Differential Privacy oder Secure Aggregation gewährleistet wird.
Federated Meta-Learning adressiert Herausforderungen wie heterogene Datenverteilungen, Kommunikationsbeschränkungen und die Balance zwischen globaler Generalisierung und lokaler Spezialisierung.
Definition:
„Federated Meta-Learning ist ein Ansatz, der föderiertes Lernen und Meta-Learning kombiniert, um Modelle zu trainieren, die sich schnell an neue, verteilte Aufgaben anpassen, ohne dass lokale Daten geteilt werden.“
Quelle:
Jiang, Y., Huang, J., & Wang, Y. (2020). Federated Meta-Learning with Fast Convergence and Efficient Communication. Advances in Neural Information Processing Systems (NeurIPS).