Federated Learning ist ein dezentralisiertes maschinelles Lernparadigma, bei dem eine Vielzahl von Clients lokal auf ihren privaten Daten Modelle trainieren und nur Modellparameter oder Gradienten an einen zentralen Aggregator übermitteln.
Der Aggregator kombiniert die Updates typischerweise mittels gewichteter Mittelwertbildung (z.B. Federated Averaging, FedAvg), um ein globales Modell zu erstellen, das anschließend an die Clients zurückgesendet wird.
Dieses Verfahren ermöglicht das Trainieren von Modellen auf nicht identisch verteilten (non-IID) und heterogenen Daten, ohne die Daten selbst zu übertragen, wodurch Datenschutz und Datensicherheit verbessert werden.
Wichtige Forschungsfragen umfassen die Optimierung der Kommunikationskosten, Robustheit gegenüber fehlerhaften oder bösartigen Clients sowie die Sicherstellung von Datenschutz durch Techniken wie Differential Privacy und Secure Multi-Party Computation.
Definition:
Federated Learning ist ein maschinelles Lernverfahren, bei dem mehrere dezentrale Clients lokal trainieren und nur ihre Modell-Updates an einen zentralen Server senden, der diese aggregiert, um ein gemeinsames Modell zu erstellen, ohne dass die Rohdaten die Clients verlassen.
Quelle:
Konecny, J., McMahan, H. B., Yu, F., Richtárik, P., Suresh, A. T., & Bacon, D. (2016). Federated Learning: Strategies for Improving Communication Efficiency. arXiv preprint arXiv:1610.05492.