Federated Reinforcement Learning (FRL) bezeichnet ein Framework, das föderiertes Lernen mit Verstärkendem Lernen (Reinforcement Learning, RL) kombiniert, um Policies über mehrere verteilte Agenten zu trainieren, ohne lokale Daten zu zentralisieren.
Formell optimiert jeder Agent i seine lokale Policy \(\pi_i\) basierend auf lokalen Interaktionen mit der Umgebung, während ein globales Modell \(\pi_G\) durch Aggregation lokaler Updates entsteht, etwa durch gewichtetes Mittel von Gradienten oder Parametern:
\[ \pi_G = \sum_{i=1}^N w_i \pi_i \quad \text{mit} \quad \sum_{i=1}^N w_i = 1 \]
Die Aggregation erfolgt typischerweise in Kommunikationsrunden, wobei Algorithmen wie FedAvg adaptiert werden, um Policy-Gradienten oder Wertfunktionen zu kombinieren.
FRL adressiert Herausforderungen wie Nicht-IID-Datenverteilungen, dynamische Umgebungen und asynchrone Updates.
Es nutzt Techniken aus Multi-Agent RL, föderiertem Lernen und optimiert Kommunikationsstrategien, um Effizienz und Datenschutz zu gewährleisten.
Definition:
„Federated Reinforcement Learning ist ein Lernparadigma, bei dem mehrere verteilte Agenten durch lokale Verstärkungslernprozesse kooperieren und ihre Modelle aggregieren, ohne Rohdaten auszutauschen, um gemeinsam optimale Policies zu erlernen.“
Quelle:
Li, T., Sahu, A. K., Talwalkar, A., & Smith, V. (2020). Federated Learning: Challenges, Methods, and Future Directions. IEEE Signal Processing Magazine.