L'apprentissage méta-fédéré désigne un paradigme d'apprentissage qui intègre l'apprentissage fédéré avec le méta-apprentissage afin de développer des modèles capables de s'adapter rapidement à de nouvelles tâches spécifiques aux clients, tout en maintenant les données décentralisées.
Formellement, on considère un ensemble de clients \( \{C_i\}_{i=1}^N \), chacun possédant ses propres distributions de données locales \( \mathcal{D}_i \). L'objectif est de trouver une méta-initialisation \( \theta \) telle qu'après quelques étapes d'adaptation locale \( \theta_i = \theta - \alpha \nabla_\theta \mathcal{L}_{\mathcal{D}_i}(\theta) \), la performance sur la tâche locale respective soit maximisée.
Le processus d'apprentissage comprend une agrégation itérative des gradients ou des paramètres à travers les clients, où la confidentialité est assurée par l'évitement du transfert de données et éventuellement par des techniques supplémentaires telles que la confidentialité différentielle ou l'agrégation sécurisée.
L'apprentissage méta-fédéré aborde des défis tels que les distributions de données hétérogènes, les contraintes de communication et l'équilibre entre généralisation globale et spécialisation locale.
Définition :
« L'apprentissage méta-fédéré est une approche qui combine l'apprentissage fédéré et le méta-apprentissage pour entraîner des modèles capables de s'adapter rapidement à de nouvelles tâches distribuées, sans partage des données locales. »
Source :
Jiang, Y., Huang, J., & Wang, Y. (2020). Federated Meta-Learning with Fast Convergence and Efficient Communication. Advances in Neural Information Processing Systems (NeurIPS).