El Meta-Aprendizaje Federado se refiere a un paradigma de aprendizaje que integra el aprendizaje federado con el meta-aprendizaje para desarrollar modelos que se adapten rápidamente a nuevas tareas específicas del cliente, mientras que los datos permanecen descentralizados.
Formalmente, se considera un conjunto de clientes \( \{C_i\}_{i=1}^N \), cada uno con sus propias distribuciones locales de datos \( \mathcal{D}_i \). El objetivo es encontrar una meta-inicialización \( heta \) tal que, después de unos pocos pasos de adaptación local \( heta_i = heta - \alpha abla_ heta \mathcal{L}_{\mathcal{D}_i}( heta) \), se maximice el rendimiento en la tarea local respectiva.
El proceso de aprendizaje incluye la agregación iterativa de gradientes o parámetros a través de los clientes, garantizando la privacidad mediante la evitación de la transferencia de datos y, en su caso, técnicas adicionales como la privacidad diferencial o la agregación segura.
El Meta-Aprendizaje Federado aborda desafíos como distribuciones de datos heterogéneas, limitaciones de comunicación y el equilibrio entre la generalización global y la especialización local.
Definición:
«El Meta-Aprendizaje Federado es un enfoque que combina el aprendizaje federado y el meta-aprendizaje para entrenar modelos que se adapten rápidamente a nuevas tareas distribuidas, sin que se compartan datos locales.»
Fuente:
Jiang, Y., Huang, J., & Wang, Y. (2020). Federated Meta-Learning with Fast Convergence and Efficient Communication. Advances in Neural Information Processing Systems (NeurIPS).