面向专家的联邦元学习解释

联邦元学习是一种学习范式，结合了联邦学习与元学习，以开发能够快速适应新的、客户端特定任务的模型，同时数据保持去中心化。

形式上，考虑一组客户端 \( \{C_i\}_{i=1}^N \)，每个客户端拥有自己的本地数据分布 \( \mathcal{D}_i \)。目标是找到一个元初始化 \( heta \)，使得经过少量本地调整步骤 \( heta_i = heta - \alpha abla_ heta \mathcal{L}_{\mathcal{D}_i}( heta) \) 后，在各自的本地任务上性能达到最大化。

学习过程包括对客户端的梯度或参数进行迭代聚合，同时通过避免数据传输以及可能采用差分隐私或安全聚合等附加技术来保障数据隐私。

联邦元学习解决了异构数据分布、通信限制以及全局泛化与本地专门化之间的平衡等挑战。

定义：
“联邦元学习是一种结合联邦学习与元学习的方法，用于训练能够快速适应新的分布式任务的模型，而无需共享本地数据。”

来源：
Jiang, Y., Huang, J., & Wang, Y. (2020). Federated Meta-Learning with Fast Convergence and Efficient Communication. Advances in Neural Information Processing Systems (NeurIPS).