联邦学习是一种去中心化的机器学习范式,其中大量客户端在其本地私有数据上训练模型,仅将模型参数或梯度传送给中央聚合器。
聚合器通常通过加权平均(例如联邦平均,FedAvg)来合并更新,以创建一个全局模型,随后将其发送回客户端。
该方法允许在非独立同分布(non-IID)和异构数据上训练模型,而无需传输数据本身,从而提升了隐私保护和数据安全性。
重要的研究问题包括优化通信成本、增强对故障或恶意客户端的鲁棒性,以及通过差分隐私和安全多方计算等技术确保隐私保护。
定义:
联邦学习是一种机器学习方法,多个去中心化客户端在本地训练,仅将其模型更新发送到中央服务器,服务器对其进行聚合以创建共享模型,而原始数据不会离开客户端。
来源:
Konecny, J., McMahan, H. B., Yu, F., Richtárik, P., Suresh, A. T., & Bacon, D. (2016). 联邦学习:提高通信效率的策略。arXiv预印本 arXiv:1610.05492。