面向专家的联邦迁移学习解释


联邦迁移学习(FTL)是一种混合学习范式,结合了联邦学习(FL)和迁移学习(TL)的原理,以有效利用分布式的异构数据源。

形式上,FTL由一组客户端 \( \{C_i\}_{i=1}^N \) 组成,每个客户端拥有本地数据 \( D_i \),这些数据可能位于不同但重叠的特征或数据空间中。

其目标是训练一个全局模型 \( M \),该模型通过聚合本地训练的模型 \( M_i \) 或其表示而成,迁移机制使得不同领域或特征空间之间的知识传递成为可能。

通常采用特征映射、领域适应或模型微调等技术来解决数据的异质性问题。

FTL解决了隐私保护、数据异质性和本地数据量有限等挑战。


定义:
“联邦迁移学习是一种分布式学习方法,在保持本地数据私密的同时,在异构客户端之间传递和聚合模型或表示知识,以生成共享模型。”


来源:
Yang, Q., Liu, Y., Chen, T., & Tong, Y. (2019). 联邦机器学习:概念与应用。ACM智能系统与技术汇刊(TIST),10(2),12。