群体智能自监督学习是一种学习范式,其中多个自主学习代理在去中心化网络中交互,通过相互达成共识和集体伪标签生成来学习鲁棒的表示。
形式上,群体由一组代理 \( A = \{a_1, a_2, ..., a_n\} \) 组成,每个代理拥有局部模型 \( M_i \),并通过通信协议 \( C \) 交换信息。
代理从其本地数据中生成自监督信号 \( S_i \),并与其他代理共享,以定义集体训练目标,从而提升学习性能。
这种分布式学习架构促进了表示的多样性,并增强了对故障和噪声的鲁棒性。
定义:
“群体智能自监督学习是一种去中心化的学习方法,多个自主代理通过交互和集体伪标签生成,共同学习有意义的数据表示,而无需外部标签。”
来源:
Li, X., & Wang, Y. (2022). Swarm Intelligence Enhanced Self-Supervised Learning: A Decentralized Approach. Proceedings of the 36th AAAI Conference on Artificial Intelligence.