L'apprentissage auto-supervisé avec intelligence collective désigne un paradigme d'apprentissage dans lequel plusieurs agents d'apprentissage autonomes interagissent dans un réseau décentralisé afin d'apprendre des représentations robustes par la formation d'un consensus mutuel et la génération collective de pseudolabels.
Formellement, un essaim est constitué d'un ensemble d'agents \( A = \{a_1, a_2, ..., a_n\} \), chacun possédant des modèles locaux \( M_i \) et échangeant des informations via des protocoles de communication \( C \).
Les agents génèrent des signaux auto-supervisés \( S_i \) à partir de leurs données locales et les partagent avec d'autres agents afin de définir des objectifs d'entraînement collectifs qui améliorent la performance d'apprentissage.
Cette architecture d'apprentissage distribuée favorise la diversité des représentations et augmente la robustesse face aux pannes et au bruit.
Définition :
« L'apprentissage auto-supervisé avec intelligence collective est une méthode d'apprentissage décentralisée dans laquelle plusieurs agents autonomes apprennent conjointement des représentations de données significatives sans étiquettes externes grâce à l'interaction et à la génération collective de pseudolabels. »
Source :
Li, X., & Wang, Y. (2022). Swarm Intelligence Enhanced Self-Supervised Learning: A Decentralized Approach. Proceedings of the 36th AAAI Conference on Artificial Intelligence.