El aprendizaje auto-supervisado con inteligencia de enjambre se refiere a un paradigma de aprendizaje en el que múltiples agentes autónomos de aprendizaje interactúan en una red descentralizada para aprender representaciones robustas mediante la formación de consenso mutuo y la generación colectiva de pseudoétiquetas.
Formalmente, un enjambre consta de un conjunto de agentes \( A = \{a_1, a_2, ..., a_n\} \), cada uno con modelos locales \( M_i \) y que intercambian información a través de protocolos de comunicación \( C \).
Los agentes generan señales auto-supervisadas \( S_i \) a partir de sus datos locales y las comparten con otros agentes para definir objetivos de entrenamiento colectivos que mejoran el rendimiento del aprendizaje.
Esta arquitectura de aprendizaje distribuido fomenta la diversidad de las representaciones y aumenta la robustez frente a fallos y ruido.
Definición:
«El aprendizaje auto-supervisado con inteligencia de enjambre es un procedimiento de aprendizaje descentralizado en el que varios agentes autónomos aprenden conjuntamente representaciones de datos significativas sin etiquetas externas mediante la interacción y la generación colectiva de pseudoétiquetas.»
Fuente:
Li, X., & Wang, Y. (2022). Swarm Intelligence Enhanced Self-Supervised Learning: A Decentralized Approach. Proceedings of the 36th AAAI Conference on Artificial Intelligence.