El aprendizaje auto-supervisado (Self-Supervised Learning, SSL) es un paradigma de aprendizaje en el que los modelos se entrenan resolviendo tareas de predicción o reconstrucción sobre datos no etiquetados, sin etiquetas explícitas.
Los métodos típicos incluyen aprendizaje contrastivo, predicción de modelos enmascarados (por ejemplo, modelos de lenguaje enmascarados como BERT) y predicción de contexto.
El SSL tiene como objetivo aprender representaciones significativas y generalizables que puedan ajustarse finamente para tareas posteriores.
El método aborda el desafío de la escasez de etiquetas y mejora la eficiencia del aprendizaje en grandes conjuntos de datos heterogéneos.
Definición:
«El aprendizaje auto-supervisado es un paradigma donde el sistema aprende representaciones a partir de datos no etiquetados resolviendo tareas preliminares que generan señales de supervisión a partir de los propios datos.»
Fuente:
Jing, L., & Tian, Y. (2020). Self-supervised visual feature learning with deep neural networks: A survey. IEEE Transactions on Pattern Analysis and Machine Intelligence, 43(11), 4037-4058.