El aprendizaje auto-supervisado es un paradigma de aprendizaje en el que un modelo utiliza tareas generadas a partir de los propios datos para aprender representaciones útiles.
Se definen las llamadas tareas de pretexto, en las que se predicen o reconstruyen partes de la entrada, por ejemplo, rellenar áreas faltantes de una imagen o predecir la siguiente palabra en un texto.
Este enfoque permite realizar un preentrenamiento sin etiquetas explícitas, que luego puede ajustarse finamente para tareas específicas.
El aprendizaje auto-supervisado tiene la ventaja de poder utilizar eficazmente grandes cantidades de datos no etiquetados y mejorar la generalización.
Enfoques conocidos son el Contrastive Predictive Coding, los modelos de lenguaje enmascarados como BERT o la predicción de transformaciones de imágenes.