L'apprentissage auto-supervisé est un paradigme d'apprentissage dans lequel un modèle utilise des tâches générées à partir des données elles-mêmes pour apprendre des représentations utiles.
Des tâches dites prétextes sont définies, dans lesquelles des parties de l'entrée sont prédites ou reconstruites, par exemple remplir des zones d'image manquantes ou prédire le mot suivant dans un texte.
Cette approche permet de réaliser un pré-entraînement sans étiquettes explicites, qui peut ensuite être affiné pour des tâches spécifiques.
L'apprentissage auto-supervisé a l'avantage de pouvoir utiliser efficacement de grandes quantités de données non étiquetées et d'améliorer la généralisation.
Des approches connues sont le Contrastive Predictive Coding, les modèles de langage masqués comme BERT ou la prédiction de transformations d'images.