L'apprentissage auto-supervisé (Self-Supervised Learning, SSL) désigne un paradigme d'apprentissage dans lequel les modèles sont entraînés à résoudre des tâches de prédiction ou de reconstruction sur des données non étiquetées, sans labels explicites.
Les méthodes typiques comprennent l'apprentissage contrastif, la prédiction de modèles masqués (par exemple les modèles de langage masqués comme BERT) et la prédiction de contexte.
Le SSL vise à apprendre des représentations significatives et généralisables, qui peuvent être affinées pour des tâches ultérieures.
La méthode répond au défi de la rareté des labels et améliore l'efficacité de l'apprentissage sur de grands ensembles de données hétérogènes.
Définition :
« Self-supervised learning is a paradigm where the system learns representations from unlabeled data by solving pretext tasks that generate supervisory signals from the data itself. »
Source :
Jing, L., & Tian, Y. (2020). Self-supervised visual feature learning with deep neural networks: A survey. IEEE Transactions on Pattern Analysis and Machine Intelligence, 43(11), 4037-4058.