L'apprentissage auto-supervisé (Self-Supervised Learning, SSL) désigne un paradigme d'apprentissage dans lequel un modèle apprend des représentations à partir des données d'entrée en résolvant des tâches automatiquement générées (tâches prétextes), sans dépendre de labels annotés manuellement.
Formellement, une fonction f : X → Z est apprise, qui pour une distribution de données d'entrée p(x) produit une représentation z = f(x), en minimisant une fonction de perte L(f(x), g(x)), où g(x) est une information cible dérivée automatiquement des données à partir de x.
Les tâches prétextes typiques comprennent par exemple la prédiction d'informations contextuelles (par ex. pixels voisins, mots manquants), la résolution de puzzles Jigsaw pour les images ou des objectifs d'apprentissage contrastif définissant des paires positives et négatives.
Le SSL constitue un pont entre les méthodes supervisées et non supervisées et permet une utilisation efficace de grandes quantités de données non étiquetées.
Des modèles modernes tels que SimCLR, MoCo ou BERT reposent sur l'apprentissage auto-supervisé et ont considérablement amélioré les performances dans de nombreux domaines de l'IA.
Définition :
« L'apprentissage auto-supervisé est un paradigme d'apprentissage dans lequel les modèles résolvent des tâches automatiquement générées à partir des données d'entrée afin d'apprendre des représentations utiles, sans dépendre de données étiquetées manuellement. »
Source :
Jing, L. & Tian, Y. (2020). Self-Supervised Visual Feature Learning with Deep Neural Networks: A Survey. IEEE Transactions on Pattern Analysis and Machine Intelligence.