L'apprentissage auto-supervisé avec des méthodes contrastives utilise l'idée qu'un modèle apprend à rapprocher les points de données similaires et à éloigner les points dissemblables dans l'espace des caractéristiques.
Typiquement, des paires de données sont générées, par exemple différentes vues de la même image, appelées paires positives, ainsi que d'autres images aléatoires comme paires négatives.
Le modèle est entraîné de manière à maximiser les représentations des paires positives et à minimiser celles des paires négatives.
Les algorithmes populaires sont SimCLR, MoCo ou BYOL, qui utilisent différentes stratégies pour générer des paires de données et stabiliser l'entraînement.
Cette méthode permet d'apprendre des caractéristiques robustes et généralisables, utilisables pour de nombreuses tâches ultérieures sans grands ajustements.