L'auto-surveillance contrastive est une approche dans le domaine de l'apprentissage auto-supervisé, où un modèle apprend à générer des représentations qui rapprochent les points de données similaires et éloignent davantage les différents.
Cela se fait généralement par l'utilisation de ce que l'on appelle des paires positives et négatives, les paires positives étant différentes vues ou transformations du même exemple.
Les techniques typiques incluent l'utilisation de fonctions de perte contrastive telles que la perte InfoNCE, qui incitent le modèle à maximiser la similarité entre les paires positives et à minimiser celle entre les paires négatives.
Cette méthode permet d'apprendre des caractéristiques utiles qui peuvent être utilisées pour diverses tâches telles que la classification ou le regroupement, sans avoir besoin d'étiquettes explicites.