Kontrastive Selbstüberwachung ist ein Ansatz im Bereich des Selbstüberwachten Lernens, bei dem ein Modell lernt, Repräsentationen zu erzeugen, die ähnliche Datenpunkte näher zusammenbringen und unterschiedliche weiter auseinander halten.
Dies geschieht meist durch die Verwendung von sogenannten positiven und negativen Paaren, wobei positive Paare unterschiedliche Ansichten oder Transformationen desselben Beispiels sind.
Typische Techniken beinhalten die Verwendung von Kontrastivverlustfunktionen wie dem InfoNCE-Loss, die das Modell anweisen, die Ähnlichkeit zwischen positiven Paaren zu maximieren und die zwischen negativen Paaren zu minimieren.
Diese Methode ermöglicht es, nützliche Merkmale zu lernen, die für verschiedene Aufgaben wie Klassifikation oder Clustering verwendet werden können, ohne dass explizite Labels benötigt werden.