Selbstüberwachtes Lernen mit kontrastiven Methoden nutzt die Idee, dass ein Modell lernt, ähnliche Datenpunkte näher zusammen und unähnliche weiter auseinander im Merkmalsraum zu platzieren.
Typischerweise werden Datenpaare erzeugt, z. B. verschiedene Ansichten desselben Bildes, sogenannte positive Paare, sowie zufällige andere Bilder als negative Paare.
Das Modell wird so trainiert, dass die Repräsentationen der positiven Paare maximiert und die der negativen Paare minimiert werden.
Populäre Algorithmen sind SimCLR, MoCo oder BYOL, die unterschiedliche Strategien zur Erzeugung von Datenpaaren und zur Stabilisierung des Trainings verwenden.
Dieses Verfahren ermöglicht es, robuste und generalisierbare Merkmale zu lernen, die für viele nachfolgende Aufgaben ohne große Anpassungen einsetzbar sind.