Self-Supervised Learning ist ein Lernparadigma, bei dem ein Modell Aufgaben nutzt, die aus den Daten selbst generiert werden, um nützliche Repräsentationen zu lernen.
Dabei werden sogenannte Pretext-Aufgaben definiert, bei denen Teile der Eingabe vorhergesagt oder rekonstruiert werden, z. B. das Ausfüllen fehlender Bildbereiche oder das Vorhersagen des nächsten Wortes im Text.
Diese Vorgehensweise ermöglicht es, ohne explizite Labels eine Vortrainierung durchzuführen, die anschließend für spezifische Aufgaben feinjustiert werden kann.
Self-Supervised Learning hat den Vorteil, dass es große Mengen unbeschrifteter Daten effektiv nutzen kann und die Generalisierung verbessert.
Bekannte Ansätze sind Contrastive Predictive Coding, Masked Language Models wie BERT oder die Vorhersage von Bildtransformationen.