Selbstüberwachtes Lernen (Self-Supervised Learning, SSL) bezeichnet eine Lernparadigma, bei dem Modelle durch die Lösung von Vorhersage- oder Rekonstruktionsaufgaben auf unbeaufsichtigten Daten trainiert werden, ohne explizite Labels.
Typische Methoden umfassen kontrastives Lernen, Masked-Model-Prediction (z.B. Masked Language Models wie BERT) und Kontextvorhersage.
SSL zielt darauf ab, aussagekräftige, generalisierbare Repräsentationen zu erlernen, die für nachfolgende Aufgaben feinjustiert werden können.
Die Methode adressiert die Herausforderung der Labelknappheit und verbessert die Effizienz des Lernens in großen, heterogenen Datensätzen.
Definition:
„Self-supervised learning is a paradigm where the system learns representations from unlabeled data by solving pretext tasks that generate supervisory signals from the data itself.“
Quelle:
Jing, L., & Tian, Y. (2020). Self-supervised visual feature learning with deep neural networks: A survey. IEEE Transactions on Pattern Analysis and Machine Intelligence, 43(11), 4037-4058.