Self-Supervised Learning (SSL) bezeichnet ein Lernparadigma, bei dem ein Modell durch das Lösen von automatisch generierten Aufgaben (Pretext Tasks) aus den Eingabedaten Repräsentationen lernt, ohne auf manuell annotierte Labels angewiesen zu sein.
Formell wird eine Funktion f: X → Z gelernt, die für eine Eingabedatenverteilung p(x) eine Repräsentation z = f(x) erzeugt, indem eine Verlustfunktion L(f(x), g(x)) minimiert wird, wobei g(x) eine Zielinformation aus x ist, die automatisch aus den Daten abgeleitet wird.
Typische Pretext-Aufgaben umfassen beispielsweise das Vorhersagen von Kontextinformationen (z.B. Nachbarpixel, fehlende Wörter), das Lösen von Jigsaw-Puzzles bei Bildern oder kontrastive Lernziele, die positive und negative Paare definieren.
SSL stellt eine Brücke zwischen überwachten und unüberwachten Lernverfahren dar und ermöglicht eine effiziente Nutzung großer unbeschrifteter Datenmengen.
Moderne Modelle wie SimCLR, MoCo oder BERT basieren auf Self-Supervised Learning und haben die Leistungsfähigkeit in vielen Bereichen der KI deutlich gesteigert.
Definition:
„Self-Supervised Learning ist ein Lernparadigma, bei dem Modelle automatisch generierte Aufgaben aus den Eingabedaten lösen, um nützliche Repräsentationen zu lernen, ohne auf manuell gelabelte Daten angewiesen zu sein.“
Quelle:
Jing, L. & Tian, Y. (2020). Self-Supervised Visual Feature Learning with Deep Neural Networks: A Survey. IEEE Transactions on Pattern Analysis and Machine Intelligence.