Selbstüberwachtes Lernen mit Maskierung basiert darauf, dass Teile der Eingabedaten gezielt maskiert (verdeckt) werden und das Modell lernt, diese fehlenden Informationen zu rekonstruieren.
Im Bereich der natürlichen Sprachverarbeitung ist das Masked Language Modeling (MLM) ein bekanntes Beispiel, bei dem zufällig einzelne Wörter in einem Satz entfernt und durch eine Maske ersetzt werden.
Das Modell wird trainiert, die maskierten Wörter anhand des restlichen Kontextes vorherzusagen, wodurch es tiefe Sprachrepräsentationen lernt.
Im Bereich der Bildverarbeitung gibt es ähnliche Ansätze, bei denen Bildbereiche maskiert werden und das Modell lernt, diese Pixel zu rekonstruieren oder zu klassifizieren.
Diese Methode erlaubt es, große Mengen unbeschrifteter Daten effektiv zu nutzen und robuste Feature-Repräsentationen zu erlernen, die für viele Aufgaben genutzt werden können.