Kontrastive Lernverfahren sind selbstüberwachte Lernmethoden, die eine Einbettungsfunktion f: X → R^d trainieren, sodass für ein Ankerbeispiel x_i die Darstellung f(x_i) näher an die von positiven Beispielen x_j^+ liegt als an negativen Beispielen x_k^-.
Dies wird formal häufig durch einen kontrastiven Verlust wie den NT-Xent Loss (Normalized Temperature-scaled Cross Entropy Loss) umgesetzt, der für ein Batch von Beispielen die Ähnlichkeiten maximiert bzw. minimiert.
Die Methode beruht auf der Annahme, dass ähnliche Datenpunkte (z.B. unterschiedliche Augmentationen desselben Bildes) semantisch verwandte Repräsentationen besitzen sollten, während unähnliche Beispiele unterschieden werden müssen.
Moderne Ansätze wie SimCLR (Chen et al., 2020) verwenden starke Datenaugmentationen und große Batchgrößen, während Methoden wie MoCo (He et al., 2020) eine Warteschlange für negative Beispiele nutzen.
Definition:
„Kontrastive Lernverfahren sind selbstüberwachte Lernmethoden, die durch Maximierung der Ähnlichkeit zwischen positiven Beispielpaaren und Minimierung der Ähnlichkeit zu negativen Beispielen eine aussagekräftige Repräsentation der Daten erlernen.“
Quelle:
Chen, T., Kornblith, S., Norouzi, M., & Hinton, G. (2020). A Simple Framework for Contrastive Learning of Visual Representations. In Proceedings of the 37th International Conference on Machine Learning (ICML).