Kontrastive Kodierung erklärt für Fortgeschrittene


Kontrastive Kodierung ist ein Lernverfahren, bei dem ein Modell darauf trainiert wird, Repräsentationen von ähnlichen Datenpunkten näher zusammen und von unähnlichen weiter entfernt im Merkmalsraum abzubilden.

Typischerweise werden Paare von Beispielen verwendet: positive Paare (ähnlich) und negative Paare (unähnlich).

Das Modell optimiert eine Verlustfunktion, wie den kontrastiven Verlust oder den InfoNCE-Verlust, um diese Struktur zu erzwingen.

Diese Technik wird häufig in selbstüberwachten Lernansätzen angewendet, um robuste und aussagekräftige Merkmalsvektoren zu erzeugen, die später für Klassifikation oder andere Aufgaben genutzt werden können.

Ein Beispiel sind Bild- oder Textrepräsentationen, bei denen verschiedene Ansichten oder Transformationen desselben Objekts als positiv betrachtet werden.