Selbstüberwachtes Lernen mit Graphen bezeichnet ein Paradigma, in dem Graph Neural Networks (GNNs) ohne externe Labels trainiert werden, indem sie intrinsische Strukturen und Eigenschaften von Graphen ausnutzen.
Formell kann dies durch die Minimierung einer selbstdefinierten Verlustfunktion \( \mathcal{L}_{ssl} \) erreicht werden, die auf Pretext-Tasks basiert, z. B.:
\[ \min_ heta \mathcal{L}_{ssl} = \mathbb{E}_{(v,u) \sim D}[\ell(f_ heta(v), f_ heta(u))] \]
wobei \( f_ heta \) die Repräsentationsfunktion parametrisiert durch \( heta\) ist und \( \ell \) eine Distanz- oder Ähnlichkeitsfunktion zwischen den Repräsentationen von Knoten \(v\) und \(u\) darstellt.
Kontrastive Methoden wie Deep Graph Infomax (DGI) maximieren die gegenseitige Information zwischen globalen und lokalen Repräsentationen, um aussagekräftige Embeddings zu erzeugen.
Andere Ansätze nutzen Maskierungsstrategien (z. B. Graph Masked Autoencoders) oder Vorhersage von Kontextinformationen innerhalb des Graphen.
Diese Verfahren ermöglichen die Nutzung großer unbeschrifteter Graphdaten und verbessern die Performance bei downstream Aufgaben durch robustere und generalisierbare Merkmalsrepräsentationen.
Definition:
„Selbstüberwachtes Lernen mit Graphen ist ein Lernparadigma, bei dem Graph Neural Networks durch intrinsische Pretext-Tasks trainiert werden, um aussagekräftige Repräsentationen aus unbeschrifteten Graphdaten zu extrahieren.“
Quelle:
Velickovic, P., et al. (2019). Deep Graph Infomax. International Conference on Learning Representations (ICLR).