Selbstüberwachtes Lernen mit Graphrepräsentationen erklärt für Experten

Selbstüberwachtes Lernen mit Graphrepräsentationen bezeichnet eine Klasse von Lernverfahren, bei denen Repräsentationen von Knoten, Kanten oder ganzen Graphen durch vorstrukturierte Aufgaben ohne externe Labels gelernt werden.

Formell betrachtet man einen Graphen \( G = (V, E) \) mit Knotenmenge \( V \) und Kantenmenge \( E \). Ziel ist es, eine Einbettungsfunktion \( f_ heta: V \cup E ightarrow \mathbb{R}^d \) zu lernen, die strukturelle und semantische Eigenschaften abbildet.

Typische selbstüberwachte Aufgaben umfassen:

• Kontrastives Lernen, bei dem positive Paare (z.B. Knoten und ihre Nachbarn) von negativen Paaren unterschieden werden.
• Rekonstruktionsaufgaben, bei denen Teile des Graphen (z.B. Kanten oder Attribute) vorhergesagt werden.
• Maskierung von Knotenmerkmalen und deren Vorhersage.

Graph Neural Networks (GNNs) wie GCN, GAT oder GraphSAGE dienen als Encoder, die lokale Nachbarschaftsinformationen aggregieren.

Definition:
„Selbstüberwachtes Lernen mit Graphrepräsentationen ist ein Lernparadigma, bei dem Graphstrukturen und -attribute genutzt werden, um durch vorgegebene Aufgaben ohne externe Labels aussagekräftige Einbettungen für Knoten, Kanten oder ganze Graphen zu erlernen.“

Quelle:
Hu, W., et al. (2020). Strategies for Pre-training Graph Neural Networks. Proceedings of the 8th International Conference on Learning Representations (ICLR).