Apprentissage auto-supervisé avec des représentations de graphes expliqué pour les experts

L'apprentissage auto-supervisé avec des représentations de graphes désigne une classe de méthodes d'apprentissage où les représentations des nœuds, des arêtes ou des graphes entiers sont apprises via des tâches préstructurées sans étiquettes externes.

Formellement, on considère un graphe \( G = (V, E) \) avec un ensemble de nœuds \( V \) et un ensemble d'arêtes \( E \). L'objectif est d'apprendre une fonction d'encodage \( f_ heta: V \cup E \rightarrow \mathbb{R}^d \) qui capture les propriétés structurelles et sémantiques.

Les tâches auto-supervisées typiques comprennent :

• Apprentissage contrastif, où des paires positives (par ex. nœuds et leurs voisins) sont distinguées des paires négatives.
• Tâches de reconstruction, où des parties du graphe (par ex. arêtes ou attributs) sont prédites.
• Masquage des caractéristiques des nœuds et leur prédiction.

Les réseaux de neurones graphiques (GNN) tels que GCN, GAT ou GraphSAGE servent d'encodeurs, agrégeant les informations du voisinage local.

Définition :
« L'apprentissage auto-supervisé avec des représentations de graphes est un paradigme d'apprentissage qui utilise les structures et attributs des graphes pour apprendre, via des tâches prédéfinies sans étiquettes externes, des embeddings significatifs pour les nœuds, les arêtes ou les graphes entiers. »

Source :
Hu, W., et al. (2020). Strategies for Pre-training Graph Neural Networks. Proceedings of the 8th International Conference on Learning Representations (ICLR).