L'apprentissage auto-supervisé avec des graphes désigne un paradigme dans lequel les Graph Neural Networks (GNNs) sont entraînés sans étiquettes externes, en exploitant les structures et propriétés intrinsèques des graphes.
Formellement, cela peut être réalisé en minimisant une fonction de perte auto-définie \( \mathcal{L}_{ssl} \) basée sur des tâches prétextes, par exemple :
\[ \min_ heta \mathcal{L}_{ssl} = \mathbb{E}_{(v,u) \sim D}[\ell(f_ heta(v), f_ heta(u))] \]
où \( f_ heta \) est la fonction de représentation paramétrée par \( heta\) et \( \ell \) une fonction de distance ou de similarité entre les représentations des nœuds \(v\) et \(u\).
Des méthodes contrastives comme Deep Graph Infomax (DGI) maximisent l'information mutuelle entre les représentations globales et locales afin de générer des embeddings significatifs.
D'autres approches utilisent des stratégies de masquage (par ex. Graph Masked Autoencoders) ou la prédiction d'informations contextuelles au sein du graphe.
Ces procédés permettent d'exploiter de grandes quantités de données graphiques non étiquetées et améliorent la performance sur des tâches en aval grâce à des représentations de caractéristiques plus robustes et généralisables.
Définition :
« L'apprentissage auto-supervisé avec des graphes est un paradigme d'apprentissage dans lequel les Graph Neural Networks sont entraînés via des tâches prétextes intrinsèques afin d'extraire des représentations significatives à partir de données graphiques non étiquetées. »
Source :
Velickovic, P., et al. (2019). Deep Graph Infomax. International Conference on Learning Representations (ICLR).