El aprendizaje auto-supervisado con grafos se refiere a un paradigma en el que las Redes Neuronales de Grafos (GNNs) se entrenan sin etiquetas externas, aprovechando las estructuras y propiedades intrínsecas de los grafos.
Formalmente, esto se puede lograr minimizando una función de pérdida auto-definida \( \mathcal{L}_{ssl} \), basada en tareas previas, por ejemplo:
\[ \min_ heta \mathcal{L}_{ssl} = \mathbb{E}_{(v,u) \sim D}[\ell(f_ heta(v), f_ heta(u))] \]
donde \( f_ heta \) es la función de representación parametrizada por \( heta\) y \( \ell \) representa una función de distancia o similitud entre las representaciones de los nodos \(v\) y \(u\).
Métodos contrastivos como Deep Graph Infomax (DGI) maximizan la información mutua entre representaciones globales y locales para generar embeddings significativos.
Otros enfoques utilizan estrategias de enmascaramiento (por ejemplo, Graph Masked Autoencoders) o la predicción de información contextual dentro del grafo.
Estos procedimientos permiten el uso de grandes datos de grafos no etiquetados y mejoran el rendimiento en tareas posteriores mediante representaciones de características más robustas y generalizables.
Definición:
«El aprendizaje auto-supervisado con grafos es un paradigma de aprendizaje en el que las Redes Neuronales de Grafos se entrenan mediante tareas previas intrínsecas para extraer representaciones significativas de datos de grafos no etiquetados.»
Fuente:
Velickovic, P., et al. (2019). Deep Graph Infomax. International Conference on Learning Representations (ICLR).