Самостоятельное обучение с графовыми представлениями, объяснённое для экспертов

Самостоятельное обучение с графовыми представлениями обозначает класс методов обучения, при которых представления узлов, рёбер или целых графов изучаются с помощью заранее структурированных задач без внешних меток.

Формально рассматривается граф \( G = (V, E) \) с множеством узлов \( V \) и множеством рёбер \( E \). Цель — обучить функцию встраивания \( f_ heta: V \cup E \rightarrow \mathbb{R}^d \), которая отображает структурные и семантические свойства.

Типичные задачи самостоятельного обучения включают:

• Контрастивное обучение, при котором положительные пары (например, узлы и их соседи) отличаются от отрицательных пар.
• Задачи реконструкции, при которых предсказываются части графа (например, рёбра или атрибуты).
• Маскирование признаков узлов и их предсказание.

Графовые нейронные сети (GNN), такие как GCN, GAT или GraphSAGE, служат в качестве энкодеров, агрегирующих информацию локального соседства.

Определение:
«Самостоятельное обучение с графовыми представлениями — это парадигма обучения, при которой структуры графа и атрибуты используются для обучения информативных встраиваний узлов, рёбер или целых графов через заданные задачи без внешних меток.»

Источник:
Hu, W., et al. (2020). Strategies for Pre-training Graph Neural Networks. Proceedings of the 8th International Conference on Learning Representations (ICLR).