Самоконтролируемое обучение с графами обозначает парадигму, в которой графовые нейронные сети (GNN) обучаются без внешних меток, используя внутренние структуры и свойства графов.
Формально это может быть достигнуто путём минимизации самостоятельно определённой функции потерь \( \mathcal{L}_{ssl} \), основанной на предварительных задачах, например:
\[ \min_ heta \mathcal{L}_{ssl} = \mathbb{E}_{(v,u) \sim D}[\ell(f_ heta(v), f_ heta(u))] \]
где \( f_ heta \) — функция представления, параметризованная \( heta\), а \( \ell \) — функция расстояния или сходства между представлениями узлов \(v\) и \(u\).
Контрастивные методы, такие как Deep Graph Infomax (DGI), максимизируют взаимную информацию между глобальными и локальными представлениями для создания информативных эмбеддингов.
Другие подходы используют стратегии маскировки (например, Graph Masked Autoencoders) или предсказание контекстной информации внутри графа.
Эти методы позволяют использовать большие неразмеченные графовые данные и улучшают производительность в последующих задачах за счёт более устойчивых и обобщаемых представлений признаков.
Определение:
«Самоконтролируемое обучение с графами — это парадигма обучения, при которой графовые нейронные сети обучаются с помощью внутренних предварительных задач для извлечения информативных представлений из неразмеченных графовых данных.»
Источник:
Velickovic, P., et al. (2019). Deep Graph Infomax. International Conference on Learning Representations (ICLR).