Самоконтролируемое обучение (Self-Supervised Learning, SSL) — это парадигма обучения, при которой модели обучаются на неразмеченных данных путем решения задач предсказания или реконструкции без явных меток.
Типичные методы включают контрастивное обучение, предсказание с масками (например, Masked Language Models, такие как BERT) и предсказание контекста.
SSL направлено на обучение значимых, обобщаемых представлений, которые могут быть донастроены для последующих задач.
Метод решает проблему нехватки меток и повышает эффективность обучения на больших, гетерогенных наборах данных.
Определение:
«Self-supervised learning — это парадигма, в которой система учится представлениям из неразмеченных данных, решая вспомогательные задачи, которые генерируют управляющие сигналы из самих данных.»
Источник:
Jing, L., & Tian, Y. (2020). Self-supervised visual feature learning with deep neural networks: A survey. IEEE Transactions on Pattern Analysis and Machine Intelligence, 43(11), 4037-4058.