Самостоятельное обучение с учителем (Self-Supervised Learning, SSL) — это парадигма обучения, при которой модель учится представлениям, решая автоматически сгенерированные задачи (Pretext Tasks) на входных данных, без необходимости в ручной разметке меток.
Формально обучается функция f: X → Z, которая для распределения входных данных p(x) создает представление z = f(x), минимизируя функцию потерь L(f(x), g(x)), где g(x) — целевая информация из x, автоматически извлеченная из данных.
Типичные задачи Pretext включают, например, предсказание контекстной информации (например, соседних пикселей, пропущенных слов), решение пазлов Jigsaw для изображений или контрастивные цели обучения, определяющие положительные и отрицательные пары.
SSL служит мостом между контролируемыми и неконтролируемыми методами обучения и позволяет эффективно использовать большие объемы неразмеченных данных.
Современные модели, такие как SimCLR, MoCo или BERT, основаны на самостоятельном обучении с учителем и значительно повысили производительность во многих областях ИИ.
Определение:
«Самостоятельное обучение с учителем — это парадигма обучения, при которой модели решают автоматически сгенерированные задачи из входных данных, чтобы научиться полезным представлениям, не полагаясь на вручную размеченные данные.»
Источник:
Jing, L. & Tian, Y. (2020). Self-Supervised Visual Feature Learning with Deep Neural Networks: A Survey. IEEE Transactions on Pattern Analysis and Machine Intelligence.