Самостоятельное обучение с учителем — это парадигма обучения, при которой модель использует задачи, сгенерированные из самих данных, для обучения полезным представлениям.
При этом определяются так называемые предварительные задачи, в которых предсказываются или восстанавливаются части входных данных, например, заполнение пропущенных областей изображения или предсказание следующего слова в тексте.
Этот подход позволяет проводить предварительное обучение без явных меток, которое затем можно донастроить для конкретных задач.
Самостоятельное обучение с учителем имеет преимущество в эффективном использовании больших объемов неразмеченных данных и улучшении обобщения.
Известные подходы включают контрастивное предсказательное кодирование, маскированные языковые модели, такие как BERT, или предсказание преобразований изображений.