Обучение с самоконтролем с контрастивными методами использует идею, что модель учится размещать похожие данные ближе друг к другу, а непохожие — дальше в пространстве признаков.
Обычно создаются пары данных, например, разные виды одного и того же изображения, так называемые положительные пары, а также случайные другие изображения в качестве отрицательных пар.
Модель обучается так, чтобы максимизировать представления положительных пар и минимизировать представления отрицательных пар.
Популярные алгоритмы — SimCLR, MoCo или BYOL, которые используют разные стратегии создания пар данных и стабилизации обучения.
Этот метод позволяет обучать устойчивые и обобщаемые признаки, которые можно использовать для многих последующих задач без значительных доработок.