Контрастивный самоконтроль — это подход в области самоконтролируемого обучения, при котором модель учится создавать представления, которые сближают похожие данные и раздвигают разные.
Это обычно достигается с помощью так называемых положительных и отрицательных пар, где положительные пары — это разные виды или трансформации одного и того же примера.
Типичные методы включают использование контрастивных функций потерь, таких как InfoNCE-loss, которые заставляют модель максимизировать сходство между положительными парами и минимизировать между отрицательными.
Этот метод позволяет изучать полезные признаки, которые могут использоваться для различных задач, таких как классификация или кластеризация, без необходимости в явных метках.