Контрастивное кодирование — это метод обучения, при котором модель обучается отображать представления похожих данных ближе друг к другу, а непохожих — дальше друг от друга в пространстве признаков.
Обычно используются пары примеров: положительные пары (похожие) и отрицательные пары (непохожие).
Модель оптимизирует функцию потерь, такую как контрастивная потеря или InfoNCE-потеря, чтобы обеспечить такую структуру.
Эта техника часто применяется в методах самообучения для создания устойчивых и информативных векторов признаков, которые затем могут использоваться для классификации или других задач.
Примером являются представления изображений или текста, где разные виды или трансформации одного и того же объекта считаются положительными.