Контрастивные методы обучения — это методы самоконтролируемого обучения, которые обучают функцию отображения f: X → R^d так, чтобы представление f(x_i) для якорного примера x_i было ближе к представлениям положительных примеров x_j^+, чем к отрицательным примерам x_k^-.
Это часто формально реализуется с помощью контрастивной функции потерь, такой как NT-Xent Loss (Normalized Temperature-scaled Cross Entropy Loss), которая максимизирует или минимизирует сходства для батча примеров.
Метод основан на предположении, что похожие данные (например, различные аугментации одного и того же изображения) должны иметь семантически близкие представления, в то время как непохожие примеры должны различаться.
Современные подходы, такие как SimCLR (Chen et al., 2020), используют сильные аугментации данных и большие размеры батчей, тогда как методы, такие как MoCo (He et al., 2020), применяют очередь для отрицательных примеров.
Определение:
«Контрастивные методы обучения — это методы самоконтролируемого обучения, которые посредством максимизации сходства между положительными парами примеров и минимизации сходства с отрицательными примерами обучают информативное представление данных.»
Источник:
Chen, T., Kornblith, S., Norouzi, M., & Hinton, G. (2020). A Simple Framework for Contrastive Learning of Visual Representations. In Proceedings of the 37th International Conference on Machine Learning (ICML).