对比方法的自监督学习利用了这样一个理念:模型学习将相似的数据点在特征空间中靠得更近,而将不相似的数据点拉得更远。
通常会生成数据对,例如同一图像的不同视图,称为正样本对,以及随机的其他图像作为负样本对。
模型的训练目标是最大化正样本对的表示相似度,最小化负样本对的表示相似度。
流行的算法有SimCLR、MoCo或BYOL,它们采用不同的策略来生成数据对并稳定训练过程。
该方法能够学习到鲁棒且具有良好泛化能力的特征,可用于许多后续任务且无需大量调整。