对比方法的自监督学习指的是一类学习方法，其中编码器 f_θ 被训练以最大化正样本对表示之间的相似度，同时最小化负样本对的相似度。
形式上，通常使用 InfoNCE 损失，其定义为锚点嵌入 z_i 及其正样本对应 z_j 和一组负样本 z_k：
\[ \mathcal{L}_{i,j} = -\log rac{\exp(\mathrm{sim}(z_i, z_j) / au)}{\sum_{k=1}^{N} \exp(\mathrm{sim}(z_i, z_k) / au)} \]
其中 τ 是温度参数，“sim” 例如是余弦相似度度量。
正负样本对的选择和生成对学习效果至关重要。
较新的方法如 BYOL 或 SimSiam 甚至放弃了显式的负样本对，利用架构技巧避免塌缩解。
对比自监督学习方法已被证明在从无标签数据中提取有代表性的特征方面非常有效，广泛应用于计算机视觉、语音处理和多模态模型等领域。
定义：
“对比方法的自监督学习是一种学习范式，通过最大化正样本对之间的相似度并最小化与负样本对的相似度，使模型从无标签数据中学习到鲁棒的表示。”
来源：
Chen, T., Kornblith, S., Norouzi, M., & Hinton, G. (2020). A Simple Framework for Contrastive Learning of Visual Representations. 载于第37届国际机器学习大会（ICML）论文集。