对比学习是一种学习方法,旨在生成数据的表示,使得相似的数据点在特征空间中彼此更接近,而不相似的数据点则相距较远。
这是通过使用成对或三元组的示例实现的,其中正样本对(相似示例)被拉近,负样本对(不相似示例)被拉远。
典型的方法使用诸如三元组损失(Triplet Loss)或InfoNCE损失等损失函数来优化特征空间中的距离。
对比学习在自监督学习中特别有效,因为它不依赖于显式标签,并且能够为分类或聚类等后续任务生成鲁棒的特征。
其著名应用包括图像处理、语音处理以及神经网络的预训练。