面向专家的带数据增强的自监督学习解释

带数据增强的自监督学习指的是一类学习方法，其中模型通过对输入数据进行人工生成的变换来学习形成鲁棒且具有泛化能力的表示。

形式上，一个输入数据 \( x \) 通过一个随机增强函数 \( t \sim \mathcal{T} \) 进行变换，从而得到 \( ilde{x} = t(x) \)。

目标是训练一个嵌入函数 \( f_ heta \)，使得同一原始数据的两个增强版本产生相似的表示，即 \( f_ heta( ilde{x}_i) \approx f_ heta( ilde{x}_j) \)，同时区分不同数据点的表示。

这通常通过对比损失（例如 InfoNCE）或其他距离度量来实现。

数据增强至关重要，因为它模拟了数据的变异性，迫使模型关注相关特征。

定义：
“带数据增强的自监督学习是一种学习范式，模型通过对输入数据进行人工生成的变换，学习鲁棒的表示，通过为同一原始数据的不同增强版本生成相似的表示。”

来源：
Chen, T., Kornblith, S., Norouzi, M., & Hinton, G. (2020). A Simple Framework for Contrastive Learning of Visual Representations. Proceedings of the 37th International Conference on Machine Learning (ICML).