带掩码的自监督学习基于对输入数据的部分进行有针对性的掩码（遮盖），模型学习重建这些缺失的信息。

在自然语言处理领域，掩码语言模型（MLM）是一个著名的例子，其中随机移除句子中的某些单词并用掩码替代。

模型通过剩余的上下文来预测被掩码的单词，从而学习深层的语言表示。

在图像处理领域，也有类似的方法，对图像区域进行掩码，模型学习重建或分类这些像素。

这种方法允许有效利用大量未标注的数据，学习出可用于多种任务的鲁棒特征表示。