Контрастивное самоконтролируемое обучение обозначает парадигму самоконтролируемого обучения, при которой модель с помощью принципов контрастивного обучения изучает представления, максимизирующие сходство положительных пар и минимизирующие сходство отрицательных пар.
Формально часто используется функция потерь InfoNCE:
\[ \mathcal{L}_{i} = -\log \frac{\exp(\mathrm{sim}(\mathbf{z}_i, \mathbf{z}_i^+)/\tau)}{\sum_{k=1}^{N} \exp(\mathrm{sim}(\mathbf{z}_i, \mathbf{z}_k)/\tau)} \]
где \( \mathbf{z}_i \) и \( \mathbf{z}_i^+ \) — представления положительной пары, \( \mathbf{z}_k \) — представления всех примеров в батче, \( \mathrm{sim} \) — функция сходства (например, косинусное сходство), а \( \tau \) — параметр температуры.
Благодаря этой контрастировке модель изучает структурированное пространство представлений, отражающее семантические связи, без необходимости в ручной разметке.
Определение:
«Контрастивное самоконтролируемое обучение — это метод самоконтролируемого обучения, который путем максимизации сходства между различными представлениями одного и того же объекта данных и минимизации сходства с другими объектами данных обучает устойчивые и информативные представления.»
Источник:
Chen, T., Kornblith, S., Norouzi, M., & Hinton, G. (2020). A Simple Framework for Contrastive Learning of Visual Representations. В материалах 37-й Международной конференции по машинному обучению (ICML).