Самоконтролируемое обучение с контрастивными методами обозначает класс методов обучения, при которых энкодер f_θ обучается максимизировать сходство между представлениями положительных пар и минимизировать сходство между отрицательными парами.
Формально часто используется функция потерь InfoNCE, которая для якорного встраивания z_i и его положительного аналога z_j, а также множества отрицательных примеров z_k определяется следующим образом:
\[ \mathcal{L}_{i,j} = -\log rac{\exp(\mathrm{sim}(z_i, z_j) / au)}{\sum_{k=1}^{N} \exp(\mathrm{sim}(z_i, z_k) / au)} \]
Здесь τ — температура, а «sim» — например, мера косинусного сходства.
Выбор и генерация положительных и отрицательных пар имеют решающее значение для успеха обучения.
Новые методы, такие как BYOL или SimSiam, даже отказываются от явных отрицательных пар и используют архитектурные приёмы для предотвращения коллапса решений.
Контрастивные методы самоконтролируемого обучения показали высокую эффективность в извлечении репрезентативных признаков из неразмеченных данных, что применяется в таких областях, как компьютерное зрение, обработка речи и мультимодальные модели.
Определение:
«Самоконтролируемое обучение с контрастивными методами — это парадигма обучения, при которой модель учится извлекать устойчивые представления из неразмеченных данных путём максимизации сходства между положительными парами данных и минимизации сходства с отрицательными парами.»
Источник:
Chen, T., Kornblith, S., Norouzi, M., & Hinton, G. (2020). A Simple Framework for Contrastive Learning of Visual Representations. В материалах 37-й Международной конференции по машинному обучению (ICML).