Los métodos de aprendizaje contrastivo son técnicas de aprendizaje auto-supervisado que entrenan una función de incrustación f: X → R^d, de modo que para un ejemplo ancla x_i, la representación f(x_i) esté más cerca de la de ejemplos positivos x_j^+ que de ejemplos negativos x_k^-.
Esto se implementa formalmente a menudo mediante una pérdida contrastiva como la pérdida NT-Xent (Normalized Temperature-scaled Cross Entropy Loss), que para un lote de ejemplos maximiza o minimiza las similitudes.
El método se basa en la suposición de que puntos de datos similares (por ejemplo, diferentes aumentos de la misma imagen) deberían poseer representaciones semánticamente relacionadas, mientras que los ejemplos disímiles deben distinguirse.
Enfoques modernos como SimCLR (Chen et al., 2020) utilizan fuertes aumentos de datos y grandes tamaños de lote, mientras que métodos como MoCo (He et al., 2020) emplean una cola para ejemplos negativos.
Definición:
«Los métodos de aprendizaje contrastivo son técnicas de aprendizaje auto-supervisado que, mediante la maximización de la similitud entre pares de ejemplos positivos y la minimización de la similitud con ejemplos negativos, aprenden una representación significativa de los datos.»
Fuente:
Chen, T., Kornblith, S., Norouzi, M., & Hinton, G. (2020). A Simple Framework for Contrastive Learning of Visual Representations. En Proceedings of the 37th International Conference on Machine Learning (ICML).