Les transformers sont des réseaux neuronaux utilisés dans le domaine du traitement des séquences, comme le texte ou la parole.
Contrairement aux modèles précédents tels que les RNN ou les LSTM, les transformers traitent tous les éléments d'entrée simultanément en utilisant le mécanisme dit d'attention.
Ce mécanisme permet au modèle d'évaluer l'importance de différentes parties de l'entrée et de combiner des informations pertinentes provenant de différentes positions.
Typiquement, les modèles transformer sont composés de plusieurs couches d'auto-attention (Self-Attention) et de réseaux feed-forward, qui produisent ensemble des représentations profondes.
Des applications connues sont les modèles de langage comme BERT ou GPT, qui sont basés sur des architectures transformer.