Un mécanisme d'attention est une méthode qui permet aux réseaux neuronaux de pondérer dynamiquement différentes parties d'une entrée.
Des "scores d'attention" sont calculés, indiquant la pertinence d'un élément donné par rapport aux autres.
Ces scores sont souvent normalisés par une fonction softmax, ce qui permet de les interpréter comme des probabilités.
Le mécanisme est fréquemment utilisé dans les modèles séquence-à-séquence, par exemple en traduction automatique, pour focaliser de manière flexible sur les mots importants.
Les architectures modernes comme les Transformers reposent entièrement sur l'attention, ce qui permet un traitement parallèle et une meilleure prise en compte du contexte.