Le mécanisme d'attention est un principe d'architecture neuronale qui permet de pondérer de manière adaptative les informations contextuelles pertinentes afin d'améliorer la modélisation des dépendances dans les données.
Formellement, l'attention calcule pour une requête q, un ensemble de clés k_i et les valeurs associées v_i la sortie comme une somme pondérée des valeurs :
A(q, K, V) = Σ_i α_i v_i, où α_i = softmax(e_i) et e_i = f(q, k_i) représente une fonction de compatibilité, par exemple le produit scalaire.
Le mécanisme permet de focaliser de manière flexible sur les parties pertinentes de l'entrée, ce qui apporte des avantages décisifs notamment dans le traitement des séquences.
Les modèles Transformer (Vaswani et al., 2017) utilisent l'attention multi-tête pour saisir parallèlement différents aspects des données et intégrer efficacement les informations contextuelles.
Définition :
Le mécanisme d'attention est une méthode dans les réseaux neuronaux qui permet une focalisation contextuelle adaptative par le calcul de combinaisons pondérées des éléments d'entrée.
Source :
Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., & Polosukhin, I. (2017). Attention is All You Need. In Advances in Neural Information Processing Systems (NeurIPS).