Un mecanismo de atención es un método que permite a las redes neuronales ponderar dinámicamente diferentes partes de una entrada.
Se calculan los llamados "puntuaciones de atención", que indican cuán relevante es un elemento específico en comparación con otros.
Estas puntuaciones a menudo se normalizan mediante una función softmax, de modo que pueden interpretarse como probabilidades.
El mecanismo se utiliza frecuentemente en modelos secuencia a secuencia, por ejemplo en la traducción automática, para enfocar de manera flexible las palabras importantes.
Arquitecturas modernas como Transformer se basan completamente en la atención, lo que permite el procesamiento paralelo y una mejor consideración del contexto.