El mecanismo de atención es un principio de arquitectura neuronal que permite ponderar adaptativamente la información contextual relevante para mejorar la modelización de dependencias en los datos.
Formalmente, la atención calcula para una consulta q, un conjunto de claves k_i y valores asociados v_i la salida como una suma ponderada de los valores:
A(q, K, V) = Σ_i α_i v_i, donde α_i = softmax(e_i) y e_i = f(q, k_i) representa una función de compatibilidad, por ejemplo, el producto escalar.
El mecanismo permite enfocar de manera flexible las partes relevantes de la entrada, lo que aporta ventajas decisivas especialmente en el procesamiento de secuencias.
Los modelos Transformer (Vaswani et al., 2017) utilizan Multi-Head Attention para capturar diferentes aspectos de los datos en paralelo e integrar eficazmente la información contextual.
Definición:
El mecanismo de atención es un método en redes neuronales que, mediante el cálculo de combinaciones ponderadas de elementos de entrada, permite un enfoque contextual adaptativo.
Fuente:
Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., & Polosukhin, I. (2017). Attention is All You Need. In Advances in Neural Information Processing Systems (NeurIPS).