Attention Maps — это визуализации весов внимания \( \alpha_{ij} \), которые вычисляются в механизмах внимания нейронных сетей для отображения относительной важности элементов входа \( j \) при обработке целевого элемента \( i \).
Формально в механизме внимания оценки \( e_{ij} \) вычисляются с помощью функции, такой как
\[ e_{ij} = rac{(Q_i)(K_j)^T}{\sqrt{d_k}} \]
где \( Q_i \) — вектор запроса (Query), \( K_j \) — вектор ключа (Key), а \( d_k \) — размерность ключей.
Веса внимания получаются через Softmax:
\[ \alpha_{ij} = rac{\exp(e_{ij})}{\sum_{k} \exp(e_{ik})} \]
Эти веса визуализируются в Attention Maps в виде тепловых карт и показывают, какие элементы входа доминируют при обработке.
Attention Maps имеют важное значение для понимания и объяснимости моделей, таких как Transformer, предоставляя представление о распределении фокуса во время инференса модели.
Определение:
«Attention Maps — это визуализации весов, вычисленных механизмами внимания, которые показывают, насколько сильно учитываются отдельные элементы входа при обработке целевого элемента.»
Источник:
Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., & Polosukhin, I. (2017). Attention is All You Need. Advances in Neural Information Processing Systems, 30.