注意力图是注意力机制中计算的注意力权重 \( \alpha_{ij} \) 的可视化，用于表示输入元素 \( j \) 对处理目标元素 \( i \) 的相对重要性。
形式上，在注意力机制中，分数 \( e_{ij} \) 通过如下函数计算：
\[ e_{ij} = rac{(Q_i)(K_j)^T}{\sqrt{d_k}} \]
其中 \( Q_i \) 是查询向量，\( K_j \) 是键向量，\( d_k \) 是键的维度。
注意力权重通过 Softmax 得到：
\[ \alpha_{ij} = rac{\exp(e_{ij})}{\sum_{k} \exp(e_{ik})} \]
这些权重以热力图的形式在注意力图中可视化，显示在处理过程中哪些输入元素占主导地位。
注意力图对于理解和解释如 Transformer 这类模型至关重要，因为它们揭示了模型推理过程中注意力的分布情况。
定义：
“注意力图是通过注意力机制计算的权重的可视化，显示在处理目标元素时各输入元素被考虑的强度。”
来源：
Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., & Polosukhin, I. (2017). Attention is All You Need. Advances in Neural Information Processing Systems, 30.