Attention Maps sind Visualisierungen der Attention-Gewichte \( \alpha_{ij} \), die in Attention-Mechanismen von neuronalen Netzwerken berechnet werden, um die relative Wichtigkeit von Eingabeelementen \( j \) für die Verarbeitung eines Ziel-Elements \( i \) darzustellen.
Formell werden in einem Attention-Mechanismus die Scores \( e_{ij} \) durch eine Funktion wie
\[ e_{ij} = rac{(Q_i)(K_j)^T}{\sqrt{d_k}} \]
berechnet, wobei \( Q_i \) der Query-Vektor, \( K_j \) der Key-Vektor und \( d_k \) die Dimension der Keys ist.
Die Attention-Gewichte folgen durch Softmax:
\[ \alpha_{ij} = rac{\exp(e_{ij})}{\sum_{k} \exp(e_{ik})} \]
Diese Gewichte werden in Attention Maps als Heatmaps visualisiert und zeigen, welche Eingabeelemente bei der Verarbeitung dominant sind.
Attention Maps sind essentiell für das Verständnis und die Erklärbarkeit von Modellen wie dem Transformer, indem sie Einblick in die Fokusverteilung während der Modellinferenz geben.
Definition:
„Attention Maps sind Visualisierungen der durch Attention-Mechanismen berechneten Gewichtungen, die anzeigen, wie stark einzelne Eingabeelemente bei der Verarbeitung eines Ziel-Elements berücksichtigt werden.“
Quelle:
Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., & Polosukhin, I. (2017). Attention is All You Need. Advances in Neural Information Processing Systems, 30.