Attention Maps visualisieren die Gewichtungen von Attention-Mechanismen in neuronalen Netzwerken, die bestimmen, wie stark einzelne Eingabeelemente bei der Verarbeitung berücksichtigt werden.
Diese Karten zeigen, welche Teile der Eingabedaten für das Modell besonders wichtig sind und helfen, die Entscheidungsprozesse besser nachvollziehbar zu machen.
In Transformer-Modellen etwa werden Attention Scores zwischen Token berechnet, die als Heatmaps dargestellt werden können, um die Fokussierung auf bestimmte Wörter oder Bildregionen zu verdeutlichen.
Die Analyse von Attention Maps unterstützt das Debuggen und die Verbesserung von Modellen sowie die Erhöhung der Transparenz bei komplexen Aufgaben wie maschineller Übersetzung oder Bildbeschriftung.