Der Attention-Mechanismus ist ein neuronales Architekturprinzip, das es erlaubt, relevante Kontextinformationen adaptiv zu gewichten, um die Modellierung von Abhängigkeiten in Daten zu verbessern.
Formal berechnet Attention für eine Query q, eine Menge von Keys k_i und zugehörigen Values v_i die Ausgabe als gewichtete Summe der Values:
A(q, K, V) = Σ_i α_i v_i, wobei α_i = softmax(e_i) und e_i = f(q, k_i) eine Kompatibilitätsfunktion darstellt, z.B. das Skalarprodukt.
Der Mechanismus erlaubt es, den Fokus flexibel auf relevante Teile der Eingabe zu legen, was insbesondere in der Sequenzverarbeitung entscheidende Vorteile bringt.
Transformer-Modelle (Vaswani et al., 2017) nutzen Multi-Head Attention, um unterschiedliche Aspekte der Daten parallel zu erfassen und Kontextinformationen effektiv zu integrieren.
Definition:
Der Attention-Mechanismus ist eine Methode in neuronalen Netzwerken, die durch Berechnung von gewichteten Kombinationen von Eingabeelementen eine adaptive Kontextfokussierung ermöglicht.
Quelle:
Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., & Polosukhin, I. (2017). Attention is All You Need. In Advances in Neural Information Processing Systems (NeurIPS).