Selbstaufmerksamkeit (Self-Attention) ist ein Mechanismus in neuronalen Netzen, bei dem jedes Element einer Eingabesequenz seine Beziehung zu allen anderen Elementen der gleichen Sequenz bewertet.
Dies geschieht durch Berechnung von sogenannten Attention Scores, die anzeigen, wie relevant ein Wort für ein anderes ist.
Die Scores werden genutzt, um gewichtete Kombinationen der Eingabeelemente zu erzeugen, wodurch der Kontext jedes Elements besser erfasst wird.
Der Mechanismus ermöglicht es Modellen, lange Abhängigkeiten in Sequenzen zu lernen, ohne die Einschränkungen von rekurrenten Netzen.
Selbstaufmerksamkeit ist eine zentrale Komponente moderner Modelle wie dem Transformer, die in Bereichen wie maschineller Übersetzung und Textgenerierung führend sind.