Die Transformer-Architektur wurde 2017 vorgestellt und basiert auf der Idee der Selbstaufmerksamkeit (Self-Attention), die es ermöglicht, Beziehungen zwischen allen Eingabeelementen gleichzeitig zu erfassen.
Im Gegensatz zu rekurrenten oder konvolutionalen Modellen verarbeitet ein Transformer komplette Sequenzen parallel, was die Trainingsgeschwindigkeit und Skalierbarkeit deutlich verbessert.
Ein Transformer besteht aus Encoder- und Decoder-Schichten, die jeweils aus Multi-Head-Self-Attention-Mechanismen und Feedforward-Netzwerken bestehen.
Der Self-Attention-Mechanismus berechnet für jedes Wort eine gewichtete Kombination aller Wörter in der Sequenz, um wichtige Kontextinformationen zu berücksichtigen.
Diese Architektur ist die Grundlage vieler moderner NLP-Modelle, die sowohl für Sprachverständnis als auch für Textgenerierung eingesetzt werden.