Transformers sind neuronale Netzwerke, die im Bereich der Verarbeitung von Sequenzen, wie Text oder Sprache, eingesetzt werden.
Im Gegensatz zu früheren Modellen wie RNNs oder LSTMs verarbeiten Transformers alle Eingabeelemente gleichzeitig und nutzen dabei den sogenannten Attention-Mechanismus.
Dieser Mechanismus erlaubt es dem Modell, die Wichtigkeit verschiedener Teile der Eingabe zu bewerten und relevante Informationen aus unterschiedlichen Positionen zu kombinieren.
Typischerweise bestehen Transformer-Modelle aus mehreren Schichten von Selbstaufmerksamkeit (Self-Attention) und Feed-Forward-Netzwerken, die zusammen tiefe Repräsentationen erzeugen.
Bekannte Anwendungen sind Sprachmodelle wie BERT oder GPT, die auf Transformer-Architekturen basieren.