Архитектура трансформера была представлена в 2017 году и основана на идее самовнимания (Self-Attention), которое позволяет одновременно учитывать отношения между всеми элементами входных данных.
В отличие от рекуррентных или сверточных моделей, трансформер обрабатывает полные последовательности параллельно, что значительно улучшает скорость обучения и масштабируемость.
Трансформер состоит из слоев энкодера и декодера, каждый из которых включает механизмы Multi-Head-Self-Attention и сети прямого распространения (Feedforward).
Механизм самовнимания вычисляет для каждого слова взвешенную комбинацию всех слов в последовательности, чтобы учитывать важную контекстную информацию.
Эта архитектура является основой многих современных моделей обработки естественного языка, которые используются как для понимания языка, так и для генерации текста.