Трансформеры — это нейронные сети, которые используются в области обработки последовательностей, таких как текст или речь.
В отличие от предыдущих моделей, таких как RNN или LSTM, трансформеры обрабатывают все элементы входных данных одновременно, используя так называемый механизм внимания.
Этот механизм позволяет модели оценивать важность различных частей входных данных и комбинировать релевантную информацию из разных позиций.
Обычно модели трансформеров состоят из нескольких слоев самовнимания (Self-Attention) и полносвязных сетей (Feed-Forward), которые вместе создают глубокие представления.
Известные применения — языковые модели, такие как BERT или GPT, основанные на архитектуре трансформеров.