Самовнимание (Self-Attention) — это механизм в нейронных сетях, при котором каждый элемент входной последовательности оценивает свои отношения со всеми другими элементами той же последовательности.
Это происходит путем вычисления так называемых оценок внимания (Attention Scores), которые показывают, насколько одно слово важно для другого.
Оценки используются для создания взвешенных комбинаций входных элементов, что позволяет лучше учитывать контекст каждого элемента.
Механизм позволяет моделям изучать длинные зависимости в последовательностях без ограничений рекуррентных сетей.
Самовнимание является ключевым компонентом современных моделей, таких как Transformer, которые лидируют в таких областях, как машинный перевод и генерация текста.