Механизм внимания — это принцип нейронной архитектуры, который позволяет адаптивно взвешивать релевантную контекстную информацию для улучшения моделирования зависимостей в данных.
Формально внимание вычисляет для запроса q, множества ключей k_i и соответствующих значений v_i выход как взвешенную сумму значений:
A(q, K, V) = Σ_i α_i v_i, где α_i = softmax(e_i), а e_i = f(q, k_i) представляет собой функцию совместимости, например, скалярное произведение.
Механизм позволяет гибко фокусироваться на релевантных частях входных данных, что особенно важно при обработке последовательностей.
Модели Transformer (Vaswani et al., 2017) используют Multi-Head Attention для параллельного захвата различных аспектов данных и эффективной интеграции контекстной информации.
Определение:
Механизм внимания — это метод в нейронных сетях, который посредством вычисления взвешенных комбинаций элементов входа обеспечивает адаптивную фокусировку контекста.
Источник:
Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., & Polosukhin, I. (2017). Attention is All You Need. В Advances in Neural Information Processing Systems (NeurIPS).