Attention Maps визуализируют веса механизмов внимания в нейронных сетях, которые определяют, насколько сильно учитываются отдельные элементы ввода при обработке.
Эти карты показывают, какие части входных данных особенно важны для модели и помогают лучше понять процессы принятия решений.
В моделях Transformer, например, вычисляются оценки внимания между токенами, которые могут быть представлены в виде тепловых карт, чтобы проиллюстрировать фокусировку на определённых словах или областях изображения.
Анализ Attention Maps поддерживает отладку и улучшение моделей, а также повышает прозрачность при выполнении сложных задач, таких как машинный перевод или описание изображений.