Los mapas de atención visualizan los pesos de los mecanismos de atención en redes neuronales, que determinan la importancia de cada elemento de entrada durante el procesamiento.
Estos mapas muestran qué partes de los datos de entrada son especialmente importantes para el modelo y ayudan a comprender mejor los procesos de decisión.
En modelos Transformer, por ejemplo, se calculan puntuaciones de atención entre tokens, que pueden representarse como mapas de calor para ilustrar el enfoque en ciertas palabras o regiones de la imagen.
El análisis de los mapas de atención ayuda a depurar y mejorar los modelos, así como a aumentar la transparencia en tareas complejas como la traducción automática o la descripción de imágenes.