Les modèles d'activation neuronale sont les distributions caractéristiques des valeurs d'activation au sein des neurones d'un réseau neuronal, qui apparaissent en réponse à des données d'entrée spécifiques.
Formellement, l'activation d'un neurone \( i \) dans la couche \( l \) peut être décrite par la fonction \( a_i^{(l)} = \phi\left(\sum_j w_{ij}^{(l)} a_j^{(l-1)} + b_i^{(l)} \right) \), où \( \phi \) est la fonction d'activation, \( w_{ij}^{(l)} \) les poids et \( b_i^{(l)} \) le biais.
Les modèles d'activation globaux sur tous les neurones et couches codent les caractéristiques abstraites de l'entrée et sont essentiels pour la prise de décision du modèle.
L'étude et l'interprétation de ces modèles, par exemple via la visualisation des activations ou des analyses de sensibilité, permettent d'obtenir des insights sur la représentation interne et soutiennent le débogage ainsi que l'explicabilité des réseaux neuronaux.
Définition :
« Les modèles d'activation neuronale sont les distributions spécifiques des valeurs d'activation au sein d'un réseau neuronal, qui apparaissent en réponse aux données d'entrée et représentent les caractéristiques abstraites de ces données. »
Source :
Zeiler, M. D., & Fergus, R. (2014). Visualizing and Understanding Convolutional Networks. In European Conference on Computer Vision (ECCV).