Fonction d'activation neuronale expliquée pour les experts

Les fonctions d'activation neuronale sont des fonctions mathématiques appliquées à la somme pondérée des entrées d'un neurone artificiel afin de déterminer son signal de sortie.

Formellement, l'activation a d'un neurone est calculée comme a = f(z), où z = Σ w_i x_i + b est la somme pondérée des entrées plus le biais et f représente la fonction d'activation.

La fonction d'activation introduit la non-linéarité dans le modèle, ce qui est nécessaire pour modéliser des relations complexes et non linéaires dans les données.

Parmi les fonctions courantes, on trouve :

• Sigmoïde : f(z) = 1 / (1 + e^{-z}), domaine de valeurs (0,1), différentiable, mais avec un problème de gradient qui disparaît.
• Tangente hyperbolique (tanh) : f(z) = (e^{z} - e^{-z}) / (e^{z} + e^{-z}), domaine de valeurs (-1,1), centrée autour de 0.
• ReLU (Rectified Linear Unit) : f(z) = max(0,z), économe et efficace, mais non différentiable en 0.

Le choix de la fonction d'activation influence la vitesse de convergence, la précision du modèle et la stabilité de l'entraînement.

Définition :
« Une fonction d'activation neuronale est une fonction non linéaire appliquée à la somme pondérée des entrées d'un neurone artificiel afin de déterminer son signal de sortie et ainsi permettre au réseau de modéliser des relations complexes. »

Source :
Nwankpa, C., Ijomah, W., Gachagan, A., & Marshall, S. (2018). Activation Functions: Comparison of Trends in Practice and Research for Deep Learning. arXiv preprint arXiv:1811.03378.