Neuronale Aktivierungsfunktion erklärt für Experten

Neuronale Aktivierungsfunktionen sind mathematische Funktionen, die auf die gewichtete Summe der Eingaben eines künstlichen Neurons angewendet werden, um dessen Ausgangssignal zu bestimmen.

Formal wird die Aktivierung a eines Neurons berechnet als a = f(z), wobei z = Σ w_i x_i + b die gewichtete Summe der Eingaben plus Bias ist und f die Aktivierungsfunktion darstellt.

Die Aktivierungsfunktion führt Nichtlinearität in das Modell ein, was notwendig ist, um komplexe, nichtlineare Zusammenhänge in Daten abzubilden.

Zu den gängigen Funktionen zählen:

• Sigmoid: f(z) = 1 / (1 + e^{-z}), Wertebereich (0,1), differenzierbar, jedoch mit Vanishing-Gradient-Problem.
• Hyperbolischer Tangens (tanh): f(z) = (e^{z} - e^{-z}) / (e^{z} + e^{-z}), Wertebereich (-1,1), zentriert um 0.
• ReLU (Rectified Linear Unit): f(z) = max(0,z), sparsamer und effektiv, aber nicht differenzierbar bei 0.

Die Wahl der Aktivierungsfunktion beeinflusst Konvergenzgeschwindigkeit, Modellgenauigkeit und Stabilität des Trainings.

Definition:
„Eine neuronale Aktivierungsfunktion ist eine nichtlineare Funktion, die auf die gewichtete Summe der Eingaben eines künstlichen Neurons angewendet wird, um dessen Ausgangssignal zu bestimmen und somit die Fähigkeit des Netzes zur Modellierung komplexer Zusammenhänge zu ermöglichen.“

Quelle:
Nwankpa, C., Ijomah, W., Gachagan, A., & Marshall, S. (2018). Activation Functions: Comparison of Trends in Practice and Research for Deep Learning. arXiv preprint arXiv:1811.03378.