Función de activación neuronal explicada para expertos

Las funciones de activación neuronal son funciones matemáticas que se aplican a la suma ponderada de las entradas de una neurona artificial para determinar su señal de salida.

Formalmente, la activación a de una neurona se calcula como a = f(z), donde z = Σ w_i x_i + b es la suma ponderada de las entradas más el sesgo y f representa la función de activación.

La función de activación introduce no linealidad en el modelo, lo cual es necesario para representar relaciones complejas y no lineales en los datos.

Entre las funciones comunes se encuentran:

• Sigmoide: f(z) = 1 / (1 + e^{-z}), rango de valores (0,1), diferenciable, pero con problema de gradiente desvanecido.
• Tangente hiperbólica (tanh): f(z) = (e^{z} - e^{-z}) / (e^{z} + e^{-z}), rango de valores (-1,1), centrada en 0.
• ReLU (Unidad Lineal Rectificada): f(z) = max(0,z), eficiente y efectiva, pero no diferenciable en 0.

La elección de la función de activación influye en la velocidad de convergencia, la precisión del modelo y la estabilidad del entrenamiento.

Definición:
«Una función de activación neuronal es una función no lineal que se aplica a la suma ponderada de las entradas de una neurona artificial para determinar su señal de salida y así permitir la capacidad de la red para modelar relaciones complejas.»

Fuente:
Nwankpa, C., Ijomah, W., Gachagan, A., & Marshall, S. (2018). Activation Functions: Comparison of Trends in Practice and Research for Deep Learning. arXiv preprint arXiv:1811.03378.