Función de activación neuronal explicada para avanzados

Las funciones de activación neuronal transforman la suma de las entradas ponderadas de una neurona en un valor de salida.

Introducen no linealidades en la red, lo cual es esencial para que la red pueda aproximar funciones complejas.

Las funciones de activación típicas son la función sigmoide, la función tangente hiperbólica (tanh) y la unidad lineal rectificada (ReLU).

Cada función tiene sus ventajas y desventajas en cuanto a diferenciabilidad, rango de valores y coste computacional.

La elección de la función de activación influye fuertemente en el comportamiento de aprendizaje y el rendimiento de la red neuronal.