面向专家的神经激活函数解释

神经激活函数是应用于人工神经元输入加权和的数学函数，用以确定其输出信号。

形式上，神经元的激活值 a 计算为 a = f(z)，其中 z = Σ w_i x_i + b 是输入的加权和加上偏置，f 表示激活函数。

激活函数为模型引入非线性，这是映射数据中复杂非线性关系所必需的。

常见的函数包括：

• Sigmoid：f(z) = 1 / (1 + e^{-z})，取值范围 (0,1)，可微，但存在梯度消失问题。
• 双曲正切（tanh）：f(z) = (e^{z} - e^{-z}) / (e^{z} + e^{-z})，取值范围 (-1,1)，以 0 为中心。
• ReLU（修正线性单元）：f(z) = max(0,z)，稀疏且高效，但在 0 处不可微。

激活函数的选择影响收敛速度、模型精度及训练稳定性。

定义：
“神经激活函数是一种非线性函数，应用于人工神经元输入的加权和，以确定其输出信号，从而使网络具备建模复杂关系的能力。”

来源：
Nwankpa, C., Ijomah, W., Gachagan, A., & Marshall, S. (2018). Activation Functions: Comparison of Trends in Practice and Research for Deep Learning. arXiv preprint arXiv:1811.03378.