Нейронная функция активации, объяснённая для экспертов

Нейронные функции активации — это математические функции, которые применяются к взвешенной сумме входных данных искусственного нейрона для определения его выходного сигнала.

Формально активация a нейрона вычисляется как a = f(z), где z = Σ w_i x_i + b — взвешенная сумма входов плюс смещение, а f — функция активации.

Функция активации вводит нелинейность в модель, что необходимо для отображения сложных, нелинейных зависимостей в данных.

К распространённым функциям относятся:

• Сигмоида: f(z) = 1 / (1 + e^{-z}), область значений (0,1), дифференцируемая, но с проблемой исчезающего градиента.
• Гиперболический тангенс (tanh): f(z) = (e^{z} - e^{-z}) / (e^{z} + e^{-z}), область значений (-1,1), центрирована около 0.
• ReLU (Rectified Linear Unit): f(z) = max(0,z), экономичная и эффективная, но недифференцируемая в точке 0.

Выбор функции активации влияет на скорость сходимости, точность модели и стабильность обучения.

Определение:
«Нейронная функция активации — это нелинейная функция, которая применяется к взвешенной сумме входов искусственного нейрона для определения его выходного сигнала и тем самым обеспечивает способность сети моделировать сложные зависимости.»

Источник:
Nwankpa, C., Ijomah, W., Gachagan, A., & Marshall, S. (2018). Activation Functions: Comparison of Trends in Practice and Research for Deep Learning. arXiv preprint arXiv:1811.03378.