Шаблоны нейронной активации — это характерные распределения значений активации внутри нейронов нейронной сети, возникающие в ответ на конкретные входные данные.
Формально активацию нейрона \( i \) в слое \( l \) можно описать функцией \( a_i^{(l)} = \phi\left(\sum_j w_{ij}^{(l)} a_j^{(l-1)} + b_i^{(l)} \right) \), где \( \phi \) — функция активации, \( w_{ij}^{(l)} \) — веса, а \( b_i^{(l)} \) — смещение.
Общие шаблоны активации по всем нейронам и слоям кодируют абстрактные признаки входных данных и играют решающую роль в принятии решений моделью.
Изучение и интерпретация этих шаблонов, например, с помощью визуализации активаций или анализа чувствительности, позволяют получить представление о внутреннем представлении и поддерживают отладку и объяснимость нейронных сетей.
Определение:
«Шаблоны нейронной активации — это специфические распределения значений активации внутри нейронной сети, возникающие в ответ на входные данные и представляющие абстрактные признаки этих данных.»
Источник:
Zeiler, M. D., & Fergus, R. (2014). Visualizing and Understanding Convolutional Networks. In European Conference on Computer Vision (ECCV).