Разреженность Capsule Network обозначает свойство, при котором в капсульных сетях активируется только подмножество капсул внутри слоя для создания эффективных и сфокусированных представлений признаков.
Формально разреженность можно выразить через регулирующую функцию потерь \( \mathcal{L}_{sparse} = \lambda \sum_j \|v_j\|_1 \), где \( v_j \) — активация капсулы \( j \), а \( \lambda \) — параметр регуляризации.
Эта разреженность способствует распределению, при котором немногие капсулы показывают высокие активации, в то время как другие остаются близкими к нулю, что повышает дискриминационную способность.
Кроме того, разреженность может быть реализована через архитектуры CapsNet с конкурирующими механизмами маршрутизации или через разреженную маршрутизацию с помощью маскирования.
Разреженный подход действует как регулятор, помогает избегать переобучения, улучшает интерпретируемость представлений капсул и снижает вычислительные затраты.
Определение:
«Разреженность Capsule Network — это свойство капсульных сетей, при котором активируется лишь ограниченное количество капсул внутри слоя для обеспечения эффективных, устойчивых и интерпретируемых представлений признаков.»
Источник:
Wang, X., Yu, F., Dou, Z., & Tao, D. (2019). Sparse Capsule Networks. Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV).