La escasez en redes de cápsulas se refiere a la propiedad de que solo un subconjunto de las cápsulas dentro de una capa se activa para generar representaciones de características eficientes y focalizadas.
Formalmente, la escasez se puede expresar mediante una función de pérdida reguladora \( \mathcal{L}_{sparse} = \lambda \sum_j \|v_j\|_1 \), donde \( v_j \) es la activación de la cápsula \( j \) y \( \lambda \) es un parámetro de regularización.
Esta escasez fomenta una distribución en la que pocas cápsulas muestran activaciones altas, mientras que otras permanecen cerca de cero, lo que aumenta la capacidad de discriminación.
Además, la escasez puede implementarse mediante arquitecturas CapsNet con mecanismos de enrutamiento competitivos o mediante enrutamiento escaso mediante enmascaramiento.
El enfoque escaso actúa como un regulador y ayuda a evitar el sobreajuste, mejora la interpretabilidad de las representaciones de las cápsulas y reduce el coste computacional.
Definición:
«La escasez en redes de cápsulas es la propiedad de las redes de cápsulas en la que solo se activa un número limitado de cápsulas dentro de una capa para garantizar representaciones de características eficientes, robustas e interpretables.»
Fuente:
Wang, X., Yu, F., Dou, Z., & Tao, D. (2019). Sparse Capsule Networks. Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV).