La sparsité des réseaux de capsules fait référence à la réduction ciblée des connexions et neurones actifs dans les réseaux de capsules, afin d'éviter le surapprentissage et d'améliorer l'efficacité.
Dans un réseau de capsules, les capsules codent des vecteurs de caractéristiques, et les mécanismes de sparsité veillent à ce que seules les capsules pertinentes restent actives, tandis que les capsules non pertinentes sont supprimées.
Cela peut être réalisé par des techniques telles que la régularisation L1, le seuillage ou des fonctions d'activation spéciales qui favorisent une sélection naturelle des caractéristiques les plus importantes.
Les représentations parcimonieuses améliorent l'interprétabilité et réduisent la charge de calcul, ce qui est particulièrement avantageux pour les grands réseaux.
De plus, la sparsité soutient la robustesse face au bruit et favorise la généralisation à de nouvelles données.