Capsule Network Explainability bezeichnet die Untersuchung und Darstellung der internen Mechanismen von Capsule Networks (CapsNets), insbesondere der Kapsel-Aktivierungen und des dynamischen Routing-Prozesses, um die Entscheidungsfindung nachvollziehbar zu machen.
CapsNets bestehen aus Kapseln, die Vektoren oder Matrizen repräsentieren, welche sowohl die Wahrscheinlichkeit eines Merkmals als auch dessen Pose kodieren. Die Weitergabe von Informationen erfolgt über ein iteratives Routing-by-Agreement, das gewichtete Verbindungen zwischen Kapseln dynamisch anpasst.
Zur Erklärbarkeit werden Verfahren wie Aktivierungsvisualisierung, Analyse der Übereinstimmungsscores im Routing und Zerlegung der Pose-Parameter verwendet, um zu interpretieren, welche Merkmale und räumlichen Beziehungen das Modell zur Klassifikation heranzieht.
Definition:
„Capsule Network Explainability ist die Erforschung und Anwendung von Methoden zur transparenten Darstellung und Interpretation der internen Repräsentationen und dynamischen Routing-Mechanismen in Capsule Networks, um deren Entscheidungsprozesse nachvollziehbar zu machen.“
Quelle:
Sabour, S., Frosst, N., & Hinton, G. E. (2017). Dynamic Routing Between Capsules. Advances in Neural Information Processing Systems, 30.