Ein Krankenhaus nutzt eine KI, um vorherzusagen, welche Patienten in den nächsten 30 Tagen erneut eingeliefert werden.

Das Modell erreicht in Tests eine Trefferquote von 92 % und wurde auf historischen Daten trainiert.

• Patienten aus wohlhabenden Gegenden werden seltener als „Risiko“ eingestuft.
• Patienten aus ärmeren Gegenden deutlich häufiger.

Eine Analyse zeigt: Das Modell nutzt als starken Indikator die Anzahl vergangener Arztbesuche.

Menschen aus wohlhabenden Gegenden gehen präventiv häufiger zum Arzt. Menschen aus ärmeren Gegenden oft erst bei ernsten Problemen.

Lösung

Es ist statistisch plausibel, aber strukturell unfair.

Die KI nutzt „Arztbesuche“ als Proxy für Risiko. Dieser Proxy hängt jedoch stark vom Zugang zu medizinischer Versorgung ab.

Dadurch kann ein Modell, das „aus Daten lernt“, bestehende Ungleichheiten verstärken – selbst ohne „Absicht“.

Kernpunkt:
Diskriminierung entsteht hier nicht durch die Maschine, sondern durch die Kombination aus historischer Realität, Proxy-Feature und Zieldefinition.

Wer trägt Verantwortung?
Das Krankenhaus/der Betreiber: Es muss Fairness-Kriterien festlegen (z.B. alternative Features, Fairness-Constraints, regelmäßige Audits, menschliche Kontrolle).

Das perfekte Vorhersagemodell

Lösung