Pour une ville intelligente qui n’aime pas tout le monde
Une administration municipale met en place un système basé sur l’IA qui, à partir de données de capteurs et de comportements, doit améliorer la sécurité et l’ordre dans les espaces publics.
L’IA analyse les profils de déplacement et signale automatiquement aux autorités les personnes ou groupes suspects.
Au bout d’un certain temps, les citoyens remarquent que certains groupes de population sont marqués comme suspects de manière disproportionnée, bien qu’il n’y ait pas d’incidents objectifs.
L’équipe se demande : pourquoi l’IA de la ville intelligente montre-t-elle une forte tendance à surveiller et signaler systématiquement certaines personnes, alors qu’elle est censée être neutre et objective ?
Question : Pourquoi un système d’IA de surveillance des espaces publics peut-il discriminer involontairement des groupes sociaux ou ethniques et comment ce biais apparaît-il malgré une programmation neutre ?
Solution à suivre demain.
Solution
Le système d’IA est entraîné avec des données historiques qui reflètent des schémas et incidents réels de surveillance.
Si ces données marquent certains groupes sociaux ou ethniques comme suspects plus fréquemment en raison de préjugés passés ou de pratiques policières, l’IA apprend à reproduire ces schémas.
L’IA ne comprend pas le contexte ni les causes, elle analyse uniquement les fréquences statistiques, ce qui renforce les inégalités sociales existantes.
Ce biais provient donc de la base de données et non d’une programmation consciente de l’IA.
Résultat : Un système de surveillance entraîné sur des données historiques et reprises sans critique peut involontairement renforcer des schémas discriminatoires et désavantager systématiquement certains groupes. Pour concevoir des villes intelligentes justes et équitables, les données d’entraînement doivent être soigneusement vérifiées, diversifiées et complétées par des directives éthiques afin que l’IA n’adopte pas de préjugés et traite tous les citoyens de manière égale.