Une ville qui ne décide plus qu’en fonction de la justice par IA
Dans un avenir proche, plusieurs grandes villes mettent en place des systèmes d’IA qui doivent prendre toutes les décisions communales sur la base d’un modèle de justice prétendument objectif. Ce modèle prend en compte des données sociales, des indicateurs économiques et des besoins individuels afin de répartir équitablement les ressources et les services.
Après l’introduction, les citoyennes et citoyens rapportent cependant des résultats inattendus : certains quartiers reçoivent nettement moins de soutien alors qu’ils sont objectivement dans le besoin, tandis que d’autres zones sont traitées de manière privilégiée. De plus, certains groupes de population se sentent systématiquement défavorisés, bien que l’IA ne devrait pas montrer de préjugés explicites.
L’administration municipale est confrontée au défi de comprendre pourquoi le modèle de justice par IA, malgré de bonnes intentions, conduit à de telles inégalités et quelles en sont les conséquences pour la cohésion sociale et la confiance dans la gouvernance technologique.
Question : Quels facteurs techniques et sociétaux peuvent entraîner que les modèles de justice basés sur l’IA dans l’administration communale, malgré une base de données et des algorithmes soigneusement élaborés, renforcent les inégalités sociales ou créent de nouvelles discriminations, et comment cela influence-t-il la confiance de la population et l’avenir de la participation démocratique ?
Solution à suivre demain.
Solution
Les modèles de justice par IA reposent sur des données étendues et des algorithmes d’évaluation complexes qui tentent de définir et d’appliquer la justice de manière objective.
Techniquement, des biais peuvent apparaître à cause de données incomplètes ou biaisées, qui reflètent des inégalités historiques ou ne captent pas suffisamment les désavantages structurels.
De plus, différentes parties prenantes définissent la justice de manière différente, ce qui est difficile à représenter pleinement dans un modèle. L’IA prend donc des compromis qui ne satisfont pas tout le monde.
Les algorithmes peuvent aussi générer des effets de rétroaction non intentionnés : par exemple, si les ressources sont réduites dans certaines zones, les conditions s’y dégradent davantage, ce que l’IA interprète comme une confirmation d’une moindre priorité d’aide.
Au niveau sociétal, cela peut entraîner une perte de confiance dans la gouvernance technologique et dans les institutions politiques, surtout si les décisions sont perçues comme opaques ou injustes.
La participation démocratique est menacée lorsque les citoyennes et citoyens ont le sentiment que les décisions de l’IA déterminent leur réalité de vie sans qu’ils puissent les comprendre ou les influencer.
Pour y remédier, des algorithmes transparents, des processus de développement participatifs, une évaluation constante et la possibilité d’ajustements humains sont essentiels.
Une communication ouverte sur les limites de la justice par IA ainsi que l’intégration de perspectives sociétales diverses aident à renforcer l’acceptation et la confiance.
Résultat : Les modèles de justice basés sur l’IA dans l’administration peuvent, malgré de bonnes intentions, renforcer les inégalités sociales si les données, les définitions de l’équité et les rétroactions ne sont pas prises en compte avec soin. Cela influence négativement la confiance de la population et la participation démocratique. La transparence, la participation et le contrôle humain sont nécessaires pour garantir des décisions justes et acceptées.