Una administración municipal implementa un sistema basado en IA que, a partir de datos de sensores y patrones de comportamiento, busca mejorar la seguridad y el orden en espacios públicos.
La IA analiza perfiles de movimiento y reporta automáticamente a las autoridades a personas o grupos sospechosos.
Con el tiempo, los ciudadanos notan que ciertos grupos poblacionales son marcados como sospechosos de manera desproporcionada, aunque no existan incidentes objetivos.
El equipo se pregunta: ¿Por qué la IA de la ciudad inteligente muestra una fuerte tendencia a vigilar y reportar sistemáticamente a ciertas personas, aunque se supone que debe ser neutral y objetiva?
Pregunta: ¿Por qué un sistema de IA para la vigilancia de espacios públicos puede discriminar inadvertidamente a grupos sociales o étnicos y cómo surge este sesgo a pesar de una programación neutral?
La solución se publicará mañana.
Solución
El sistema de IA se entrena con datos históricos que reflejan patrones y sucesos reales de vigilancia.
Si estos datos marcan con mayor frecuencia como sospechosos a grupos sociales o étnicos debido a prejuicios pasados o prácticas policiales, la IA aprende a reproducir esos patrones.
La IA no reconoce el contexto ni las causas, solo evalúa frecuencias estadísticas, lo que refuerza las desigualdades sociales existentes.
Por tanto, este sesgo surge por la base de datos y no por una programación consciente de la IA.
Resultado: Un sistema de vigilancia entrenado con datos históricos y adoptados sin crítica puede reforzar inadvertidamente patrones discriminatorios y perjudicar sistemáticamente a ciertos grupos. Para diseñar ciudades inteligentes justas e igualitarias, los datos de entrenamiento deben ser cuidadosamente revisados, diversificados y complementados con directrices éticas para que la IA no adopte prejuicios y trate a todos los ciudadanos por igual.