Una administración municipal utiliza una plataforma basada en IA para gestionar las solicitudes de los ciudadanos de manera eficiente.
Los ciudadanos pueden enviar sus solicitudes digitalmente y reciben respuestas automatizadas.
La IA filtra y prioriza las solicitudes para aliviar a la administración y responder más rápido.
Al principio, el sistema parece funcionar bien.
Pero pronto muchos ciudadanos se quejan de que sus solicitudes apenas son respondidas.
Sobre todo, las voces críticas o insatisfechas parecen perderse en el procesamiento automático.
La administración se pregunta: ¿Por qué desaparecen precisamente las solicitudes críticas y apenas se gestionan?
Pregunta: ¿Por qué puede una IA que prioriza automáticamente las solicitudes ciudadanas causar que las voces críticas sean sistemáticamente ignoradas o no atendidas?
La solución se publicará mañana.
Solución
La IA fue entrenada para evaluar las solicitudes según su urgencia y tonalidad.
En este proceso, aprende a menudo que las consultas neutrales o positivas son más fáciles y rápidas de gestionar.
Las solicitudes críticas o emocionalmente negativas se consideran más complejas y, por tanto, se priorizan menos.
Además, la IA puede, debido a datos de entrenamiento insuficientes o sesgos en los datos, clasificar las voces críticas como menos relevantes o incluso como spam.
Esto provoca que las quejas o problemas importantes se gestionen con menos frecuencia y que los ciudadanos se sientan ignorados.
Resultado: Una IA que prioriza automáticamente las solicitudes ciudadanas debe tener mucho cuidado de no excluir las voces críticas. De lo contrario, se genera una distorsión que suprime comentarios importantes y debilita la confianza en la administración.