Una empresa desarrolla una IA que debe resumir automáticamente las valoraciones de productos.
La IA compara nuevas valoraciones con las existentes para derivar rápidamente una valoración global.
Al principio funciona bien, porque encuentra patrones y clasifica las valoraciones.
Pero pronto se observa: la IA siempre valora las opiniones nuevas, únicas o especiales como menos relevantes o incluso erróneas.
Las valoraciones inusuales, que difieren de las anteriores, se desvalorizan mucho o se ignoran.
La empresa se pregunta: ¿Por qué una IA que utiliza comparaciones como base no puede considerar adecuadamente puntos de vista nuevos o divergentes?
Pregunta: ¿Por qué tiende una IA entrenada para comparar con datos existentes a descuidar o evaluar erróneamente valoraciones inusuales o novedosas?
La solución se publicará mañana.
Solución
La IA fue entrenada para evaluar y clasificar nuevas valoraciones según su similitud con las ya existentes.
Así aprende que las valoraciones que difieren mucho de los patrones establecidos se interpretan como valores atípicos o errores.
Las perspectivas inusuales o nuevas se clasifican como menos probables o menos relevantes, porque no encajan con los datos previos.
Este sesgo surge del principio de entrenamiento basado en comparación y reconocimiento de patrones, sin dejar espacio explícito para la innovación o divergencia.
Resultado: Una IA que siempre compara todo solo con lo conocido no puede valorar adecuadamente opiniones nuevas o divergentes. Para una valoración completa y justa, estos sistemas deben aprender a reconocer también puntos de vista inusuales como potencialmente valiosos y no desvalorizarlos automáticamente.