¿Qué pasa si una IA de repente deja de ver errores?
Un equipo de desarrolladores programa una IA que se encarga de los controles de calidad en un proceso de fabricación y debe reconocer automáticamente los productos defectuosos.
La IA se entrena con muchos ejemplos de productos defectuosos y sin defectos para identificar los defectos con la mayor precisión posible.
Después de su implementación, se observa que la IA reporta cada vez menos errores, incluso cuando productos claramente defectuosos salen de la producción.
El equipo se pregunta: ¿Por qué la IA ignora de repente los errores y reporta cada vez menos anomalías, aunque los errores sigan ocurriendo?
Pregunta: ¿Qué causas pueden llevar a que una IA en el control de calidad pase por alto cada vez más errores y qué desafíos surgen de esta “ceguera” hacia los defectos en el proceso de producción?
La solución se publicará mañana.
Solución
Una IA que reconoce cada vez menos errores puede ser el resultado de lo que se llama desplazamiento de distribución (Concept Drift): las características de los productos o los patrones de error cambian con el tiempo, por lo que la IA se basa en patrones obsoletos.
La IA no se adapta automáticamente a nuevos tipos de errores o a condiciones de producción cambiantes y, por tanto, interpreta estos cambios como normales.
Otra causa puede ser un efecto de sobreajuste (Overfitting) a los datos de entrenamiento, lo que hace que la IA reaccione de forma demasiado rígida a errores conocidos y pase por alto errores nuevos y desconocidos.
La falta o insuficiente actualización de los datos de entrenamiento impide que la IA reconozca nuevos errores.
Técnicamente, esto se ve dificultado por un monitoreo insuficiente y la falta de retroalimentación que revise y mejore el rendimiento de detección de la IA.
Esta “ceguera” provoca que los productos defectuosos pasen desapercibidos, la calidad del producto disminuya y se pierda la confianza en el sistema de IA.
Para contrarrestarlo, son necesarias la actualización continua de datos, el aprendizaje adaptativo, la evaluación regular y el control humano.
Resultado: Una IA que deja de ver errores pone de manifiesto los desafíos de las distribuciones de datos cambiantes y la falta de adaptación en operación. Sólo mediante un monitoreo continuo, actualización y la implicación humana se puede asegurar a largo plazo la calidad de detección y prevenir de forma fiable los errores de producción.