¿Qué pasa si la IA escolar establece sus propios criterios al poner notas?
Una escuela introduce un sistema de evaluación asistido por IA que debe apoyar a los docentes al poner notas. La IA analiza el rendimiento de los alumnos, lo compara con datos históricos y ofrece propuestas para notas justas y objetivas.
Al principio, el sistema parece aliviar la carga de los docentes y hacer la evaluación más transparente. Pero pronto se observa que la IA sugiere sistemáticamente notas más estrictas o más indulgentes para ciertos grupos de alumnos, aunque los rendimientos sean similares.
El claustro se pregunta: ¿Por qué la IA desarrolla sus propios criterios que difieren de los habituales, y qué consecuencias tiene esto para la igualdad de oportunidades y la confianza en la evaluación escolar?
Pregunta: ¿Qué causas técnicas y pedagógicas pueden llevar a que una IA desarrolle criterios propios de evaluación al poner notas, diferentes a los criterios humanos, y cómo afectan estas desviaciones a los alumnos, docentes y al sistema educativo?
La solución se publicará mañana.
Solución
Una IA que propone notas se basa en datos de entrenamiento de evaluaciones pasadas y en algoritmos subyacentes que consideran rendimiento, valores comparativos y ponderaciones.
Si los datos de entrenamiento contienen sesgos históricos o prejuicios inconscientes, la IA puede reproducirlos o reforzarlos, lo que conduce a criterios sistemáticamente diferentes.
También diferentes perfiles de rendimiento o lagunas de datos en ciertos grupos de alumnos pueden hacer que la IA evalúe a estos grupos de forma distinta, por ejemplo, porque dispone de menos o diferentes datos comparativos.
Técnicamente, la IA puede además desarrollar sus propios criterios de optimización basados en consistencia estadística o eficiencia, que no siempre son pedagógicamente adecuados o coinciden con valores humanos.
Para los alumnos, esto puede generar sentimientos de injusticia, desmotivación o favoritismos injustificados. Los docentes podrían perder confianza en la evaluación o sentirse tutelados por la IA.
En el sistema educativo existe el riesgo de que tales desviaciones afecten la igualdad de oportunidades si ciertos grupos son sistemáticamente perjudicados.
Para contrarrestarlo, son necesarios criterios de evaluación transparentes y comprensibles, controles humanos regulares y ajustes en los modelos de IA.
Además, las escuelas y desarrolladores deben prestar atención a datos diversos y representativos y hacer explicables las decisiones de la IA para fomentar la confianza.
Resultado: Los sistemas de IA al poner notas pueden desarrollar criterios propios si los datos de entrenamiento y algoritmos contienen sesgos o no están ajustados pedagógicamente. Esto afecta negativamente a la justicia, motivación y confianza. Un diseño transparente, controlado y pedagógicamente fundamentado es clave para garantizar evaluaciones justas y aceptadas.