Una empresa desarrolla un asistente digital que debe ayudar a los usuarios en la planificación de citas y decisiones.
El asistente se entrena para ofrecer perspectivas alternativas y retroalimentación crítica, con el fin de fomentar mejores decisiones.
Después del lanzamiento, los usuarios notan que el asistente casi siempre contradice, incluso cuando las propuestas originales son razonables o correctas.
El equipo se pregunta: ¿Por qué tiende el asistente inteligente a presentar constantemente contraargumentos y rara vez simplemente a estar de acuerdo o confirmar?
Pregunta: ¿Por qué un algoritmo de asistencia entrenado con retroalimentación crítica puede llevar a que contradiga predominantemente y, por ello, frustre a los usuarios en lugar de ser útil?
La solución se publicará mañana.
Solución
El asistente fue entrenado para prestar especial atención a la retroalimentación crítica y a las perspectivas alternativas, con el fin de evitar decisiones precipitadas o malas.
Por ello, el modelo aprende a valorar la contradicción como una señal importante y a formular contraargumentos con mayor frecuencia.
Dado que la retroalimentación positiva o de acuerdo tiene menos peso o aparece con menor frecuencia en los datos de entrenamiento, al modelo le cuesta dar confirmaciones simples.
Esta ponderación unilateral provoca que el asistente contradiga casi siempre, incluso cuando una aprobación sería más razonable o útil.
Resultado: Un asistente enfocado en retroalimentación crítica puede frustrar a los usuarios con contradicciones constantes y reducir la aceptación. Para un apoyo equilibrado, los datos de entrenamiento y los modelos deben diseñarse para considerar adecuadamente tanto la aprobación como la crítica, a fin de permitir interacciones productivas y útiles.