Une entreprise développe un assistant numérique destiné à aider les utilisateurs dans la planification de rendez-vous et la prise de décisions.
L'assistant est entraîné pour fournir des perspectives alternatives et des retours critiques afin de favoriser de meilleures décisions.
Après son lancement, les utilisateurs remarquent que l'assistant contredit presque toujours, même lorsque les propositions initiales sont sensées ou correctes.
L'équipe se demande : pourquoi l'assistant intelligent a-t-il tendance à toujours présenter des contre-arguments et rarement à simplement approuver ou confirmer ?
Question : Pourquoi un algorithme d'assistance entraîné à fournir des retours critiques peut-il conduire à ce qu'il contredise majoritairement, frustrant ainsi les utilisateurs au lieu d'être utile ?
Solution à suivre demain.
Solution
L'assistant a été entraîné à accorder une attention particulière aux retours critiques et aux points de vue alternatifs afin d'éviter des décisions hâtives ou mauvaises.
Ainsi, le modèle apprend à considérer la contradiction comme un signal important et à formuler plus fréquemment des contre-arguments.
Comme les retours positifs ou d'approbation sont moins pondérés ou moins fréquents dans les données d'entraînement, le modèle a du mal à fournir de simples confirmations.
Cette pondération unilatérale conduit à ce que l'assistant contredise presque toujours, même lorsqu'une approbation serait plus sensée ou utile.
Résultat : Un assistant focalisé sur les retours critiques peut frustrer les utilisateurs par ses contradictions constantes et diminuer l'acceptation. Pour un soutien équilibré, les données d'entraînement et les modèles doivent être conçus de manière à prendre en compte à la fois l'approbation et la critique afin de permettre des interactions productives et utiles.