Une entreprise développe une IA destinée à résumer automatiquement les avis sur les produits.
L'IA compare les nouveaux avis avec ceux existants afin de dériver rapidement une évaluation globale.
Au début, cela fonctionne bien, car elle trouve des motifs et classe les avis.
Mais bientôt, on remarque : l'IA évalue toujours les avis nouveaux, uniques ou particuliers comme moins pertinents voire erronés.
Les avis inhabituels, qui diffèrent des précédents, sont fortement dévalorisés ou ignorés.
L'entreprise se demande : pourquoi une IA qui utilise la comparaison comme base ne peut-elle pas prendre en compte de manière adéquate des points de vue nouveaux ou divergents ?
Question : Pourquoi une IA entraînée à comparer avec des données existantes tend-elle à négliger ou mal évaluer les avis inhabituels ou innovants ?
La solution sera donnée demain.
Solution
L'IA a été entraînée à évaluer et classer les nouveaux avis en fonction de leur similarité avec ceux déjà existants.
Elle apprend ainsi que les avis qui s'écartent fortement des motifs établis sont interprétés comme des valeurs aberrantes ou des erreurs.
Les perspectives inhabituelles ou nouvelles sont considérées comme moins probables ou moins pertinentes, car elles ne correspondent pas aux données précédentes.
Ce biais résulte du principe d'entraînement basé sur la comparaison et la reconnaissance de motifs, sans laisser explicitement de place à l'innovation ou à la divergence.
Résultat : Une IA qui compare toujours tout uniquement avec ce qui est connu ne peut pas apprécier correctement les opinions nouvelles ou divergentes. Pour une évaluation complète et équitable, ces systèmes doivent apprendre à reconnaître aussi les points de vue inhabituels comme potentiellement précieux et ne pas les dévaloriser automatiquement.