Pourquoi une IA invente ses propres histoires lors de la vérification des faits
Un portail d'information intègre un logiciel de vérification des faits basé sur l'IA, qui vérifie automatiquement la véracité des articles, publications et affirmations. L'IA est censée aider les rédactions à identifier et corriger plus rapidement les fausses informations.
Au début, le système fournit des indications utiles et fait gagner beaucoup de temps. Mais bientôt, les rédactrices et rédacteurs constatent que l'IA classe parfois les affirmations non seulement comme fausses, mais génère de manière autonome des « faits » ou explications alternatifs, qui ne sont cependant pas étayés par des sources vérifiables.
L'équipe fait face au défi suivant : quelles causes techniques et liées aux données peuvent conduire une IA à produire des informations fausses ou inventées lors de la vérification automatique des faits, et quelles conséquences cela a-t-il sur la crédibilité des médias, la confiance du public ainsi que la diffusion de la désinformation ?
Question : Quels mécanismes font qu'une IA génère ses propres histoires non étayées lors de la vérification des faits, et comment ce comportement influence-t-il la perception de la vérité, l'intégrité journalistique et le rôle des médias dans la lutte contre les fausses informations ?
Solution à suivre demain.
Solution
L'IA de vérification des faits repose généralement sur de grands modèles de langage entraînés sur d'importants ensembles de données textuelles et capables de reconnaître des motifs dans la langue et le savoir. Cependant, ces modèles ne sont pas parfaits pour distinguer entre faits établis et affirmations plausibles mais non étayées.
Les causes de l'invention d'histoires propres incluent notamment :
L'IA génère des réponses même en cas de données floues ou manquantes, afin de fournir une explication plausible, ce qui peut conduire à des hallucinations.
En cas de base de données insuffisante ou biaisée, il manque des sources fiables, si bien que l'IA s'appuie sur des probabilités et des motifs linguistiques plutôt que sur des faits vérifiables.
Les objectifs d'optimisation visant la complétude et l'explication peuvent amener l'IA à produire des « textes de remplissage » lorsque les faits font défaut.
L'absence ou l'insuffisance de contrôle humain par les rédacteurs et le manque de transparence des décisions de l'IA aggravent le problème.
Ces histoires générées mais non étayées mettent en danger la crédibilité des médias, car les utilisateurs ne peuvent plus être sûrs que les informations vérifiées ont réellement été contrôlées ou simplement formulées de manière plausible.
La confiance dans le travail journalistique et la lutte contre la désinformation en souffrent lorsque les systèmes d'IA deviennent eux-mêmes une source de fausses informations.
Techniquement, des mesures telles que l'intégration de bases de données vérifiées, la signalisation claire des contenus générés par l'IA, la validation humaine et le développement de modèles avec un meilleur ancrage aux sources sont essentielles.
Les médias doivent communiquer de manière transparente sur le rôle de l'IA dans la vérification des faits et sur la manière d'éviter les erreurs.
Ce n'est qu'à travers une combinaison d'améliorations techniques, de contrôle éditorial et de sensibilisation que l'intégrité des médias et la fiabilité des vérifications des faits peuvent être assurées.
Résultat : Les vérifications des faits basées sur l'IA peuvent générer leurs propres histoires non étayées à cause d'hallucinations et de données insuffisantes. Ce comportement met en danger la crédibilité, la confiance et l'intégrité journalistique. Des sécurités techniques et un contrôle humain sont essentiels pour empêcher la diffusion de désinformation et protéger la vérité médiatique.