为什么事实核查中的人工智能会编造自己的故事
一个新闻门户整合了一款基于人工智能的事实核查软件,该软件能够自动核实文章、帖子和声明的真实性。该人工智能旨在帮助编辑更快地识别和纠正错误信息。
起初,系统提供了有用的提示,节省了大量时间。但编辑们很快发现,人工智能有时不仅将某些声明判定为错误,还会自主生成替代的“事实”或解释,而这些内容并没有可验证的来源支持。
团队面临的挑战是:哪些技术和数据相关的原因可能导致人工智能在自动事实核查时产生错误或虚构的信息?这对媒体的公信力、公众信任以及错误信息的传播有何影响?
问题:
哪些机制导致人工智能在事实核查中生成自身的、无依据的故事?这种行为如何影响真相的认知、新闻诚信以及媒体在打击错误信息中的角色?
答案明日公布。
答案
事实核查的人工智能通常基于大型语言模型,这些模型在大量文本数据集上训练,能够识别语言和知识中的模式。然而,这些模型并不擅长区分有依据的事实和看似合理但无依据的陈述。
导致编造故事的原因包括:
- 人工智能在数据不明确或缺失时仍会生成回答,以提供合理的解释,这可能导致“幻觉”现象。
- 数据基础不足或偏颇时,缺乏可靠来源,人工智能会依赖概率和语言模式,而非可验证的事实。
- 以完整性和解释性为优化目标,可能导致人工智能在缺乏事实时生成“填充文本”。
- 缺乏或不足的人类编辑监督以及人工智能决策透明度不足加剧了这一问题。
这些生成但无依据的故事危及媒体的公信力,因为用户无法确定核查的信息是否真正经过核实,还是仅仅表述得合情合理。
当人工智能系统自身成为错误信息的来源时,新闻工作的信任和打击错误信息的努力都会受到损害。
技术上,整合经过验证的数据库、明确标识人工智能生成内容、人类验证以及开发具有更好来源绑定的模型是关键措施。
媒体机构必须透明地沟通人工智能在事实核查中的作用以及如何避免错误。
只有通过技术改进、编辑监督和公众教育的结合,才能保障媒体的诚信和事实核查的可靠性。
结果:
基于人工智能的事实核查可能因幻觉和数据不足而生成自身的无依据故事。
这种行为危及公信力、信任和新闻诚信。
技术保障和人工监督对于防止错误信息传播和保护媒体真实性至关重要。