Почему ИИ при проверке фактов придумывает собственные истории
Новостной портал интегрирует программное обеспечение для проверки фактов на основе ИИ, которое автоматически проверяет статьи, публикации и утверждения на их достоверность. ИИ должен помогать редакциям быстрее выявлять и исправлять дезинформацию.
Сначала система предоставляет полезные подсказки и экономит много времени. Но вскоре редакторы замечают, что ИИ иногда не просто оценивает утверждения как ложные, а самостоятельно генерирует альтернативные «факты» или объяснения, которые не подтверждаются проверяемыми источниками.
Команда сталкивается с задачей: какие технические и связанные с данными причины могут привести к тому, что ИИ при автоматической проверке фактов создает ложную или вымышленную информацию, и каковы последствия этого для доверия к СМИ, общественного доверия и распространения дезинформации?
Вопрос: Какие механизмы вызывают у ИИ генерацию собственных, неподтвержденных историй при проверке фактов и как это поведение влияет на восприятие истины, журналистскую честность и роль СМИ в борьбе с дезинформацией?
Решение будет завтра.
Решение
ИИ для проверки фактов обычно основан на больших языковых моделях, обученных на обширных текстовых данных и способных распознавать закономерности в языке и знаниях. Однако эти модели не совершенны в различении подтвержденных фактов и правдоподобных, но неподтвержденных утверждений.
Причинами создания собственных историй являются, в частности:
ИИ генерирует ответы даже при неясных или отсутствующих данных, чтобы предоставить правдоподобное объяснение, что может приводить к галлюцинациям.
При недостаточной или односторонней базе данных отсутствуют надежные источники, поэтому ИИ опирается на вероятности и языковые шаблоны, а не на проверяемые факты.
Цели оптимизации, направленные на полноту и объяснение, могут приводить к тому, что ИИ создает «заполнительный текст», когда факты отсутствуют.
Отсутствие или недостаточный контроль со стороны человеческих редакторов и недостаточная прозрачность решений ИИ усугубляют проблему.
Эти сгенерированные, но неподтвержденные истории подрывают доверие к СМИ, поскольку пользователи не могут быть уверены, что проверенная информация действительно была проверена, а не просто правдоподобно сформулирована.
Доверие к журналистской работе и борьбе с дезинформацией страдает, когда ИИ-системы сами становятся источником ложной информации.
Технические меры, такие как интеграция проверенных баз данных, четкая маркировка контента, созданного ИИ, человеческая валидация и разработка моделей с лучшей привязкой к источникам, являются необходимыми.
Медиа-компании должны прозрачно сообщать, какую роль играет ИИ в проверке фактов и как предотвращаются ошибки.
Только сочетание технических улучшений, редакторского контроля и просвещения может обеспечить целостность СМИ и надежность проверки фактов.
Итог: Проверка фактов на основе ИИ может создавать собственные неподтвержденные истории из-за галлюцинаций и недостатка данных. Это поведение ставит под угрозу доверие, надежность и журналистскую честность. Технические гарантии и человеческий контроль имеют решающее значение для предотвращения распространения дезинформации и защиты правды в СМИ.