Новостная платформа разрабатывает ИИ, который автоматически должен сортировать новостные статьи по их значимости для читателей.
ИИ обучают распознавать статьи с важной информацией и актуальными событиями и выделять их на видном месте.
После запуска редакторы замечают, что ИИ почти исключительно предпочитает положительные или оптимистичные новости и в значительной степени игнорирует негативные или критические сообщения.
Команда задаётся вопросом: почему ИИ проявляет сильную склонность выделять только хорошие новости, хотя его обучали на нейтральную оценку?
Вопрос: Почему ИИ, который должен сортировать новости по значимости, может склоняться к предпочтению положительных новостей и систематически игнорировать негативные сообщения?
Решение будет завтра.
Решение
ИИ обучался на данных пользователей, отражающих их поведение при чтении. Пользователи склонны чаще читать, лайкать или делиться позитивно сформулированными новостями.
Таким образом, ИИ учится считать положительные новости более значимыми, так как они коррелируют с большим вовлечением.
Негативные или критические новости, напротив, часто вызывают меньше взаимодействия, поэтому ИИ систематически их недооценивает.
Кроме того, тренировочные данные и механизмы обратной связи могут неосознанно создавать смещение в пользу позитивного контента.
Итог: ИИ, обученный на взаимодействиях пользователей, может развить смещение в пользу положительных новостей и тем самым ограничить разнообразие информации. Для сбалансированного ранжирования новостей необходимы сознательно сформированные тренировочные данные и алгоритмы, которые также адекватно учитывают негативные или критические сообщения, чтобы обеспечить реалистичное и справедливое представление мира.