一个总是反驳的智能助手
一家公司开发了一个数字助手,旨在帮助用户安排日程和做出决策。
该助手被训练成能够提供替代视角和批判性反馈,以促进更好的决策。
推出后,用户发现该助手几乎总是反驳,即使最初的建议合理或正确。
团队疑惑:为什么这个智能助手倾向于不断提出反对意见,而很少简单地同意或确认?
问题:
为什么一个以批判性反馈为训练目标的辅助算法会导致它主要反驳,从而让用户感到沮丧,而不是提供帮助?
答案明天揭晓。
答案
该助手被训练得特别关注批判性反馈和替代视角,以避免仓促或错误的决策。
因此模型学会将反驳视为重要信号,更频繁地提出反对意见。
由于正面或赞同的反馈权重较低或在训练数据中较少出现,模型难以给出简单的确认。
这种单方面的权重分配导致助手几乎总是反驳,即使同意更合理或更有帮助。
结果:
一个专注于批判性反馈的助手可能通过不断反驳使用户感到沮丧,降低接受度。
为了实现平衡的支持,训练数据和模型必须设计得既适当考虑同意也考虑批评,以实现富有成效且有帮助的互动。