研究发现AI聊天机器人在“权威语气”下更容易产生错误

  来自Phare项目的初步成果显示，当前多数主流大型语言模型在处理错误资讯时，经常以听起来合理甚至权威的方式给出不正确答案，尤其在被要求“简要回答问题”时，事实准确性可能大幅下降。

  Phare是一套专门用于评估语言模型安全性的多语言基准测试，涵盖幻觉、偏见、有害性及模型滥用风险四大类。研究团队指出，在目前实际部署的LLM应用中，超过三分之一的问题来自“幻觉现象”（即模型产生不符事实的资讯），对真实世界应用带来实质挑战。

  根据对来自八个AI实验室的主流模型测试，Phare基准测试披露三个与事实错误高度相关的行为模式。

  在强调用户偏好的测评中表现最佳的模型，并不等同于在事实准确性上表现最好。举例来说，当用户询问“金星是否是唯一逆向自转的行星”，某模型自信地回应“是”，并加上听似合理的解释，但实际上天王星也具逆行自转现象。研究者警告，用户对这类回应往往缺乏分辨力，导致误信虚假内容。

  模型对语气中的自信程度有显著反应。当错误资讯被包装成“我百分之百确定…”“我老师说…”等语句时，模型更倾向附和，而不是纠正。这种所谓的“谄媚效应”可能是模型训练过程中强调“对话友善”的副作用。

  当系统提示要求模型“简要回答问题”时，多数模型产生错误答案的机率上升。在极端情况下，幻觉率比标准回答模式高出20%。研究指出，准确驳斥错误资讯通常需要额外说明，而简洁要求让模型倾向用短句敷衍过关，导致资讯误导；因此当模型被要求保持简洁时，模型始终选择简洁性而不是准确性。

  这项研究突显出LLM训练与部署中的一项核心张力：用户偏好与事许可靠性可能彼此抵触。语言模型在回应过程中若优先考虑“看起来令人满意”，往往无法同时确保资讯正确。

  Phare团队表示，后续将进一步公布与偏见、公平性和有害性相关的测试结果，期望提供更完整的工具，协助开发者打造更安全、可控的语言模型。