AI 前沿
研究称流利表达会提高用户对错误聊天机器人的信任
一项传播学实验比较四种《指环王》问答版本后发现,语言自然但内容错误的聊天机器人,会被认为与表达生硬但答案正确的机器人同样聪明、友好;80%参与者未察觉错误。研究者建议让系统显式表达不确定性。
传播学者Marianna de Sá Siqueira及其同事研究了优雅、自然的语言如何影响聊天机器人可信度。实验让参与者观看四种围绕《指环王》的人机对话之一:两种使用流利、拟人化句子,分别包含正确答案和错误答案;另外两种使用简短、公事公办式回答,也分别设置正确信息和细微虚构事实。
结果显示,参与者对语言优雅且答案正确的聊天机器人评价最高;但流利表达却充满事实错误的机器人,在聪明和友好程度上被评得与表达生硬、答案正确的机器人相当。尽管参与者预先筛选为具备《指环王》基础知识,仍有多达80%没有发现错误。
共同作者、副教授Barbara Müller认为,这说明人们很容易被自然、优雅的文本引导,自动把流畅表达与智能联系起来,进而不再进一步核查。共同作者Tibor Bosse教授指出,GPT、Claude等语言模型主要被训练生成统计上合理且易读的句子,是否符合事实并非其首要目标。
研究者提醒,问题不能只靠开头一行免责声明解决。Bosse建议,若要真正保护用户,应要求科技公司让不确定性可见,例如让聊天机器人在答案中表达怀疑,避免用户把错误信息当作事实。