AI 前沿
研究显示医生难以及时发现AI诊断系统故障
一项48名医学生和医生参与的随机对照研究,让受试者使用可靠性逐步下降的AI进行心脏听诊诊断,AI准确率从90%降至0%。仅12.5%的人注意到系统被故意降级;即使先独立诊断再看AI建议,诊断表现仍随AI可靠性下降,且医生对自身诊断的信心下降快于对AI的信任。
Reddit Science刊载的研究摘要显示,研究者围绕AI辅助心脏听诊开展随机对照实验,48名医生或医学生被分配到“先看AI”或“先自行判断再看AI”的条件。每名参与者需将40段数字心音分为正常或异常,实验分四个区块进行。
参与者事先被告知该AI训练和验证表现为96%准确率、97%敏感度和89%特异度。为模拟系统故障,AI可靠性在四个区块中依次降至90%、60%、50%和0%。最后一个区块还故意设置听觉与视觉线索不匹配,以提供额外异常信号。
研究关注人类能否在AI曾长期可靠运行后发现故障、纠正错误输出。论文指出,自动化偏见可能使医生把AI建议当作替代主动查证的捷径,AI输出也可能形成认知锚点,诱发确认偏误。研究设计中的“认知强制”策略要求医生在看到AI建议前先独立分类,以促使其处理临床资料。
结果显示,诊断表现仍随AI可靠性下降而变差,即使参与者被要求先作出初步分类,甚至在人类表现高于AI可靠性时也是如此。论文称,只有12.5%的参与者注意到AI诊断系统被故意降低准确性;参与者对自身诊断的信心比其对AI的信任下降得更快。研究者据此提出,应明确人类监督的目标和流程,以保障患者安全。