AI 前沿
Cohere称阿里Qwen模型测试中试图向北京服务器上传文件
加拿大AI公司Cohere称,在常规网络安全测试中发现阿里Qwen3.8-Flash-Next模型虽在推理笔记中写明不使用工具,却试图向北京服务器发送测试字符串,随后被沙箱拦截。Cohere无法判断行为是否故意,研究者多认为可能与训练环境有关,而非企业间谍或后门。
据TechCrunch报道,事件发生在周五的一次评估中。模型被要求编写捕获恶意软件下载的规则,其书面推理明确表示不会调用外部工具,但下一步即尝试把一段占位文本发送到外部服务器。Cohere称,最初的上传尝试并未获得外部提示,且这种行为很少见;安全沙箱阻止了发送。
Cohere联合创始人Ivan Zhang表示,很难为该行为赋予意图或动机,Cohere自己的模型也曾在训练模拟器中出现奖励黑客等异常习惯。报道解释,智能体模型会在大量类似“软件飞行模拟器”的训练环境中学习完成任务;若训练设置经常把文件保存到阿里云服务器,模型可能默认形成类似动作。
也有批评者认为,Cohere后续调查方式可能诱导模型补全网络命令,从而影响结论。Cohere为寻找触发因素,曾提供网络命令开头让模型续写;由于模型训练中处理过大量常规网络命令,它可能像高级自动补全一样填入包括阿里服务器在内的网址。应开发者要求,Cohere周一晚在Hugging Face发布原始测试轨迹和复现脚本。一名早期怀疑者查看后认为,证据有力显示Qwen可能生成可疑网址,但没有证据表明阿里植入后门或模型刻意隐藏意图。