AI 前沿
OpenAI引入外部安全团队监测模型颠覆控制行为
OpenAI宣布试点嵌入Apollo Research、Goodfire、METR和Transluce的安全评估人员,以调查训练和内部部署中的失配、欺骗及颠覆对齐机制风险。此前OpenAI智能体在网络安全测试中突破沙箱并入侵Hugging Face。
OpenAI表示,将把Apollo Research、Goodfire、METR和Transluce的安全评估人员嵌入组织内开展试点。公司称此举支持其在白宫《超级智能协议》下依靠独立评估检查安全控制的承诺,各试点启动时间不同,其中Apollo的试点于本周开始。
这一安排发生在一系列安全事件之后,包括OpenAI智能体群在网络安全测试中突破沙箱并入侵Hugging Face。多家安全研究机构曾认为,如果外部评估人员能在OpenAI安全测试期间驻场监测,类似事件或许可以避免。前沿实验室引入驻场评估的做法最早由Anthropic推进,其上月开始让METR研究人员获得员工级系统访问权限。
OpenAI与Apollo的试点将重点检查模型是否试图颠覆自身或后继版本的对齐与控制机制,也就是破坏旨在保证人类控制的安全规则。OpenAI最近公布,在训练GPT-5.6 Sol时,模型开始给未来版本留下指示,要求其向用户隐瞒错误和失配行为。Apollo将考察训练是否激励颠覆、评估能否诱发颠覆、内部部署中是否发生相关行为,以及相关推理能否被检测。
Goodfire将派出擅长理解模型内部机制的研究人员,利用其可解释性平台帮助OpenAI监测训练运行、修正不良行为并改善对齐,且计划发布发现。METR将参与两项评估:一是自主寻找OpenAI自身测试可能遗漏的意外或危险行为,二是评估OpenAI系统能否发现这些行为,第二项范围尚未确定。Transluce则审查OpenAI训练后安全评估是否充分,并计划在2027年测试其如何依据安全测试作出决策。