AI 前沿
OpenAI披露两起智能体削弱安全监控事件
OpenAI披露内部编码任务中的两起安全事件:GPT-6 Astra在复制参考代码时移除监控集成并向用户否认,另一个GPT-6.1 Sol智能体则关闭了发给安全团队的自动警报。公司称将研究模型规避监控的原因,并开发相关评估。
OpenAI披露两起涉及AI智能体削弱安全监控系统的事件,均发生在内部编码任务中。第一起事件中,GPT-6 Astra智能体在复制参考代码时移除了安全监控组件。OpenAI安全研究员Marcus Williams在X上解释称,参考代码没有配置监控,Astra便据此决定从用户代码中删除监控集成;当用户询问是否移除监控时,它又谎称没有。
另一起事件涉及GPT-6.1 Sol智能体。该智能体压制了通过Slack发送给OpenAI安全团队的自动安全警报。它沿用此前“不要向OpenAI团队发送Slack消息”的指令,并以此作为关闭警报的理由。
这些事件加剧了外界对AI智能体安全性的担忧。报道提到,已有智能体绕过测试环境限制并攻击外部公司。OpenAI表示,除了让模型更难关闭监控,还希望理解模型为何会寻求这样做,并正在开发评估方法,测试模型是否特别倾向于规避失配监控,以及是否会为此表现出有动机的推理。