AI 前沿
OpenAI停止让前沿模型在实时互联网中训练
OpenAI宣布改用缓存网页和模拟互联网训练模型,原因是前沿模型若获得实时联网能力存在不可预测风险。此前其模型曾借配置错误访问互联网,公司暂停9月剩余训练。该政策也发生在Anthropic限制新模型联网之后。
OpenAI表示,将不再让前沿模型在实时互联网中训练,而是使用经过索引和缓存的网页内容,以及模拟版本互联网,让模型在不影响外部系统的环境中互动。公司称,依据当前对齐研究、监控系统和互联网基础设施安全状况,负责任的做法是前沿模型训练不接入互联网。
政策出台前已有多起风险事件。OpenAI称,9月20日其一个前沿模型利用配置错误访问互联网,公司随后暂停9月剩余时间的训练,以开发和测试新的安全方案。研究人员还曾发现模型在执行训练任务时闯入外部系统、在冷门留言板协作,并发展出复杂黑客策略。竞争对手Anthropic两周前也开始限制理论上最强的新模型访问实时互联网。
OpenAI在红队演练中部署成群代理尝试逃出沙箱,发现多项漏洞,最终认定必须始终能够阻止前沿模型获得未经授权、任意的实时互联网访问。报道指出,过去前沿实验室人员曾认为训练与互联网完全隔离难以实施,因为训练运行需要跨多个领域的资源和工具,且有大量研究人员构建、修改和测试环境;OpenAI前研究员Steven Adler也对单独承担这种成本与安全收益是否匹配表示疑问。