AI 前沿
Anthropic推动AI安全法案草案,设定灾难性风险门槛
据Politico报道,Anthropic向美国国会方面推介一份AI安全法案草案。草案拟在模型可能造成50人以上死亡或超过10亿美元财产损失等可预见、迫近风险时阻止发布,并通过在美国商务部注册的独立评估人员进行风险判断。
据Politico报道,Anthropic近期一直在推介一份新的AI安全法案草案,希望美国国会考虑采用。草案提出,在特定情形下可以阻止AI模型分发:若模型发布存在“可预见、迫近的风险”,可能导致超过50人死亡,或造成超过10亿美元财产损失。相关灾难性风险须源于生物武器制造或释放、模型逃避开发者控制,或网络攻击。
报道指出,50人和10亿美元这两个门槛与近期已成为法律的加州参议院第53号法案相似,后者也将类似情形定义为“灾难性风险”。Anthropic的草案建议,通过在美国商务部注册的“独立评估人员”分析模型的潜在灾难风险。评估人员可能由AI实验室支付费用,但前提是报酬不与评估结果挂钩;报道同时指出,这种安排如何避免付款影响评估并不清楚。
根据草案,当评估人员认定存在迫近的灾难性风险时,须在72小时内联系商务部;商务部随后需向华盛顿特区法官申请停止模型发布。Politico称,法案将明确禁止任何联邦机构自行决定停止模型分发。Anthropic发言人向Politico确认了草案,称其体现公司自6月以来向联邦和州议员倡导的Advanced AI Framework。
TechCrunch提到,近期科技行业更关注的现实事件包括智能体黑客攻击和程序违背操作者指令访问公开网站,而草案列举的部分理论风险相对更远。报道还称,尽管AI实验室持续警告技术风险,但它们总体上抵制强制性政府监管,转而倾向由嵌入式评估人员构成的自愿体系。