AI 前沿
微软推出Guardian Agents监控企业内部AI代理
微软发布面向AI代理的企业安全功能,核心Guardian Agents可监控企业已部署的代理。公司高管称前沿模型不可预测,企业应把智能供应与对其行动的控制权分开。
Guardian Agents属于微软6月推出的Project Perception。该项目最初针对外部强大黑客模型,设置红队攻击、蓝队检测和评估漏洞、绿队修复三类代理。微软现在把风险焦点扩展到企业自身购买和部署的AI代理,将其类比为可能失控的内部员工。首席执行官萨提亚·纳德拉月初在内部博客中称,企业正在让复杂代理访问敏感数据并代表组织执行关键任务,不能把责任外包给模型供应商。
微软安全业务负责人Hayete Gallot在发布时表示,无论来自哪里,前沿模型都不能被信任;她解释这并非因为模型恶意或容易被黑,而是因为它们被训练来完成任务,并不天然遵循组织规范或判断,且常被授予访问数据和工具的高权限。纳德拉主张建立不受AI实验室控制的独立系统来监视和约束代理,即“把智能的供应与对智能的权威分开”。
除Guardian Agents外,微软还在Microsoft Defender中加入代理检测功能,可发现员工带入企业环境的至多60类代理。报道指出,微软与OpenAI、Anthropic均有投资和业务关系,同时也拥有自研AI实验室,因此该策略与其部分商业利益存在张力;但监控代理行为的软件独立于代理供应商,逻辑上类似审计者应独立于被审计对象。