AI 前沿
多家AI公司支持网站统一声明拒绝训练抓取
OpenAI、Google、Microsoft和Anthropic表示将采用一种新的共享“policy token”标准,使发布者可在robots.txt中一次性向多家AI公司表达训练抓取偏好,而不必分别设置。Anthropic已采用,其他公司时间表不一。
该标准由Anthropic标准技术负责人Kevin Kelley在互联网工程任务组IETF框架下提出。信号将放置在网站robots.txt文件中。robots.txt长期用于告知不同爬虫能否抓取网站,适用于搜索索引、存档或AI训练等场景。
目前,网站若要表达AI训练偏好,通常需要面向每家AI公司单独设置。新标准旨在让发布者通过共同信号,一次性约束多个AI爬虫。
OpenAI、Google、Microsoft和Anthropic称,遇到共享拒绝令牌后,将限制其AI爬虫访问相关网站。Meta沟通负责人Andy Stone也表达支持,但未说明Meta是否会执行该设置。
Microsoft表示将提供细分控制,让发布者可选择退出AI训练或AI grounding;同时网站无论偏好如何,仍会出现在Bing搜索结果中。Google称计划明年支持,OpenAI称将在未来数月实施,Anthropic则已采用。