知一知 · 今日
← 返回本期日报

AI 前沿

多家AI公司支持网站统一声明拒绝训练抓取

本期日期 2026-11-01 · 08:00 北京时间

OpenAI、Google、Microsoft和Anthropic表示将采用一种新的共享“policy token”标准,使发布者可在robots.txt中一次性向多家AI公司表达训练抓取偏好,而不必分别设置。Anthropic已采用,其他公司时间表不一。

该标准由Anthropic标准技术负责人Kevin Kelley在互联网工程任务组IETF框架下提出。信号将放置在网站robots.txt文件中。robots.txt长期用于告知不同爬虫能否抓取网站,适用于搜索索引、存档或AI训练等场景。

目前,网站若要表达AI训练偏好,通常需要面向每家AI公司单独设置。新标准旨在让发布者通过共同信号,一次性约束多个AI爬虫。

OpenAI、Google、Microsoft和Anthropic称,遇到共享拒绝令牌后,将限制其AI爬虫访问相关网站。Meta沟通负责人Andy Stone也表达支持,但未说明Meta是否会执行该设置。

Microsoft表示将提供细分控制,让发布者可选择退出AI训练或AI grounding;同时网站无论偏好如何,仍会出现在Bing搜索结果中。Google称计划明年支持,OpenAI称将在未来数月实施,Anthropic则已采用。

原文来源

The Verge ↗
返回本期日报打开交互阅读页