网站加一组规则就能让四家 AI 别拿去训练，但会少谷歌 Gemini 这笔流量

以前你有自己的网站或博客，不想让文章白白拿去喂大模型，得把 GPTBot、Google-Extended 这些各家专属的开关名字分别查出来，分头写进网站的 `robots.txt`（好比贴在网站门口的访客须知）。10 月 30 日，Anthropic 的 Kevin Kelley 往互联网工程任务组（IETF）交了一份叫《Machine-Readable Training Preference Signal》的个人草案。按 IETF 页面的说法，这份 2027 年 5 月 3 日到期的文件既没拿到 IETF 背书，在标准流程里也没正式地位；但据 IT之家 11 月 1 日报道，OpenAI、谷歌、微软和 Anthropic 四家一块宣布采用这套标准。草案给的例子只有三行：`User-Agent: __usage_ai-training`、`Disallow: /`、`Allow: /press-kit/`——翻译成人话，就是除了 `/press-kit/` 下面的页面允许，全站别的内容都不希望被拿去改动生成式 AI 模型学到的参数。写法确实省事了，以前得给四家分别写四份声明，现在贴一张就行。

纸条只管训练不管抓取，四家凑齐还得等明年

贴上这几行字，AI 的爬虫明天就不登门了吗？草案里专门写明，这个写法不是对抓取行为的指令，它和管流量的抓取规则是两码事，爬虫照样进你的站、照样读你的页面，你递过去的只是一张“看归看，别往模型参数里记”的声明；要是网站里压根没写这一组，按草案的规矩，就等于没有表达任何偏好。

就算只看“别拿去训练”这一条，各家真正按规矩办事的时间也差着好几个月。Anthropic 已经率先采纳，不过据 TNW 10 月 31 日报道，Kelley 在 IETF 邮件列表里交了底，把支持铺到所有服务上还需要一些时间；OpenAI 计划在未来几个月内落实，原有的 GPTBot 等控制照样有效；微软必应博客 10 月 30 日定下的日子是 2027 年 2 月 1 日，到时用来取代它从 2023 年沿用至今的 NoArchive 和 NoCache；谷歌搜索中心博客同一天表态，目标是 2027 年和其他 AI 公司一起支持，各家原有的专属控制也继续管用。至于我们半个月前刚聊过 Meta 商业条款删了“训练”，网站内容就不用担心了吗？ 的 Meta，发言人 Andy Stone 只表态支持建立这种通用信号，具体什么时候落地，一个字没提。

谷歌把挡训练和断引用绑在了一块，微软拆成了两本账

比起谁晚几个月生效，更让独立站长心里打鼓的是流量账：拦了训练之后，别人在 AI 里提问还能不能看到我的网站链接？同样是 10 月 30 日发博客交底，微软和谷歌拿出了两套路数相反的方案。

微软把训练和引用拆开了算。它在必应博客里先把钱的事撇清，写明这些偏好“不建立授权或付费关系”，也不会改变网页能不能出现在传统必应搜索结果里；接着另外给了一个按页面设置的“生成回答引用”开关，分成三档：不写就是默认允许；写 `DisallowExtended`，就只允许微软自家的 AI 模式、AI 概览、Copilot 和 Microsoft 365 使用；写 `Disallow` 才是完全不用来生成回答。不想给微软练模型、但想留在 Copilot 回答里露个脸的人，两边互不耽误。

到了谷歌那儿，这两件事被拧在了一根绳上。谷歌搜索中心的 John Mueller 在博客里写明，网站用 `__usage_ai-training` 拒绝训练、又没有专门写 `Google-Extended`（谷歌从 2023 年开始提供的 AI 训练控制）时，谷歌就会当成网站禁止了 `Google-Extended`。紧跟着下一句才是要害：“专门允许 Google-Extended 的网站，才有资格出现在 Gemini 应用的回答里、通过引用获得点击。”我们顺着这条规则往下推，账就变得很荒诞了：你本意只是不想让文章当免费训练语料，结果只写这一组通用规则，顺手就把自己从 Gemini 带链接的回答里撤了出来。想用新写法挡训练，又指望被 Gemini 引用带来点击，就得在 `robots.txt` 里另外单独写一条放行 `Google-Extended`。

有独立域名的站现在就能加上，但得先算清谷歌这笔流量账

其实不少建站的人早就看透了抓取和导流之间的落差。10 月 31 日 V2EX 一篇上了今日最热的帖子里，一位刚把个人独立站搭起来的作者写得很干脆：“我不指望拦着 AI 读我的站，也拦不住。我能做的是让 AI 读到的内容是可验证的、有署名的、有链接的。”按这位作者的算法，被 AI 读到、被 AI 引用和被 AI 导流，本来就是三码事。

如果你平时只在公众号、小红书这类平台上发东西，这波改动管不着你，内容怎么被用全看平台的规则。但只要你手里有独立域名——不管是个人博客、作品集还是小网店——不想被拿去训练的话，现在就可以把 `__usage_ai-training` 这一组加进 `robots.txt`，不用干等明年四家全生效；毕竟空着不写就是没表态，现在挂上去，至少先把态度立住了，Anthropic 这会儿也已经在认。只是动手加进去之前得把谷歌那笔账算明白：不在乎 AI 导流，一组通用写法直接挡到底；要是你的站还指望 Gemini 回答时挂链接带点击，要么只挡训练时专门补一条放行 `Google-Extended`，要么先想清楚防训练和要点击这两头你更在乎哪一头。