AI 爬虫分三类
现在大多数 AI 公司按用途分开跑几个爬虫，你可以分别对待：
- 训练类：抓网页用来训练以后的模型。屏蔽它们，你以后的内容就不进训练数据。例如 GPTBot、ClaudeBot，以及 Google-Extended、Applebot-Extended 这两个开关。
- 搜索类：给 AI 搜索建索引，AI 回答时从这里找来源。屏蔽它们，你就会从 AI 搜索里消失。例如 OAI-SearchBot、Claude-SearchBot、PerplexityBot、Googlebot、Bingbot。
- 用户触发类：有人让 AI 去读某个网页时才来。好几家说这类请求可能不遵守 robots.txt，因为发起请求的是人，不是爬虫。例如 ChatGPT-User、Claude-User、Perplexity-User。
一览表
“是否遵守 robots.txt”一栏照各家自己的页面写。“用 robots.txt 控制”表示页面让你用 robots.txt 管，但没用“遵守”这个词。IP 清单可以用来核对请求是不是真的来自这家公司。
| 公司 | User-agent 名称 | 类别 | 是否遵守 robots.txt | 公开的 IP 清单 |
|---|---|---|---|---|
| OpenAI | GPTBot |
训练 | 用 robots.txt 控制 | JSON |
| OpenAI | OAI-SearchBot |
搜索（ChatGPT 搜索） | 用 robots.txt 控制 | JSON |
| OpenAI | ChatGPT-User |
用户触发 | 可能不适用 | JSON |
| Anthropic | ClaudeBot |
训练 | 遵守 | JSON（三个共用） |
| Anthropic | Claude-SearchBot |
搜索 | 遵守 | 同上 |
| Anthropic | Claude-User |
用户触发 | 遵守 | 同上 |
| Perplexity | PerplexityBot |
搜索（不用于训练基础模型） | 用 robots.txt 控制 | JSON |
| Perplexity | Perplexity-User |
用户触发 | 一般不遵守 | JSON |
Googlebot |
搜索，包括 AI 摘要（AI Overviews）和 AI 模式 | 遵守 | JSON | |
Google-Extended |
不是爬虫，是 robots.txt 里的一个名称，管 Gemini 的训练和联网检索 | 只在 robots.txt 里用 | 无（不单独抓取） | |
Google-Agent |
用户触发的智能体 | 一般不遵守 | 见 Google 的页面 | |
| 微软 | bingbot |
Bing 和 Copilot 的搜索 | 遵守；没有单独的 AI 名称 | JSON |
| Apple | Applebot |
搜索（Spotlight、Siri、Safari） | 遵守 | JSON |
| Apple | Applebot-Extended |
不是爬虫，是管 Apple 模型训练的名称 | 只在 robots.txt 里用 | 无 |
| Meta | meta-externalagent |
训练和建索引 | 用 robots.txt 控制 | 未公开 |
| Meta | meta-webindexer |
搜索（Meta AI） | 用 robots.txt 控制 | 未公开 |
| Meta | meta-externalfetcher |
用户触发 | 可能绕过 | 未公开 |
| Common Crawl | CCBot |
公开的网页抓取数据集 | 遵守 | JSON |
| 亚马逊 | Amazonbot |
改进产品，可能用于训练亚马逊的 AI 模型 | 遵守 | 见亚马逊的页面 |
| 亚马逊 | Amzn-SearchBot |
搜索（如 Alexa） | 遵守 | 见亚马逊的页面 |
| 亚马逊 | Amzn-User |
用户触发 | 可能不遵守全部规则 | 见亚马逊的页面 |
| DuckDuckGo | DuckAssistBot |
AI 回答时实时抓取 | 可在 robots.txt 里退出 | JSON |
| Mistral | MistralAI-Index |
搜索 | 用 robots.txt 控制 | JSON |
| Mistral | MistralAI-User |
用户触发 | 没写 | JSON |
| Mistral | MistralAI-Training |
训练 | 用 robots.txt 控制 | 未公开 |
| 字节跳动 | Bytespider |
没找到官方说明 | 不明 | 不明 |
Common Crawl 自己的页面只说它是一个公开的网页数据集，没说数据用于 AI 训练；不过很多站长和工具把 CCBot 归到训练类。
屏蔽之后会怎样
下面是各家自己说明的后果：
- OAI-SearchBot：你的页面不会出现在 ChatGPT 搜索的回答里，但仍可能以导航链接的形式出现。OpenAI 的几个设置互不影响，屏蔽 GPTBot 不影响 ChatGPT 搜索。改动大约 24 小时生效。
- Claude-SearchBot：Anthropic 不会为搜索索引你的内容，你在 Claude 搜索结果里的可见度可能下降。屏蔽 ClaudeBot 只是让你以后的内容不进训练。Anthropic 还提醒，只封 IP 地址可能不起作用。
- PerplexityBot：Perplexity 建议，想出现在它的搜索结果里就放行它。
- Google-Extended：不影响你在谷歌搜索里能不能出现、排第几。它也不是退出 AI 摘要和 AI 模式的办法。从 2026 年 8 月 31 日起，所有网站都可以在 Search Console 的“设置”里，用“Search generative AI”这一项退出。退出后就没有来自这些功能的流量，但不影响别处的排名，也不影响 AI 训练。
- Bing 和 Copilot：Bing 没有单独的 AI 名称。它的站长指南说，
NOARCHIVE让内容不进 Copilot 的回答和检索，NOCACHE让 Copilot 只用网址、标题和摘要。Bing 不建议在 robots.txt 里屏蔽 bingbot。 - Applebot-Extended：只让你的页面不进 Apple 的模型训练，仍然可以出现在 Apple 的搜索里，也不影响排名。
- DuckAssistBot：退出不影响 DuckDuckGo 的自然排名，72 小时内生效。
robots.txt 写法
全部放行（写一个空的 Disallow:，或者干脆没有 robots.txt，效果一样）：
User-agent: *
Allow: /保留 AI 搜索和用户触发的访问，只退出训练：
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
User-agent: MistralAI-Training
Disallow: /
User-agent: *
Allow: /只屏蔽一个，其余不动：
User-agent: ClaudeBot
Disallow: /
User-agent: *
Allow: /写的时候要知道这几条规则：
- 点了名的组会取代
*组。 爬虫只用点了它名字的那一组，不再看*组（RFC 9309；Google 也说两组不合并）。如果给 GPTBot 单独写了一组，它还该遵守的规则要在这组里再写一遍。 - 最具体的规则优先；
Allow和Disallow一样具体时，应该以Allow为准。 - User-agent 名称不分大小写。
- 每个子域名都要有自己的 robots.txt，Anthropic 的页面专门提到了这一点。
- 改了不会马上生效。 OpenAI、Perplexity、Meta 和亚马逊都说大约一天；亚马逊可能用最多 30 天前的 robots.txt 副本。
没有哪条 robots.txt 规则能只屏蔽亚马逊或 Bing 的训练用途：亚马逊让你在页面上用 noarchive，Bing 用上面说的 NOARCHIVE。
网站用了 Cloudflare 的话
Cloudflare 在 2026 年 9 月 15 日改了 AI 爬虫的设置，旧教程已经过时：
- 原来的 “Block AI bots” 开关和 Managed robots.txt 都已弃用。现在分成 Search、Training、Agent 三项，每项可以选 Allow、Block on pages with ads、Block 等；Training 还多一个 Disallow AI Training。
- Block 会连 Googlebot、Bingbot、Applebot 一起拦，搜索也拦。只想退出训练，就用 Disallow AI Training：它把你的选择写进 robots.txt，搜索照常抓。
- 新加的域名：按这次公告，不放广告的三项默认都是 Allow；放广告的默认不许训练，并在有广告的页面上拦智能体。Cloudflare 有些文档页还是旧的默认值说法，以你自己控制台里显示的为准。
- AI Crawl Control（以前叫 AI Audit）所有套餐都有，能看到哪些 AI 爬虫来过、有没有被放行。免费套餐只按 User-agent 认爬虫。
想被 AI 引用，先查这些设置：robots.txt 写得再对，CDN 那一层照样可能把 AI 爬虫拦在外面。
我们的建议
对想被 AI 搜索找到、引用的企业网站：
- 放行搜索类和用户触发类：OAI-SearchBot、ChatGPT-User、Claude-SearchBot、Claude-User、PerplexityBot、Googlebot 和 bingbot。
- 训练类单独决定。 对把两者分开的公司来说，退出训练不会让你在 AI 搜索里少露面。
- 不光看 robots.txt，也要看 CDN。 见怎么确认 AI 爬虫真的抓到了你的网站。
Citeloop 的免费 GEO 体检即将开放，会按上面每个爬虫逐条读你的 robots.txt，并检查网站前面有没有 CDN。