OAI-SearchBot 是什么
OpenAI 的说明开头就一句：“OAI-SearchBot 是用来做搜索的。”它“用于在 ChatGPT 的搜索功能里展示网站”。如果你的 robots.txt 退出了它，你的页面“不会出现在 ChatGPT 搜索的回答里”，不过仍可能以导航链接的形式出现。
它的 User-agent 开头和普通的 Chrome 浏览器一样，结尾是 compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot，所以在日志里搜 OAI-SearchBot 就能找到它。改了 robots.txt 之后，OpenAI 说搜索大约要 24 小时才会跟着变。
OpenAI 的四个 User-agent
OpenAI 有四个 User-agent。它在 robots.txt 里能管的是 OAI-SearchBot 和 GPTBot 这两个名称，而且“每个设置都互不影响”：你可以放行 OAI-SearchBot、出现在搜索里，同时禁止 GPTBot。
| User-agent | OpenAI 说它做什么 | robots.txt | IP 清单 |
|---|---|---|---|
OAI-SearchBot |
在 ChatGPT 搜索结果里展示网站 | 照你的规则走；改动大约 24 小时生效 | searchbot.json |
GPTBot |
抓取可能用于训练 OpenAI 基础模型的内容 | 禁止它，表示你的内容不应该被用来训练 | gptbot.json |
ChatGPT-User |
有人让 ChatGPT 或 Custom GPT 去看某个网页时访问，也用于 GPT Actions | “robots.txt 规则可能不适用”；不用来决定什么能出现在搜索里 | chatgpt-user.json |
OAI-AdsBot |
检查提交为 ChatGPT 广告的落地页 | 只访问提交为广告的页面；它的数据不用于训练 | adsbot.json |
所以你可以留在 ChatGPT 搜索里，同时退出训练：放行 OAI-SearchBot，禁止 GPTBot。屏蔽 GPTBot 不会让你从搜索里消失。OpenAI 说，OAI-SearchBot 或 GPTBot 抓 robots.txt 时，可能在 User-agent 里加一个 robots.txt 标记，你在日志里能把这些请求分出来。
其他 AI 公司的爬虫，见 AI 爬虫一览：每个爬虫做什么、怎么屏蔽。
第 1 步：在 robots.txt 里放行它
想留在 ChatGPT 搜索里，又不让 OpenAI 拿你的内容训练：
User-agent: OAI-SearchBot
Allow: /
User-agent: GPTBot
Disallow: /
User-agent: *
Allow: /有一条规则常让人栽跟头。爬虫遵守点了它名字的那一组，只有在“没有匹配的组”时才退回 * 组（RFC 9309）。你一给 OAI-SearchBot 单独写一组，* 组的规则就不再管它了，所以它还该遵守的 Disallow 要在这组里再写一遍。
第 2 步：放行它的 IP 地址
OpenAI 的帮助中心补了大多数教程漏掉的一步：“要让网站有资格被收录，请允许 OAI-SearchBot 抓取网站，并确认网站的主机或内容分发网络允许来自 OpenAI 公布的 searchbot IP 地址的流量。”爬虫说明页也是这么说的：在 robots.txt 里放行它，“并允许来自我们公布的 IP 段的请求”。
这一步要紧，是因为 robots.txt 只是请求：真正决定谁能进来的是防火墙和 CDN，它们的规则可能把 robots.txt 放行的爬虫挡在外面。比如 Cloudflare 认已验证的爬虫，靠的是加密签名或公布的 IP 清单，不看请求自报的名字。我们自己有一个网站在 Cloudflare 后面，我们如实报身份的爬虫拿到了 403，带 OAI-SearchBot 名字的测试请求却能打开：冒用名字看到的结果，说明不了真爬虫的待遇。
要查的：
- 用 Cloudflare 的，看 AI 爬虫设置（Search、Training、Agent），以及 AI Crawl Control 里每个爬虫的设置。见 AI 爬虫一览里讲 Cloudflare 的一节。
- 别的防火墙或主机，看拦截或质询 bot 的规则，以及白名单。用白名单的话，用
searchbot.json里的网段。我们 2026 年 10 月 26 日下载的那份列了 39 个 IPv4 网段；清单会变，所以要让系统自动加载，不要一次性贴进去就不管了。
第 3 步：核对是不是真的 OpenAI
User-agent 是客户端自己报的。截至 2026 年 10 月 26 日的 7 天里，citeloop.ai 的 Cloudflare AI Crawl Control 显示：
| 请求里的名字 | 请求数 | 2xx | 4xx |
|---|---|---|---|
| OAI-SearchBot | 19 | 14 | 5 |
| GPTBot | 8 | 6 | 1 |
| ChatGPT-User | 没列出 |
在免费套餐上，Cloudflare 说 AI Crawl Control 按 User-agent 字符串识别爬虫；同一个控制台也说明了为什么这不算证据。再往前一周，它列出的失败请求全都自称 Claude-User，而且全在找 /.env 这类文件：是借用爬虫名字的扫描器。
所以要核对 IP 地址。OpenAI 给每个 User-agent 公布了一份 IP 清单；它的爬虫说明页没讲反向 DNS 核对。用怎么验证 Googlebot 和 AI 爬虫进得来里那段简短的 Python 脚本，加上下载好的 searchbot.json：
python3 check_ip.py searchbot.json 104.210.140.130会输出 listed；而刚好落在清单里那个 /28 网段之外的 104.210.140.144，输出 NOT listed。这两条我们 2026 年 10 月 26 日都跑过。自称 OAI-SearchBot、地址却不在清单里的，就是别人。
ChatGPT 搜索怎么找网页、怎么排序
OpenAI 在这方面说得很少，都在它的帮助中心里：
- 问题需要最新信息时，或者用户选了搜索，ChatGPT 会自己去网上搜。
- 它“有时会和其他搜索服务商合作”：把问题改写成一个或几个搜索查询，再把这些查询发出去。OpenAI 为这些服务商链出的隐私政策是微软和 Shopify 的。它没说哪个查询交给哪家。
- “ChatGPT 用多种因素给搜索结果排序，目的是帮用户找到相关、可靠的信息。不保证位置。”
- 用了搜索的回答可以带引用；OpenAI 提醒用户，结果和引用“可能不完整、过时或有误”。
怎么在 ChatGPT 里排上去？
老实说：OpenAI 以外没人知道。OpenAI 没公布排名因素，所以任何“ChatGPT 排名因素”清单都是猜的，也没有哪个工具或代理商能承诺你在回答里的位置。
你能管的是有没有资格、好不好用：
- 在 robots.txt 和 CDN 那里放行 OAI-SearchBot（第 1、2 步）。
- 主要内容放在 HTML 里。OpenAI 没说 OAI-SearchBot 会不会运行 JavaScript，所以别指望它。
- 直接回答真实的问题，给出数字和写明的来源，让页面值得引用。
不要想着在别的网站上铺内容来左右 AI 的回答。谷歌的垃圾内容政策覆盖“试图操纵生成式 AI 回答”；Bing 的站长指南把意在操纵 Bing 或 Copilot 所用语言模型的内容，列在可能让网站失去可见度或被移除的做法里。见 GEO 优化是什么，哪些做法算操纵。
会有从 ChatGPT 来的访客吗？
在网站统计里找从 chatgpt.com 来的访问。要有耐心：2026 年 10 月 26 日，citeloop.ai 上线一周，它的 Cloudflare 网页分析显示过去 30 天没有从 chatgpt.com 来的访问，尽管 OAI-SearchBot 已经在抓它了。
Citeloop 的免费 GEO 体检会读你首页和抽样页上针对 OAI-SearchBot、ChatGPT-User 和另外五个 AI 搜索爬虫的 robots.txt 规则，认出网站前面是哪家 CDN，并在我们如实报身份的爬虫被拦时告诉你。它看不到你 CDN 的白名单和设置。