CiteloopBot 爬虫

怎么认出它

每个请求都在 User-agent 里写明身份：

Mozilla/5.0 (compatible; CiteloopBot/1.0; +https://citeloop.ai/bot/)

请求从这两个地址发出：

• 62.146.238.201
• 2407:3640:2349:7133::1

什么时候来

只在有人到 app.citeloop.ai 填了你的网站做免费体检，或者我们测试自己的网站时才来。同一个网站一小时内最多体检一次。

CiteloopBot 不会自己到处爬，不建搜索索引，抓到的内容也不拿去训练 AI 模型。内容保留 90 天，让做体检的人能看报告，之后删除。

抓什么

• 先读 robots.txt，再看首页、站点地图、llms.txt，抽最多 20 个页面，另发一个请求看 http:// 会不会跳到 https://。
• 一次体检最多 30 个请求，每秒一个，每个响应最多读 2 MB，最多跟 5 次跳转。
• 只看公开页面：不登录、不提交表单、不点任何东西，也不连内网地址。

为了看正文是不是要靠 JavaScript 才出来，它会用无头浏览器打开其中最多 3 个页面。和普通浏览器一样，这时会加载这些页面用到的脚本、样式和图片。这些请求的 User-agent 也是上面那串。

对比请求

为了看你的网站是不是对不同的 AI 爬虫区别对待，CiteloopBot 会再替几家爬虫各请求一次首页：OAI-SearchBot、ClaudeBot、PerplexityBot 和 Googlebot。User-agent 开头仍是自己的名字，后面附上那家爬虫公开的写法，比如：

Mozilla/5.0 (compatible; CiteloopBot/1.0; +https://citeloop.ai/bot/) compare-as (Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot))

你的 robots.txt 不让某家爬虫抓首页时，就跳过那一家。这些请求不是那几家公司发的，所以结果不一样时，报告里只当提示。

怎么屏蔽它

CiteloopBot 遵守 robots.txt 里 User-agent: CiteloopBot 这一组的规则；没有这一组时，按 * 那一组。想完全不让它抓：

User-agent: CiteloopBot
Disallow: /

每次体检开始时它都会重新读 robots.txt，改了下一次就生效。屏蔽之后，对你网站的体检只会说明它进不来。

联系

CiteloopBot 给你的网站造成了麻烦，请通过“关于”页里的联系方式找我们。我们怎么处理数据，见隐私政策。