查什么
- AI 爬虫进不进得来robots.txt 对 GPTBot、OAI-SearchBot、ChatGPT-User、ClaudeBot、Claude-SearchBot、Claude-User、PerplexityBot、Google-Extended、Bingbot、Googlebot 放不放行;网站在不在 Cloudflare 等 CDN 后面,CDN 的 AI 爬虫设置怎么设的。
- 不执行 JavaScript 时正文还在不在很多 AI 爬虫不运行 JavaScript。我们对比原始 HTML 和浏览器渲染后的文字量,看正文是不是只在脚本里。
- 标题、描述、h1 和 canonical每页都有、写得清楚,canonical 指向正确的网址。
- 结构化数据格式合法,内容和页面上显示的一致,比如常见问题的结构化数据和页面上的问答对得上。
- sitemap、IndexNow 和站长工具sitemap 在不在、更新日期准不准;有没有用 IndexNow 通知 Bing;是否在 Bing 站长工具和谷歌 Search Console 里验证、提交了 sitemap。
- 语言、hreflang 和 llms.txt页面语言写对没有,中英文页面有没有用 hreflang 互相标注;有没有给 AI 看的 llms.txt。
- 死链抽查的页面里,站内链接有没有打不开的。
怎么查
- 抓取公开页面请求首页,再从 sitemap 里抽 20 页。每个网站最多 30 个请求,同一时间只有 1 个,间隔不少于 1 秒。请求里如实写明是 Citeloop,遵守你的 robots。
- 对照检查逐项检查上面的问题。我们也会用各家爬虫的名字请求几页做对比,但 Cloudflare 这类 CDN 会按签名和 IP 认出真爬虫,冒用名字的结果只当提示。AI 爬虫实际有没有抓到,以 CDN 的设置和日志、Bing 站长工具、谷歌 Search Console 为准,需要你提供截图或只读权限。
- 写成报告先给你一页摘要和最严重的 3 条;完整报告列出全部问题,每条附请求、状态码和页面片段,按你网站用的技术写清楚怎么改。
不会做的事
- 不登录,不抓要登录才能看的页面,不改你的网站和 CDN 设置。
- 体检报告默认不公开,也不让搜索引擎收录。
- 不承诺排名,也不承诺“让 AI 推荐你”。