- AI 爬虫一览:有哪些,怎么放行、怎么屏蔽GPTBot、OAI-SearchBot、ClaudeBot、PerplexityBot、Google-Extended 等 AI 爬虫各自做什么、屏蔽之后会怎样,以及 robots.txt 和 Cloudflare 该怎么设。
- llms.txt 是什么?格式、示例和谁在读llms.txt 是放在网站上、告诉 AI 该读哪些页面的 Markdown 文件。这篇讲清楚 v2 格式、可以照抄的示例、放在哪里,以及哪些 AI 公司表态会读它。
- GEO 优化是什么?生成式引擎优化的来历、做法和边界GEO(生成式引擎优化)就是让 AI 搜索更容易找到、读懂并引用你的内容。这篇讲清楚这个词的来历、研究测了什么、谷歌和 Bing 怎么说,以及哪些做法算操纵。
- 怎么确认 AI 爬虫真的抓到了你的网站七步检查:线上实际的 robots.txt、CDN 的拦截设置、AI 爬虫数据、服务器日志、IP 和反向 DNS 核对、谷歌 Search Console 和 Bing 站长工具。