llms.txt 是什么
llms.txt 由 Answer.AI 的 Jeremy Howard 在 2024 年 9 月 3 日提出。做法很简单:在网站的 /llms.txt 放一个简短的 Markdown 文件,写清楚这个网站是做什么的,再列出 AI 该读的页面,最好是干净的 Markdown 版本。2026 年 8 月,提案改成了第 2 版。
动手之前,先知道提案对自己的两点定位:
- 它是提案。 规范自称“提案”,还在征求社区意见,不是标准。
- 主要给推理用,不是给训练用。 作者的预期是:用户提问时,AI 按需去读它;训练也可能顺带用上。
它也不能代替 robots.txt 和 sitemap.xml。robots.txt 管爬虫能抓什么,llms.txt 只是建议读什么;sitemap 列出全部网址,llms.txt 是一份精选的阅读清单。
谁在读
| 谁 | 官方怎么说 |
|---|---|
| 谷歌搜索 | AI 优化指南写明谷歌搜索不使用 llms.txt。为别的服务做一份没问题,但对谷歌搜索的可见度和排名既不加分也不减分。 |
| Chrome Lighthouse | 实验性的“Agentic Browsing”审计会检查网站根目录的 /llms.txt。没有这个文件算“不适用”,服务器报错才判失败。 |
| OpenAI、Anthropic、Perplexity | 三家的爬虫说明都只讲 robots.txt,都没说自己的爬虫会读别人网站的 llms.txt。三家都给自己的文档站发布了 llms.txt。 |
所以“做了 llms.txt,AI 回答里会不会更常出现我?”老实的回答是:没有哪家承诺过。它主要帮的是那些专门去找它的编程助手和工具,所以最常见于软件文档站。
格式(v2)
文件用 Markdown 写,各部分按固定顺序排:
| 部分 | 必需吗 | 写什么 |
|---|---|---|
| 字节顺序标记(BOM) | 否 | 可以出现在最开头 |
| H1 | 是 | 网站或项目的名字,这是唯一必需的部分 |
| 引用块 | 否 | 一段简短摘要,放读懂其余部分需要的关键信息 |
| 段落或列表 | 否 | 补充说明,但不能用标题 |
| H2 分节 | 否 | 链接列表:- [名称](网址),后面可以跟英文冒号和说明 |
名为 ## Optional 的一节按惯例放次要链接,AI 需要更短的上下文时可以跳过。第 1 版里这一节对工具有特殊含义,第 2 版去掉了,现在只是惯例。
可以照抄的示例
# 示例烘焙坊
> 示例烘焙坊是上海的一家家庭烘焙店,在网上卖面包和蛋糕,20 公里内送货。
价格都是人民币,含税。下午 2 点前下单,当天发货。
## 商品
- [面包](https://example.com/bread.md): 每天出炉的面包、配料和过敏原
- [蛋糕](https://example.com/cakes.md): 定制蛋糕的尺寸和要提前几天
## 规则
- [配送](https://example.com/delivery.md): 配送范围、运费和时段
- [退款](https://example.com/refunds.md)
## Optional
- [我们的故事](https://example.com/about.md)
把名字和链接换成你自己的。摘要只写事实,而且这些说法在你真实的页面上也要有。
放在哪里
- 放在网站根目录:
https://你的网站/llms.txt。第 2 版也允许放在子路径,比如/docs/llms.txt;一个文件管它所在路径下的页面,有几个都适用时用路径最具体的那个。 - 只做一份的话,就做根目录那份:Lighthouse 只看根目录。
- 用纯文本返回、状态码 200,文件要小,能放进 AI 模型的上下文。细节写在链接的页面里,不要都塞进这个文件。
页面的 Markdown 版本(可选)
提案还建议给重要页面在同一个网址提供一份干净的 Markdown 版本:在网址后面加 .md(page.html.md),或者把扩展名换成 .md(page.md)。第 2 版推荐用 rel="alternate" type="text/markdown" 指向它,用 rel="describedby" 指向管这个页面的 llms.txt,写在 HTML 的 <link> 或 HTTP 的 Link 响应头里都行。这是推荐,不是必须。
llms-full.txt 是什么
llms-full.txt 不属于提案,是 Mintlify 等文档平台的做法:把整个文档站合成一个文件。文档很多时有用,但 llms.txt 规范里没有要求它。
要不要做
如果你的网站有讲清楚卖什么、怎么用、多少钱的页面,可以做:花几分钟,不花钱。但要先把基础做好,llms.txt 补不了这些:
- 确认
robots.txt放行了 AI 爬虫,CDN 也没拦。见AI 爬虫一览:怎么放行、怎么屏蔽。 - 确认正文在 HTML 里,不是只靠 JavaScript 渲染出来。
- 再写一份简短、准确的 llms.txt,页面改了就跟着更新。
Citeloop 自己的文件在 citeloop.ai/llms.txt。免费 GEO 体检即将开放,会检查你的网站有没有 llms.txt、格式对不对。