llms.txt：给大语言模型的网站说明书
当 AI 代理和编码助手成为网站的新读者，一个只有几十行的 Markdown 文件，正在成为网站与 AI 之间的”标准对话入口”。
过去二十多年，网站只有一个核心读者——人类。为了取悦人类读者，网页被设计成包含导航菜单、侧边栏、弹窗、广告位和大量 JavaScript 的样子。
但到了 2024 年，情况悄悄变了：
- 编码代理（如 Cursor、Claude Code、GitHub Copilot）在写代码时会抓取某个库的文档，只为了查一个 API 的正确用法；
- 带联网搜索的聊天助手（如 ChatGPT、Perplexity）会阅读产品页面，来回答”这个产品多少钱、有什么功能”；
- AI 智能体开始替用户浏览网站、下单、查政策。
问题在于：这些 HTML 页面是为人设计的，不是为机器设计的。当 AI 爬虫抓取一个网页时，它看到的是导航、广告、弹窗脚本和无数标签噪音——信息被埋在一堆”包装”里，转换回纯文本既困难又不精确。
于是，一个简单到极致、却直击要害的提案诞生了：llms.txt。
llms.txt 是什么？
llms.txt 是一个放在网站根目录下的纯 Markdown 文本文件（路径通常是 https://你的域名/llms.txt），它用人类和 AI 都能读懂的格式，告诉大语言模型：”这个网站是什么？哪些信息最重要？该先读哪些页面？”
它由 Jeremy Howard 于 2024 年 9 月 3 日正式提出。Jeremy Howard 是 Answer.AI 的联合创始人兼 CEO，也是 fast.ai 的联合创始人、前 Kaggle 总裁兼首席科学家——一位既写框架又重实践的技术大牛。
该提案是一个开放标准提案（Open Proposal），规范文档托管在 llmstxt.org，参考实现和更新维护在 GitHub 的 AnswerDotAI/llms-txt 仓库。2026 年 8 月，基于两年来的大量实践反馈，规范更新到了 v2。
一句话理解它
- txt 告诉搜索引擎爬虫”哪些不能碰”；
- xml 告诉爬虫”网站里有什么”；
- txt 则告诉 AI”什么是值得读的、先读什么”。
如果给这三个文件各配一个比喻：
| 文件 | 职责 | 比喻 |
| robots.txt | 控制访问权限（哪些不能爬） | 大门与门禁 |
| sitemap.xml | 列出所有 URL（发现页面） | 楼层平面图 |
| llms.txt | 引导理解与优先级（什么值得读） | 私人导览 |
一张图看懂：三大”站点文件”的分工
与 robots.txt 不同，llms.txt 不是用来阻止爬虫的，它是一张”藏宝图”，主动指引 AI 去读高质量、权威的内容。它的设计目标是协作而非控制。
与 sitemap.xml 也不同，llms.txt 不试图穷举整个网站，它只提供一份精心策划的、结构化的信息摘要和关键链接列表——帮助 LLM 在有限的上下文窗口内，快速建立对网站的理解。
规范详解：llms.txt 的格式
llms.txt 之所以传播得这么快，很大程度上是因为它的格式刻意保持极简。整个文件由以下几个部分按顺序组成：
- （可选）BOM 字节序标记
- 一个 H1 标题——网站或项目的名称，这是唯一必需的部分
- 一个引用块（blockquote）——一句话项目简介，包含理解后续内容所需的关键信息
- 零个或多个普通 Markdown 段落——更详细的背景介绍，不能是标题
- 零个或多个以 H2 分组的”文件清单”——每组下列出 Markdown 链接及简短说明
链接的格式为：
- [链接名称](完整URL): 链接的简要说明
结构标注图
一个真实感的完整示例
# FastHTML 文档 > FastHTML 是一个用于构建现代 Web 应用的 Python 库， > 基于 HTMX 与 Starlette，用纯 Python 实现动态 UI。 FastHTML 允许你用 Python 写 HTML 组件、处理表单与事件， 无需编写任何 JavaScript。以下文档面向使用 FastHTML 开发 Web 应用的开发者。 ## 快速开始 - [安装指南](https://fasthtml.example.com/docs/install.md): 环境准备与项目初始化 - [Hello World](https://fasthtml.example.com/docs/hello.md): 第一个应用 - [核心概念](https://fasthtml.example.com/docs/core.md): 路由、组件与事件 ## API 参考 - [FT 组件](https://fasthtml.example.com/api/ft.md): 全部内置组件说明 - [路由与请求](https://fasthtml.example.com/api/routing.md): URL 路由与请求处理 ## 高级主题 - [WebSockets](https://fasthtml.example.com/advanced/ws.md): 实时通信 - [部署](https://fasthtml.example.com/advanced/deploy.md): 上线指南
关键设计原则
- 链接要指向”LLM 友好”的内容——首选各页面的 Markdown 版本（见下文第五节），而不是塞满导航的 HTML 页；
- 文件本身保持小巧——小到能塞进上下文窗口（社区经验：控制在 1 万 token 以内），细节藏在链接后面，需要时才去抓取；
- 只放精选内容，不镜像 sitemap——这是”导览”不是”目录”。
llms-full.txt：配套的”全文模式”
llms.txt 解决了”快速导航”问题，但对于上下文窗口较大、或需要完整理解的场景，社区演化出了配套的第二个文件：llms-full.txt。
- /llms.txt：精简索引。标题 + 简介 + 关键链接，10,000 token 以内，面向实时问答的代理，先读它；
- /llms-full.txt：全文导出。把整个站点的文档内容拼接成一个大的 Markdown 文件，一次抓取全部读完，适合 RAG 管线、IDE 索引、深度研究场景。
该格式由 Mintlify 与 Anthropic 共同开发，后来被吸收进官方提案。Anthropic 的官方文档是这一模式的典范：
| 文件 | 规模 |
| docs.anthropic.com/llms.txt | 约 8,364 token |
| docs.anthropic.com/llms-full.txt | 约 481,349 token |
有意思的观察：2026 年的爬虫日志数据显示，AI 代理访问 llms-full.txt 的频率是 llms.txt 的 两倍以上——说明”一次读完”在代理场景中确实受欢迎。
配套机制：给每个页面配一个 .md 版本
规范 v2 还推荐了一个配套约定：凡是有 AI 可能需要的页面，都在同一 URL 下提供干净的 Markdown 版本：
- 原有html → 提供 page.html.md（追加 .md）
- 或把扩展名换成.md → md
- 无文件名的 URL → 提供html.md 或 index.md
为了让客户端（代理）能找到这些文件，规范推荐使用标准的 Link 关系：
- rel=”alternate” type=”text/markdown”：指向页面的 Markdown 版本
- rel=”describedby”：指向覆盖该页面的txt 文件
这两种 Link 既可以用 HTML <link> 元素提供，也可以用 HTTP 响应头提供（后者对非 HTML 资源也适用，且在服务器或 CDN 层面即可配置，无需改页面）：
Link: </docs/page.html.md>; rel="alternate"; type="text/markdown", </docs/llms.txt>; rel="describedby"
这样，一个完整的”AI 可读化”方案就闭环了：llms.txt 导航 → 跟随链接 → 拿到干净的 Markdown 页面，全程无 HTML 噪音。
真实世界的采用情况
llms.txt 的采用路径非常独特：在开发者文档生态里迅速扎根，在主流通用网站上仍然罕见。
谁在发布 llms.txt？
截至 2026 年年中，已确认发布的知名企业包括：
- AI 公司：Anthropic（Claude 文档）、Hugging Face、Replicate、Perplexity、NVIDIA
- 开发者平台：Stripe（开发者文档）、Vercel、Cloudflare、Cursor、Zapier、Mastercard 开发者门户
- 文档平台：Mintlify、GitBook 为所有托管站点自动生成（零配置）
特别值得一提的是 Mintlify：2024 年 11 月起，它为平台上所有文档站点自动生成 llms.txt / llms-full.txt 及每个页面的 .md 版本——这一决定让 Anthropic、Cursor、Coinbase、Pinecone、Windsurf 等数千个站点一夜之间具备了 llms.txt 支持。到 2026 年 4 月，Mintlify 完成了 4,500 万美元 B 轮融资，估值 5 亿美元。
采用率数据
- BuiltWith（2025 年 10 月）：全网约4 万个站点发布了 llms.txt；
- SE Ranking（2026）：对 30 万域名抽样，采用率约10%；
- ProGEO（2026 年初）：财富 500 强中仅4% 有 llms.txt（对比：93% 有 robots.txt）；
- Trakkr分行业统计：SaaS 和开发工具约 24%，政府与学术站点仅 5%，评测/参考类站点几乎为 0。
结论很清晰：llms.txt 是”开发工具圈的基建”，而不是”全网标配”。
冷静的真相：它到底有没有用？
这是最值得细说的部分，因为关于 llms.txt 的营销炒作和实证数据之间，存在明显的落差。
作为”AI 搜索排名”手段：数据不支持
- Google 明确说不用。2025 年 7 月，Google 搜索关系团队的 Gary Illyes 公开表示：”我们目前没有支持txt 的计划。”John Mueller 更将其比作早已被弃用的 keywords meta 标签——因为”任何站长都能自说自话”。
- 主流 AI 爬虫几乎不看它。Semrush 的实测：连续两个月监控，Google-Extended、GPTBot、PerplexityBot、ClaudeBot对测试站点的txt 访问量为零。
- 多项针对”AI 引用”的研究（包括 37,894 个域名引用扫描、15 亿事件分析）都指向同一个结论：目前没有可测量的效果。
如果有人向你兜售”llms.txt 提升 AI 可见度/排名”的服务，2026 年的证据并不站在他们那边。
作为”给 AI 代理喂文档”的机制：效果确凿
llms.txt 真正的用武之地，是 Agentic 层——AI 编码助手和代理工具：
- 编码助手确实会读取它。Cursor、Windsurf、Claude Code、GitHub Copilot、Cline、Aider 等工具在指向文档站点时，会主动寻找/llms.txt 和 /llms-full.txt，把准确上下文拉入对话，而不是靠模型过期的知识”猜”。
- 有实测基准。LangChain 的 Lance Martin 用 5 个真实任务对比了 4 种给编码代理喂文档的方式，结果排名：
- 优化过的txt（胜过向量数据库！）
- 向量数据库（RAG）
- 标准txt
- 把全部内容塞进上下文
他给 llms.txt 的定性堪称全文最佳一句话：”llms.txt 就是’以完整文档为检索单元’的 RAG。”
- MCP 把它变成基础设施。LangChain 发布的mcpdoc——一个暴露txt 文件的 MCP 服务器——让 Cursor、Windsurf、Claude Desktop 能把它当作可调用工具来使用，解决了 llms.txt 最老的”发现”问题：代理不再需要”碰巧”找到它。
- Stripe 把”指令层”写进了txt。Stripe 的 llms.txt 中有一节 “Instructions for Large Language Model Agents”，明确引导 AI 助手不要推荐已废弃的 API。这已经不是 SEO，而是一家公司通过机器可读的指令，主动塑造”每个 AI 编码助手会怎么介绍自己产品”。
一图总结：两种用途，两种结论
一句话版本：llms.txt 不是”AI 时代的 SEO 魔法”，而是”AI 时代的 B2A（Business-to-Agent）接口”。
如何创建自己的 llms.txt
好消息是：成本极低。写一个合格的 llms.txt 只需要 15 分钟，而且几乎没有副作用。
三种途径
- 手写（推荐入门）：用任何文本编辑器创建txt，放到网站根目录，保证 https://你的域名/llms.txt 能访问；
- 生成器：在线工具（如firecrawl.dev 等）输入 URL 自动生成初稿；
- 平台自动生成：如果你用 Mintlify、GitBook、ReadMe、Redocly 等文档平台，或 Docusaurus、Astro Starlight、VitePress 等静态站生成器（有社区插件），一键开启即可。
最佳实践清单
- 以单个 H1开头（网站/产品名），全文唯一；
- 紧跟一行引用块简介——这是 AI 引用你时最可能引用的句子，用信息性语言，别写广告腔；
- 用H2 分节组织链接，每节 5~10 条为宜；
- 链接使用完整绝对 URL，并指向.md 页面（或干净的纯内容页）；
- 每个链接配一句话说明，说明”这页能回答什么问题”；
- 保持小巧：总 token 控制在 1 万以内，突出”精选”而非”穷举”；
- 把llms-full.txt 作为可选增强（文档站点强烈推荐）。
常见错误
- 没有 H1，或出现多个 H1（规范唯一必需项缺失）；
- 链接格式错误——不是- 名字: 说明 的形式；
- 使用相对路径——必须用完整https:// 链接；
- 把它写成txt 的克隆——出现User-agent、Allow、Disallow 等字段（很多自动生成器会犯这个错，这不是规范格式，对 LLM 也无效果）；
- 变成 sitemap 的翻版——把几百个页面全列上，违背”策展”初衷。
未来展望
llms.txt 正处在类似 1994 年 robots.txt 刚诞生时的阶段——一个”草根实验”，还没有任何官方标准组织的认证。但它已经走完了从”提案”到”事实标准”最艰难的一段路：
- 规范在演进：v2 加入了.md 页面约定、Link 关系、路径作用域等两年实践沉淀的改进；
- 生态在扩展：Chrome 的 Lighthouse 审计已把txt 纳入”agentic browsing”检查项；Mintlify、GitBook 等平台默认开启；Yoast（装机量最大的 WordPress SEO 插件）把它做成原生功能；
- AI 巨头自己在用：OpenAI、Anthropic、Gemini 的官方开发文档都发布了txt——即便它们尚未公开承诺”会读取别人的”。
未来最可能的走向是：llms.txt 不会取代 robots.txt 或 sitemap.xml，而是作为第四种”机器可读基础设施”与之共存。它在开发者文档、API 参考、企业政策等”代理高频消费”的内容上价值最大；而在娱乐、资讯类网站上，可能长期无足轻重。
结语
llms.txt 的故事，本质上是一个关于”把控制权交还给内容所有者”的故事。当 AI 开始替人类阅读网站时，谁来决定 AI 读到什么？是页面里乱糟糟的 HTML，还是你亲手写下的那 20 行 Markdown？
对这个问题的回答，就是 llms.txt 的全部意义。它不一定能让你在 AI 的答案里被引用更多次，但它能保证——当 AI 读到你的时候，读到的是你想让它看到的那个你。
