用途:让网站内容以干净的 Markdown 通过标准 HTTP 交付给 LLM 与 AI 智能体(如 ChatGPT、Claude、Perplexity、Cursor、Claude Code),提升被读取与引用的机会。资料指出这些多为新兴约定,尚无主流厂商正式承诺读取 llms.txt 或 .md 路由,实施成本近零,且人把 URL 粘贴进 AI 工具、编码智能体抓取文档已很常见。
主要能力与用法(每步可独立上线):1) 检查 robots.txt,确认未屏蔽 GPTBot、ClaudeBot、PerplexityBot,并加入 Cloudflare 的 Content-Signal 指令(search、ai-input、ai-train 三个正交信号),按站点策略调整。2) 提供根目录静态 /llms.txt,按 llmstxt.org 格式精心编辑,像面向 AI 对话的 README 而非站点地图。3) 为每个内容页在 /path.md 提供干净 Markdown(根为 /index.md),单一数据源生成,避免两套内容。4) 同时用 <link rel="alternate" type="text/markdown"> 和 HTTP Link 头声明 Markdown,两者都要,并配合 Vary: Accept。5) 加入视觉隐藏的 Markdown 指引(对屏幕阅读器隐藏),面向人工粘贴 URL 场景。6) 实现 Accept: text/markdown 内容协商:比较 q 值而非子串匹配,平局偏向 Markdown 但仅在客户端显式声明时,两者都不可接受时返回 406,设置 Vary: Accept 与 Link,两表示互指。这不属于伪装。7) 可选提供 /llms-full.txt 拼合全文,据称流量为 /llms.txt 的 3–4 倍;营销站或博客可改为重定向到 /index.md。8) 可选服务端埋点,按 User-Agent 与来源主机统计(AI 爬虫不跑 JS)。9) 用 acceptmarkdown.com 和 isitagentready.com 验证,失败通常一行修复。
适用场景:文档站、API 参考、博客、落地页等希望被 AI 引用的站点。
限制与反模式:不要实现 <meta name="ai-content-url">、<meta name="llms">、/.well-known/ai.txt、/ai.txt、HTML 注释、人/AI 切换按钮、User-Agent 嗅探、专门的 AI 信息页;不要为 LLM 可见性添加 Schema.org/JSON-LD(Copilot 例外)。内容层面直接引用约提升 43%、统计数字约 33%、引用权威来源对低排名内容提升 115%。上线前需确认 Content-Signal 取值、llms-full.txt 策略、HTML 与 Markdown 取舍及双数据源漂移风险。最终用 curl 检查 Markdown、Link 头、llms.txt 与两个扫描器。