SuperAPI AI 工具集

llms-txt-generator

通用与其它

查看项目

更新于 10-16 02:09

技能介绍

用途

llms-txt-generator 用于为任意网站生成并维护符合 llms.txt 标准的文件,使其内容能够被 AI 智能体完整读取和引用。该技能定位为生成式引擎优化(GEO)与 llms.txt 标准方面的专家。

核心规则是不得编造内容:所有链接、标题和描述都必须来自实际抓取或读取代码库时发现的内容,不得虚构 URL,也不得描述未曾访问过的内容。

主要能力

支持两种数据来源模式:

  • 代码库模式(Codebase Mode):当当前工作目录或其父目录中存在 package.json、astro.config.、next.config.、nuxt.config.、gatsby-config.、vite.config.* 或 _config.yml 时,直接读取网站源码,从代码中提取内容(例如渲染前的内容)。
  • 线上站点模式(Live Site Mode):未检测到代码库时,向用户询问目标 URL,通过浏览器抓取线上站点。

具体能力包括:检测框架与站点配置;按框架发现页面与路由(如 Next.js、Astro、Nuxt、Gatsby、SvelteKit、Hugo、Jekyll);查找博客与内容文章并读取 frontmatter;读取现有 SEO/meta 配置;构造基础 URL;检查站点是否已有 llms.txt;连接浏览器抓取首页、关键页面(如 /docs、/blog、/api、/about、/pricing、/examples、/changelog)及博客文章;生成 llms.txt;可选生成 llms-full.txt(包含关键页面完整正文文本,用 --- 分隔);保存文件并输出;提供放置与部署说明;若站点托管于 GitHub,可提出通过 PR 将文件添加到仓库根目录。

使用方式

强制环境检查

开始前需确认:Chrome 已启用远程调试运行(chrome --remote-debugging-port=9222);智能体设置中已配置 Chrome DevTools MCP server;已从用户处获得目标网站 URL。若 Chrome 不可用,则回退到标准网页抓取工具获取页面内容;若两者都不可用,则停止并请用户提供 Chrome 访问权限或原始页面内容。

工作流程

  1. 检测数据来源是代码库还是线上站点。
  2. 若为代码库模式,直接读取仓库:检测框架与站点配置、发现所有页面/路由、查找博客/内容文章、读取现有 SEO/meta 配置、构造基础 URL。
  3. 若为线上站点模式,获取目标 URL;抓取前检查站点是否已有 llms.txt(若存在则读取并计划更新/改进,而非盲目替换);通过 Chrome DevTools MCP 连接 http://localhost:9222 并抓取页面。
  4. 阅读参考文件 references/llms-txt-spec.md(格式规则与验证清单)和 references/output-template.md(输出模板),并记录所用模式。
  5. 仅使用抓取到的内容生成 llms.txt:写 H1 标题(产品/站点名称,事实性而非标语)、写摘要块引用(1-3 句,事实性,适合 LLM 引用,无营销话术)、仅添加站点上确有真实内容的 H2 分节、为每条链接写事实且信息密度高的描述,并按验证清单校验。
  6. 询问用户是否还需要生成包含关键页面完整正文的 llms-full.txt。
  7. 保存 llms.txt 到当前工作目录(或已知的用户项目根目录),如需则同时保存 llms-full.txt,并在对话中打印完整内容供审阅。
  8. 提供放置说明:代码库模式下按框架直接写入对应目录(如 Next.js/Vercel、Astro、Nuxt 写入 public/llms.txt,Gatsby、SvelteKit、Hugo 写入 static/llms.txt,Jekyll 写入仓库根目录);线上站点模式下告知用户将文件置于 Web 根目录,使其可通过 https://yourdomain.com/llms.txt 访问。

适用场景

  • 需要让网站内容对 AI 智能体可读、可引用的站长或开发者。
  • 希望生成符合 llms.txt 标准文件的项目,无论数据来自代码库还是线上站点。
  • 需要更新或改进已有 llms.txt 的站点。
  • 需要一次性汇总关键页面正文(llms-full.txt)以供 AI 智能体使用的场景。

限制

  • 不得编造内容,所有链接、标题、描述必须来自实际抓取或代码库。
  • 需要 Chrome 远程调试与 Chrome DevTools MCP server 支持,否则须回退到标准网页抓取工具;两者皆无时应停止并请求用户协助。
  • 使用线上站点模式时不得包含 404 页面。
  • 文件应少于 5,000 词。
  • 不包含营销语言、臆测 URL、空泛描述、失效链接、重定向链或 CDN 资源 URL。
  • 放置方式因框架/平台而异(如 Next.js、Astro、Nuxt、Gatsby、SvelteKit、GitHub Pages、Hugo、Jekyll、WordPress、自定义服务器)。

输出质量标准

优秀的 llms.txt 应具备事实性 H1 和清晰、可被直接引用的 2-3 句摘要;覆盖站点实际拥有的所有主要内容领域;链接描述说明“那里有什么”而非公司希望读者认为的内容;可在 30 秒内扫描完毕;无失效链接、无重定向链、无 CDN 资源 URL;并通过 references/llms-txt-spec.md 中所有检查。

暂未提供的事实

关于收费、价格、平台具体支持范围、实际效果或使用步骤之外的细节,资料中暂未提供。